主要内容

配置一个Hadoop集群

平行MATLAB®代码包含高(MATLAB)数组和mapreduce(MATLAB)函数可以提交适当的Hadoop集群配置MATLAB的客户。

配置客户端MATLAB代码在集群上运行,你必须已经可以提交到集群的客户端机器。客户端机器必须有一个Hadoop®安装可以访问集群外的MATLAB。

许多Hadoop发行版不支持Linux的直接访问金宝app®基于集群从Windows®客户。用户的Windows客户端通常需要设置一个Linux可以从Windows客户端访问网关节点通过SSH和VNC。集群可以从这个网关节点访问。

集群配置

  1. 集成MATLAB并行服务器™集群基础设施。说明,请参阅安装和配置MATLAB并行服务器为第三方调度器。

  2. 如果您的集群需要Kerberos身份验证,确保你的MATLAB并行服务器装置已正确配置。说明,请参阅Kerberos身份验证。

客户端配置

  1. 确保你的客户可以访问MATLAB外的Hadoop集群。

  2. 确保MATLAB安装客户端被配置为Kerberos身份验证,如果您的集群需要它。说明,请参阅Kerberos身份验证。

访问集群在MATLAB建立了一个parallel.cluster.Hadoop(并行计算工具箱)对象使用以下语句。

setenv (' HADOOP_HOME ', ' / / / hadoop /安装)集群= parallel.cluster.Hadoop;

使用mapreduce(MATLAB)指定mapreduce上运行Hadoop集群对象。

的例子如何运行并行MATLAB代码在您的Hadoop集群,明白了Hadoop集群上运行mapreduce(并行计算工具箱)和火花集群上使用高数组(并行计算工具箱)。

Kerberos身份验证

如果集群使用Kerberos身份验证,需要Oracle®Java®加密扩展,您必须配置MATLAB和的所有设施MATLAB并行服务器。如果您使用的是Hortonworks®或Cloudera®分布,很可能你需要完成这些配置步骤。

的配置指令是相同的客户机和工人MATLAB安装。

从R2018b开始,MATLAB安装配置通过启用Java安装适当的安全策略。

  1. 在MATLAB编辑器中打开该文件$ {MATLAB_ROOT} / sys / java / jre / ${弓}/ jre / lib /安全/ java.security。

  2. 改变行

    # crypto.policy =无限
    来
    crypto.policy =无限

对于以前的版本中,您必须从Oracle下载额外的安全文件。

  1. 下载甲骨文Java加密扩展从甲骨文Java SE zip文件页面。

  2. 下载的zip文件解压缩到一个临时文件夹中。

  3. 替换文件local_policy.jar和US_export_policy.jar在文件夹$ {MATLABROOT} / sys / java / jre / ${弓}/ jre / lib /安全下载的版本。

Hadoop版本支持金宝app

  • MATLABmapreduce在Ha金宝appdoop支持2。x集群。注意,对Hadoop金宝app 1的支持。x集群被移除。

  • MATLAB高数组支持火花™启用Hadoop 金宝app2。x集群。您可以使用高阵列在火花启用Hadoop集群支持所有客户端架构,同时支持Linux和Mac集群架构。金宝app这包括跨平台支持。金宝app

功能 结果 而不是使用 兼容性的考虑

金宝app支持MATLAB运行mapreduce在Hadoop 1。x集群被移除。

 错误

使用Hadoop集群,2。x安装MATLAB运行mapreduce。

MATLAB迁移mapreduce代码上运行Hadoop 1。Hadoop 2. x。

另请参阅

(并行计算工具箱)

相关的话题