配置一个Hadoop集群
平行MATLAB®包含高
(MATLAB)数组和mapreduce
(MATLAB)函数可以从适当配置的MATLAB客户端提交到Hadoop集群。
要将客户端配置为在集群上运行MATLAB代码,您必须已经能够从预期的客户端机器提交到集群。客户端机器必须有一个Hadoop®安装,可以访问MATLAB之外的集群。
许多Hadoop发行版不支持直接访问Linux金宝app®基于Windows的集群®客户。Windows客户端用户通常需要设置一个可以从Windows客户端通过SSH或VNC访问的Linux网关节点。然后可以从这个网关节点访问集群。
集群配置
集成MATLAB并行服务器使用您的集群基础设施。有关说明,请参见为第三方调度器安装和配置MATLAB并行服务器.
如果您的集群需要Kerberos身份验证,请确保您的MATLAB并行服务器安装已经正确配置。有关说明,请参见Kerberos身份验证.
客户端配置
确保您的客户端可以在MATLAB之外访问Hadoop集群。
如果您的集群需要Kerberos身份验证,请确保您的客户机MATLAB安装已配置为Kerberos身份验证。有关说明,请参见Kerberos身份验证.
要从MATLAB中访问群集,请设置一个parallel.cluster.Hadoop
(并行计算工具箱)对象使用以下语句。
setenv('HADOOP_HOME', '/path/to/hadoop/install') cluster = parallel.cluster.Hadoop;
使用mapreduce
(MATLAB)指定mapreduce
在Hadoop集群对象上运行。
有关如何在Hadoop集群上运行并行MATLAB代码的示例,请参见在Hadoop集群上执行mapreduce(并行计算工具箱)而且在Spark集群上使用Tall array(并行计算工具箱).
Kerberos身份验证
如果集群使用Kerberos身份验证,则需要Oracle®Java®密码扩展,您必须配置所有安装的MATLAB和MATLAB并行服务器.如果你使用Hortonworks®或Cloudera®对于发行版,您可能需要完成这些配置步骤。
客户端和工作MATLAB安装的配置说明是相同的。
从R2018b开始,通过在Java安装中启用适当的安全策略来配置MATLAB安装。
在MATLAB编辑器中,打开文件
$ {MATLAB_ROOT} / sys / java / jre / ${弓}/ jre / lib /安全/ java.security
.换线
# crypto.policy =无限
crypto.policy =无限
对于以前的版本,必须从Oracle下载额外的安全文件。
从Oracle Java SE页面下载“Oracle Java Cryptography Extension zip”文件。
将下载的zip文件解压缩到临时文件夹中。
替换文件
local_policy.jar
而且US_export_policy.jar
在文件夹里$ {MATLABROOT} / sys / java / jre / ${弓}/ jre / lib /安全
使用下载的版本。
Hadoop版本支持金宝app
MATLAB
mapreduce
Had金宝appoop 2支持。x集群。注意对Hadoop 金宝app1的支持。已移除X个集群。在启用Spark™的Hadoop 2上支持MA金宝appTLAB高数组。x集群。您可以在支持所有客户端架构的Spark Hadoop集群上使用高阵列,同时为集群支持Linux和Mac架构。金宝app这包括跨平台支持。金宝app
功能 | 结果 | 而不是使用 | 兼容性的考虑 |
---|---|---|---|
金宝app支持运行MATLABmapreduce Hadoop 1。已移除X个集群。 |
错误 | 使用拥有Hadoop 2的集群。安装了MATLABmapreduce . |
MATLAB迁移mapreduce 运行在Hadoop 1上的代码。Hadoop 2.x。 |
另请参阅
parallel.cluster.Hadoop
(并行计算工具箱)
相关的话题
- 为第三方调度器安装和配置MATLAB并行服务器
- 在Spark集群上使用Tall array(并行计算工具箱)
- 在Hadoop集群上执行mapreduce(并行计算工具箱)
- 读取和分析Hadoop序列文件(MATLAB)