配置一个Hadoop集群
平行MATLAB®代码包含高
(MATLAB)数组和mapreduce
(MATLAB)函数可以提交适当的Hadoop集群配置MATLAB的客户。
配置客户端MATLAB代码在集群上运行,你必须已经可以提交到集群的客户端机器。客户端机器必须有一个Hadoop®安装可以访问集群外的MATLAB。
许多Hadoop发行版不支持Linux的直接访问金宝app®基于集群从Windows®客户。用户的Windows客户端通常需要设置一个Linux可以从Windows客户端访问网关节点通过SSH和VNC。集群可以从这个网关节点访问。
集群配置
集成MATLAB并行服务器™集群基础设施。说明,请参阅安装和配置MATLAB并行服务器为第三方调度器。
如果您的集群需要Kerberos身份验证,确保你的MATLAB并行服务器装置已正确配置。说明,请参阅Kerberos身份验证。
客户端配置
确保你的客户可以访问MATLAB外的Hadoop集群。
确保MATLAB安装客户端被配置为Kerberos身份验证,如果您的集群需要它。说明,请参阅Kerberos身份验证。
访问集群在MATLAB建立了一个parallel.cluster.Hadoop
(并行计算工具箱)对象使用以下语句。
setenv (' HADOOP_HOME ', ' / / / hadoop /安装)集群= parallel.cluster.Hadoop;
使用mapreduce
(MATLAB)指定mapreduce
上运行Hadoop集群对象。
的例子如何运行并行MATLAB代码在您的Hadoop集群,明白了Hadoop集群上运行mapreduce(并行计算工具箱)和火花集群上使用高数组(并行计算工具箱)。
Kerberos身份验证
如果集群使用Kerberos身份验证,需要Oracle®Java®加密扩展,您必须配置MATLAB和的所有设施MATLAB并行服务器。如果您使用的是Hortonworks®或Cloudera®分布,很可能你需要完成这些配置步骤。
的配置指令是相同的客户机和工人MATLAB安装。
从R2018b开始,MATLAB安装配置通过启用Java安装适当的安全策略。
在MATLAB编辑器中打开该文件
$ {MATLAB_ROOT} / sys / java / jre / ${弓}/ jre / lib /安全/ java.security
。改变行
# crypto.policy =无限
crypto.policy =无限
对于以前的版本中,您必须从Oracle下载额外的安全文件。
下载甲骨文Java加密扩展从甲骨文Java SE zip文件页面。
下载的zip文件解压缩到一个临时文件夹中。
替换文件
local_policy.jar
和US_export_policy.jar
在文件夹$ {MATLABROOT} / sys / java / jre / ${弓}/ jre / lib /安全
下载的版本。
Hadoop版本支持金宝app
MATLAB
mapreduce
在Ha金宝appdoop支持2。x集群。注意,对Hadoop金宝app 1的支持。x集群被移除。MATLAB高数组支持火花™启用Hadoop 金宝app2。x集群。您可以使用高阵列在火花启用Hadoop集群支持所有客户端架构,同时支持Linux和Mac集群架构。金宝app这包括跨平台支持。金宝app
功能 | 结果 | 而不是使用 | 兼容性的考虑 |
---|---|---|---|
金宝app支持MATLAB运行mapreduce 在Hadoop 1。x集群被移除。 |
错误 | 使用Hadoop集群,2。x安装MATLAB运行mapreduce 。 |
MATLAB迁移mapreduce 代码上运行Hadoop 1。Hadoop 2. x。 |
另请参阅
parallel.cluster.Hadoop
(并行计算工具箱)
相关的话题
- 安装和配置MATLAB并行服务器为第三方调度器
- 火花集群上使用高数组(并行计算工具箱)
- Hadoop集群上运行mapreduce(并行计算工具箱)
- 阅读和分析Hadoop顺序文件(MATLAB)