主要内容

配置A.Hadoop.

平行Matlab.®包含的代码(MATLAB)阵列和Mapreduce.(MATLAB)可以从适当配置的MATLAB客户端提交到Hadoop集群的功能。

要将客户端配置为在群集中运行MATLAB代码,您必须已能够从预期的客户端计算机提交给群集。客户机必须具有Hadoop®可以访问MATLAB外部群集的安装。

许多Hadoop发行版不支持直接访问Linux金宝app®基于窗口的基于群集®客户。Windows客户端的用户通常需要设置可以通过SSH或VNC从Windows客户端访问的Linux网关节点。然后可以从此网关节点访问群集。

群集配置

  1. 整合MATLAB并行服务器™随着群集基础架构。有关说明,请参阅为第三方调度程序安装和配置MATLAB并行服务器

  2. 如果您的群集需要Kerberos身份验证,请确保您的MATLAB并行服务器安装已正确配置。有关说明,请参阅Kerberos身份验证

客户端配置

  1. 确保您的客户可以访问Matlab之外的Hadoop集群。

  2. 如果群集需要它,请确保已为Kerberos身份验证配置了客户端MATLAB安装。有关说明,请参阅Kerberos身份验证

要从MATLAB中访问群集,请设置a并行.Cluster.Hadoop.(并行计算工具箱)对象使用以下语句。

setEnv('hadoop_home','/ path / to / hadoop /安装')cluster = parallel.cluster.hadoop;

Mapreducer.(MATLAB)指定Mapreduce.在Hadoop集群对象上运行。

有关如何在Hadoop集群上运行并行MATLAB代码的示例,请参阅在hadoop集群上运行mapreduce(并行计算工具箱)使用高阵列在启用的HADOOP集群上(并行计算工具箱)

Kerberos身份验证

如果群集使用需要Oracle的Kerberos身份验证®java.®加密扩展,您必须配置MATLAB的所有安装MATLAB并行服务器。如果您使用的是hortonworks®或cloudera.®发行版,很可能需要完成这些配置步骤。

客户端和工作者MATLAB安装的配置说明是相同的。

从R2018B开始,通过在Java安装中启用相应的安全策略来配置MATLAB安装。

  1. 在MATLAB编辑器中,打开文件$ {matlab_root} / sys / java / jre / $ {arch} /jre/lib/security/java.security

  2. 改变行

    #crypto.policy =无限制
    crypto.policy =无限制

对于以前的版本,您必须从Oracle下载其他安全文件。

  1. 从Oracle Java SE页面下载Oracle Java加密扩展ZIP文件。

  2. 将下载的zip文件解压缩到临时文件夹中。

  3. 替换文件local_policy.jar.us_export_policy.jar.在文件夹中$ {matlabroot} / sys / java / jre / $ {arch} / jre / lib / security使用下载的版本。

Hadoop版本支持金宝app

  • 马铃薯Mapreduce.支持H金宝appadoop 2.x集群。请注意,已删除对Ha金宝appdoop 1.x群集的支持。

  • Spark™支持的Hadoop 2.x集群支持金宝appMATLAB高阵列。您可以在支持客户端支持所有架构的HADOOP集群上使用高阵列,同时支持群集的Linux和Mac架构。金宝app这包括跨平台支持。金宝app

功能 结果 使用代替 兼容性考虑因素
金宝app支持运行matlabMapreduce.在Hadoop 1.x群集已被删除。 错误 使用Hadoop 2.x的群集安装以运行MATLABMapreduce. 迁移matlab.Mapreduce.在hadoop 1.x上运行的代码到hadoop 2.x.

也可以看看

(并行计算工具箱)

相关话题