主要内容

配置一个Hadoop集群

平行MATLAB®代码包含高(MATLAB)数组和mapreduce(MATLAB)函数可以从适当配置的MATLAB客户端提交到Hadoop集群。

要将客户机配置为在集群上运行MATLAB代码，您必须已经能够从预期的客户机机器提交到集群。客户机必须有一个Hadoop®可以访问MATLAB之外的集群的安装。

许多Hadoop发行版不支持直接访问Linux金宝app®基于Windows的集群®客户。Windows客户端用户通常需要设置一个Linux网关节点，Windows客户端可以通过SSH或VNC访问该节点。然后可以从这个网关节点访问集群。

集群配置

  1. 集成MATLAB并行服务器™使用您的集群基础设施。说明,请参阅为第三方调度器安装和配置MATLAB并行服务器．

  2. 如果集群需要Kerberos身份验证，请确保您的MATLAB并行服务器已正确配置安装。说明,请参阅Kerberos身份验证．

客户端配置

  1. 确保您的客户端可以在MATLAB之外访问Hadoop集群。

  2. 如果集群需要Kerberos身份验证，请确保您的客户机MATLAB安装已配置为Kerberos身份验证。说明,请参阅Kerberos身份验证．

为了从MATLAB内部访问集群，设置一个parallel.cluster.Hadoop(并行计算工具箱)对象。

setenv('HADOOP_HOME'， '/path/to/hadoop/install')

使用mapreduce(MATLAB)指定mapreduce在Hadoop集群对象上运行。

有关如何在Hadoop集群上运行并行MATLAB代码的示例，请参见在Hadoop集群上运行mapreduce(并行计算工具箱)和在启用Spark的Hadoop集群上使用高数组(并行计算工具箱)．

Kerberos身份验证

如果集群使用Kerberos身份验证，则需要Oracle®Java®加密扩展，您必须配置所有安装的MATLAB和MATLAB并行服务器．如果你正在使用Hortonworks®或Cloudera®发行版时，您很可能需要完成这些配置步骤。

客户端和工作端的MATLAB安装的配置说明是相同的。

从R2018b开始，通过在Java安装中启用适当的安全策略来配置MATLAB安装。

  1. 在MATLAB编辑器中，打开文件$ {MATLAB_ROOT} / sys / java / jre / ${弓}/ jre / lib /安全/ java.security．

  2. 改变行

    # crypto.policy =无限
    来
    crypto.policy =无限

对于以前的版本，您必须从Oracle下载额外的安全文件。

  1. 从Oracle Java SE页面下载Oracle Java Cryptography Extension zip文件。

  2. 将下载的zip文件解压缩到一个临时文件夹。

  3. 替换文件local_policy.jar和US_export_policy.jar在文件夹$ {MATLABROOT} / sys / java / jre / ${弓}/ jre / lib /安全下载的版本。

Hadoop版本支持金宝app

  • MATLABmapreduce在Ha金宝appdoop 2上支持。x集群。注意对Hadoop 金宝app1的支持。X集群已被移除。

  • 在启用Spark™的Hadoop 2上支持MA金宝appTLAB高数组。x集群。对于客户端，您可以在启用Spark的Hadoop集群上使用高阵列，支持所有架构，同时集群支持Linux和Mac架构金宝app。这包括跨平台支持。金宝app

功能 结果 而不是使用 兼容性的考虑
金宝app支持运行MATLABmapreduce在Hadoop 1。X集群已被移除。 错误 使用具有Hadoop 2的集群。x安装运行MATLABmapreduce． MATLAB迁移mapreduce运行在Hadoop 1上的代码。x到Hadoop 2.x。

另请参阅

(并行计算工具箱)

相关的话题

MATLAB并行服务器文档

金宝app

尝试MATLAB, Si金宝appmulink和其他产品下载188bet金宝搏

得到审判现在