要将MATLAB map和reduce函数合并到Hadoop mapreduce作业中,需要从map和reduce函数创建一个可部署的归档文件,并将归档文件作为有效负载参数传递给提交到Hadoop集群的作业。一个可部署的归档文件包含:
mapper函数写在MATLAB。
减速器函数在MATLAB中编写。
包含描述要分析的数据结构和变量的数据存储的mat文件。
标识映射和reduce函数、要分析的数据类型和其他配置细节的Hadoop设置文件。
有关更多信息,请参见将MATLAB Map和Reduce函数合并到Hadoop作业中的工作流
deploytool |
打开应用程序部署应用程序列表 |
世纪挑战集团 |
编译MATLAB功能部署 |
将MATLAB Map和Reduce函数合并到Hadoop作业中的工作流
回顾如何创建MATLAB映射和reduce函数的可部署归档文件,并将其合并到Hadoop mapreduce作业中。
将MATLAB Map和Reduce函数合并到Hadoop作业中的例子
尝试创建MATLAB map和reduce函数的可部署归档文件,并将其合并到Hadoop mapreduce作业中。
创建一个必需的配置文件,该文件表示Hadoop mapreduce作业的有效负载的特征。