使用高阵列和数据存储的大数据工作流程
该图示出了一个典型的工作流,使用高阵列来分析大数据集。在此工作流程中,在缩放之前,分析数据的小子集以分析整个数据集。并行计算可以帮助您从步骤六到七。也就是说,在检查代码在小型数据集上工作后,将其运行在整个数据集上。你可以使用matlab®提升这个工作流程。
问题 | 解决方案 | 需要产品下载188bet金宝搏 | 更多信息 |
---|---|---|---|
你的数据太大了吗? | 使用任何数量的带有任何行的内存up,使用高阵列。 此工作流程非常适合数据分析和机器学习。 |
马铃薯草 |
|
在本地机器上并行使用高阵列。 |
马铃薯草 并行计算工具箱™ |
||
在群集上并行使用高阵列。 |
马铃薯草 并行计算工具箱 MATLAB并行服务器™ |
在Hadoop集群上使用高阵列,请参阅在启用的火花上使用高阵列 对于所有其他类型的群集,使用非本地群集配置文件来设置并行池。例如,看到在平行池上使用高阵列 |
|
如果您的数据在多维方面很大,请使用 |
马铃薯草 并行计算工具箱 MATLAB并行服务器 |
并行运行高阵列
并行计算工具箱可以立即通过使用多核计算机的完整处理能力来立即加速高阵列计算,以使用并行工人池执行应用程序。如果已安装并行计算工具箱,则可能不需要执行任何特殊的事情来利用这些功能。有关使用具有并行计算工具箱的高阵列的更多信息,请参阅在平行池上使用高阵列。
利用Maprecucer.
控制代码运行的位置
执行高阵列时,如果有并行计算工具箱,默认执行环境使用本地MATLAB会话或本地并行池。默认池使用本地工人,通常为计算机中的每个核心的一个员工。使用Maprecucer.
函数更改高阵列的执行环境以使用不同的群集。
使用高阵列开发算法的一个好处是您只需要编写一次代码。您可以在本地开发代码,然后使用Maprecucer.
扩展并利用并行计算工具箱提供的功能MATLAB并行服务器。