编程技术分析不适合在内存中的数据集
调试Mapreduce.
算法检查键值对如何通过不同的阶段移动始终有用。要检查数据的移动,请在地图中设置断点并减少函数。断点停止执行Mapreduce.
,允许您检查相关变量的当前状态,如keyvaluestore.
或者ValueIterator
。有关更多信息,请参阅调试的MapReduce算法。
为了优化的一些建议Mapreduce.
任何平台上的性能都是:
最小化对地图函数的调用次数。最简单的方法是增加值的阅读
输入数据存储的性能。其结果是,Mapreduce.
将较大的数据块传递给Map函数,并且数据存储耗尽较少的读取。
减少地图之间发送的中间数据量并减少函数。一种方法是使用独特
在地图中结合类似键的映射功能。看计算是指由集团使用的MapReduce这种技术的一个例子。