主要内容

大文件和大数据

访问和处理文件集和大数据集

大数据集可以是不适合可用内存或需要很长时间的可用内存或文件的大文件的形式。大数据集也可以是众多小文件的集合。没有单一的方法可以使用大数据集,因此matlab®包括许多用于访问和处理大数据的工具。

首先创建一个数据存储,可以一次访问数据的小部分。您可以使用数据存储来管理数据的增量导入。使用公共MATLAB函数分析数据,例如吝啬的直方图,在数据存储的顶部创建一个高大的数组。对于更复杂的问题,您可以编写一个MapReduce算法,该算法定义了数据的块和减少。