数据存储
读取大量数据
的数据存储函数创建一个数据存储,存储库的集合数据装入内存太大。数据存储可以读取和处理数据存储在磁盘上的多个文件,远程或数据库作为一个单一的实体。如果数据太大了,适合在内存中,您可以管理增量导入的数据,创建一个高数组的数据,或者使用数据存储作为输入mapreduce进行进一步处理。有关更多信息,请参见开始使用数据存储。
功能
类
主题
- 开始使用数据存储
数据存储是一个对象用于读取一个文件或一组文件或数据。
- 选择数据存储文件格式或应用程序
选择合适的数据存储文件格式的基础上您的数据或应用程序。
- 阅读和分析大型表格文本文件
这个例子展示了如何创建一个包含表格数据的数据存储为一个大文本文件,然后读取和处理数据一次一块或一个文件。
- 阅读和分析图像文件
这个例子展示了如何创建一个数据存储的图像集合,读取图像文件,并找到图像的最大平均色调,饱和度和亮度(HSV)。
- 阅读和分析MAT-File键值数据
这个例子展示了如何创建一个数据存储键-值对数据MAT-file的输出
mapreduce。 - 阅读和分析Hadoop顺序文件
这个例子展示了如何创建一个包含键值序列文件数据的数据存储。
- 使用远程数据
使用远程数据在Amazon S3™, Azure®Blob存储或HDFS™。
- 为处理在不同的机器上或设置数据存储集群
设置一个数据存储在您的机器上,可以加载和另一台机器上处理或集群。
- 开发自定义数据存储
创建一个完全定制的定制或专有数据的数据存储。
- 开发自定义数据存储DICOM数据
这个例子展示了如何开发一个定制的数据存储,支持写操作。金宝app
- 测试指南自定义数据存储
实现您的自定义数据存储后,按照此测试程序符合您的自定义数据存储。
