与大型数据集

连接到具有最高性能数据库

当您使用MATLAB®包含大量数据的数据库,你可以体验到内存外的问题或处理缓慢。为了达到最快的性能,连接到使用本机ODBC接口的数据库。如果本地ODBC接口无法正常工作,连接到使用JDBC驱动程序数据库。有关详细信息,请参阅连接到数据库

导入大型数据集进MATLAB

如果您选择大容量的数据库导入到MATLAB的数据,你会遇到内存外的问题或处理缓慢。为了达到最快的性能,可以批量导入数据。

当与本地ODBC连接工作,提供给MATLAB内存量可以从一次处理你的整个数据集的限制你。要管理MATLAB内存,进程中的部分数据。使用功能使用限制的行查询返回的数量'MAXROWS'输入参数。使用MATLAB脚本,可以直到所有数据被检索的增量导入数据。对于一个示例,请参见

如果您没有访问数据库,并要导入大型数据集,您可以使用MATLAB接口的SQLite。有关详细信息,请参阅与MATLAB接口工作对于SQLite

从导出大数据MATLAB

当插入大容量的数据到数据库中,你可以体验慢处理。为了达到最快的性能,使用sqlwrite函数从MATLAB导出数据。

如果您没有访问数据库,并要导出大型数据集,您可以使用与MATLAB接口SQLite的功能。有关详细信息,请参阅与MATLAB接口工作对于SQLite

访问大数据使用DatabaseDatastore

用于导入存储在数据库到MATLAB大型数据集的另一种方法是使用DatabaseDatastore。一个DatabaseDatastore是包含存储在数据库中的数据集合的数据存储。

您可以分析数据DatabaseDatastore使用高阵列具有共同MATLAB函数,如意思直方图。有关详细信息,请参阅在数据库中使用高大阵列分析大量数据。或者,为了更多的控制,你也可以使用MapReduce的编写自己的算法。有关详细信息,请参阅使用数据库中的MapReduce分析大量数据

相关话题