主要内容

使用大型数据集

连接到具有最高性能的数据库

当您使用MATLAB时®借助包含大量数据的数据库,您可以遇到内存之外的问题或缓慢处理。要达到最快的性能,请使用本机ODBC接口连接到数据库。如果本机ODBC接口不起作用,请使用JDBC驱动程序连接到数据库。有关详细信息,请参阅连接到数据库

将大型数据集导入到MATLAB

如果您正在选择数据库中的大量数据以导入MATLAB,则可以遇到内存之外的问题或缓慢处理。为了实现最快的性能,您可以分批导入数据。

使用本机ODBC连接时,可用的MATLAB的内存量可以限制您一次处理整个数据集。要管理MATLAB内存,请分段处理您的数据。使用拿来功能以限制查询返回的行数“最大”输入参数。使用MATLAB脚本,您可以以增量导入数据,直到检索所有数据为止。例如,请参阅拿来

如果您无法访问数据库并想导入大型数据集,则可以将MATLAB接口使用到SQLITE。有关详细信息,请参阅使用MATLAB接口到SQLITE

从中导出大数据集MATLAB

将大量数据插入数据库时​​,您可以体验缓慢的处理。为了达到最快的性能,请使用sqlwrite功能可从MATLAB导出数据。

如果您无法访问数据库并希望导出大数据集,则可以使用插入使用MATLAB接口到SQLITE。有关详细信息,请参阅使用MATLAB接口到SQLITE

使用DataBasateAtastore访问大数据

将数据库中存储在MATLAB中的大型数据集导入的替代方法是使用DataBaseDataStastore。一个DataBaseDataStastore是包含数据库中存储的数据集合的数据存储。

您可以在DataBaseDataStastore使用具有常见MATLAB功能的高阵列,例如意思是直方图。有关详细信息,请参阅使用高阵列分析数据库中的大数据。或者,要获得更多控制,您也可以使用MapReduce编写自己的算法。有关详细信息,请参阅使用MapReduce分析数据库中的大数据

相关话题