Freightos使用MATLAB和谷歌BigQuery实现在线货运物流大数据分析

Freightos的分析师发现，由于云计算中跨越多个数据库的数百万行数据，运行分析非常麻烦，使得对运营和营销任务至关重要的关键洞察难以识别。尽管他们可以对云中的数据运行查询以获取静态报表，但他们需要以交互方式探索和分析实时数据。例如，为了理解用户行为，他们想量化用户对软件的参与度和使用模式。像大多数大数据集一样，Freightos数据集几乎不可能下载来进行本地处理。

在货运业中，由于供应和需求的波动和燃料成本的变化，路线和价格可以每小时变化。为了跟上这些变化，Freightos需要接近实时的性能。此外，来自外部来源的数据在格式和质量上各不相同。Freightos需要高效地访问其BigQuery数据的子集，然后快速清理数据，运行高级分析，并将结果可视化。

Freightos分析师与MathWorks咨询服务公司合作，将MATLAB与谷歌BigQuery集成，用于大数据分析。

他们一起开发了一种自动从BigQuery中提取数据并将其导入MATLAB的方法。在这种方法中，在BigQuery上执行的查询结果被导出到谷歌云存储，然后在MATLAB中下载并访问。

由于Freightos依赖外部来源，包括外部数据提供者、第三方承运人和货运代理，因此分析人员必须在分析它们之前清理查询结果。在MATLAB中工作，该团队开发了识别和纠正数据中的异常值的脚本。

他们使用统计和机器学习工具箱™对清理后的数据进行复杂的统计分析。一项分析评估了12万行货运报价(每个报价超过30列)，以确定基于不同销售团队、公司和运输模式的货运定价波动。另一项由营销部门推动的分析，探索了最常见的来源和目的地，并自动将它们绘制成树状地图。

Freightos和MathWorks的顾问使用MATLAB生成散点图、树图和其他可视化图，以便更好地理解分析结果。他们还利用分析结果创建报告，帮助Freightos的c级高管做出决策和制定营销战略。

Freightos目前正在使用MATLAB和BigQuery开发一个基于BigQuery数据中最新的费率和路线的动态索引。该指数将使他们能够准确估计从中国主要城市到北美主要城市的运输成本。

Freightos计划使用Statistics和machine learning Toolbox中的机器学习算法来预测未来的指数价格。

• 分析在几分钟内完成，而不是几个小时。Freightos的数据分析师Leonid Hatskin说:“通过我们的MATLAB和BigQuery集成，即使是大型报告，比如整个数据池的季度报告，现在也只需要10分钟。”“在过去，这至少需要一个完整的工作日。MATLAB已经为我们的数据团队腾出了每月至少一个工作日的时间。”
• 快速实现BigQuery集成。布克曼说:“当我们向MathWorks咨询公司寻求集成BigQuery的帮助时，我们很快就从一个真人那里得到了实际行动。”“这种支持让金宝appMATLAB从强大的功能变成了我们无法替代的功能。”
• 洞察力的获得速度快了20倍。“与我们之前的方法相比，使用MATLAB和BigQuery，我们的洞察时间提高了20倍，”Buchman说。“我们不能给上市时间的改善贴上价格标签。”