康奈尔大学生物声学科学家们开发一个高性能计算平台,分析大数据
挑战
解决方案
结果
- 年的发展节省时间
- 分析时间从周减少到小时
- 之前在天未加工的数据分析
“高性能计算与MATLAB可以使我们之前分析大数据的过程。我们将我们所学转化为理解人类活动如何影响生态系统的健康告知负责决定人类在海洋和陆地上。”
康奈尔大学的克里斯托弗·克拉克博士
30多年来,科学家们已经研究了当地动物种群通过记录动物声音的海洋,丛林、森林,和其他自然环境。他们用结果来评估人为噪声对自然环境的影响,监测濒危动物种群,并研究动物交流。被动声监测系统记录声音不断,生成tb的数据。科学家通常无法处理甚至1%的数据,因为他们缺乏必要的高级算法和处理能力。
生物声学研究计划(BRP)康奈尔鸟类学实验室的科学家与MATLAB分析大量的声学数据®、并行计算工具箱™和MATLAB并行服务器™。项目,由海军研究办公室的资助和美国国家海洋合作计划,是由两个主要调查人员从康奈尔大学:克里斯托弗·克拉克博士,资深科学家和BRP主任,博士和彼得•杜根BRP数据科学家。
“MATLAB和MATLAB动态并行计算工具给我们灵活地改进和适应我们使用的算法来处理我们的大音响的数据集,”克拉克博士说。“如果我们使用c++或类似的语言,我们将无法迅速或探索尽可能多的场景。”
挑战
研究人员分析声学数据必须从天气应对噪音,其他动物,和附近的机械和车辆。动物声音的变化在一个物种内的个体是一个进一步的并发症。这两个factors-noise variability-increase假阳性和阴性的数量,减少了检测算法的准确性。
处理BRP的上百tb的数据收集带来另一个挑战。一个典型项目涉及到处理年生声学数据10 tb-recorded在多个频道。每个通道可以捕获数亿events-sounds脱颖而出当数据被视为一个谱图。算法测试小,高质量的样品往往是相当不准确,当应用到大,吵着数据集。
最后,BRP分析工具必须服务于广泛的研究计划,环境,和变化的需求。“我们最初的研究问题的答案往往导致全新的途径探索,我们需要能够处理这些突然变化在我们的需求,”克拉克博士说。
解决方案
BRP数据科学家利用MATLAB开发高性能计算(HPC)软件自动处理声学数据。
他们开始detection-classification项目通过收集音频剪辑的动物他们希望探测、视频的背景噪音在动物的环境,和mat文件归档的声学数据。在MATLAB中工作,他们开发新的或改进现有算法检测音频序列在归档数据类似夹目录。
使用模式匹配的算法、边缘检测、连通区域分析,卷积,和其他技术支持的图像处理工具箱™和信号处理工具箱™,以及机器学习技术支持的模糊逻辑工具箱™和深度学习工具箱™。金宝app
评估算法的准确性,研究人员使用统计和机器学习工具箱™接受者操作特征(ROC)和其他计算性能曲线。
经过调试和优化算法在小数据集使用并行计算工具箱,科学家们在完整的归档数据集上运行它们64 -工人使用MATLAB并行服务器集群。
BRP团队开发了一个MATLAB接口,使研究人员可以指定的算法,数据集的处理器数量。
BRP与Marinexplore Kaggle社会赞助全球竞争中超过240名参与者提交的分类算法检测和北大西洋露脊鲸的活泼化联系电话。BRP利用MATLAB HPC平台确定最准确的算法,用来防止船舶碰撞的鲸鱼。
除了检测和分类算法,BRP使用MATLAB进行噪声分析和声学建模、时间和频率色散影响的海洋或陆地环境捕获和模拟。
结果
年的发展节省时间。“预计成本的一项研究显示,如果我们必须独自做这件事,需要三年,100万美元,很多外界的帮助我们需要开发的高性能计算平台,“Dugan博士说。“与并行计算工具箱和MATLAB并行服务器,我们开发了这个平台在不到三个月。”
分析时间从周减少到小时。”花了我们的一个算法19周处理90天的数据,“Dugan博士说。“使用并行计算工具箱和MATLAB并行服务器,我们完成了相同的分析集中在8小时。”
之前在天未加工的数据分析。“一个数据集了100000小时的声音。它是如此之多,我们之前处理不到1%,估计需要一年或更多的过程,“Dugan博士说。“与MATLAB的高性能计算平台,我们处理数据的六倍,使用不同的检测算法,在两天。”
康奈尔大学是全球1300所大学之一,为MATLAB和Simulink提供校园范围内的访问。金宝app校园范围内的许可,研究人员、教师和学生可以访问公共配置的产品,在最新版本级别上,用在教室里,在家里,在实验室或在该领域。下载188bet金宝搏
下载188bet金宝搏产品使用
展示你的成功
加入客户参考程序
