追踪摄像头会被动物的动作自动触发。它们被世界各地的生态学家和野生动物管理人员用来研究野生动物的行为，并帮助保护濒危物种。我想看看MATLAB®图像处理和深度学习可用于识别访问踪迹相机的单个动物物种。我们将从现成的功能开始 - 没有专门为此特定任务专门的功能。
我对这个项目的合作伙伴是希瑟Gorr和Jim Sanderson。希瑟是Mathworks的机器学习专家。吉姆是我的博士学位之一。新墨西哥大学的学生。他在Los Alamos国家实验室为超级计算机撰写了几年的洛斯·实验室。但对自然摄影的兴趣演变为渴望切换到生态学的职业生涯。他现在是世界上小野猫的领先权力。他也是Camerasweet的所有者，这是世界各地的调查人员使用的软件包，以分类和分析他们的跟踪相机数据。
我们的数据
我们的研究使用了位于阿尔伯克基的美国鱼类和野生动物管理局(FWS)办公室过去10年从四个国家野生动物保护区(NWRs)和一个私人牧场收集的数据。图1中的地图，由Mapping Toolbox™生成，显示了站点的位置。
图1.五个数据站点位置。
大多数数据来自塞维利亚NWR，在新墨西哥州的奇瓦华沙漠中的23万英亩的保护区。另一个网站也是在新墨西哥州，是Armendaris Ranch，由Ted Turner拥有的私人土地350,000英亩，CNN亿万富翁创始人和女演员Jane Fonda的前丈夫。
总共有很多数据 - 近500万图像。SevilleTa和其他三个NWR贡献了人类专家已经归类的近400万图像，而德克萨斯州的Armendaris Ranch和Laguna Atascosa NWR贡献了迄今尚未分类的百万图像。
Camerasweet有研究人员在文件夹集合中保存图像，每个摄像机的一个文件夹，每个物种的子文件夹，以及在单个图像中看到的动物数量。每个图像文件都标有记录的日期和时间。
为了读取Fish和Wildlife Service数据，我们的MATLAB程序创建了一个字符串数组美国鱼类和野生动物管理局，长度为3,979,549，包含数据集中所有图像的路径名。例如：
k = 2680816;example = FWS(k) example = "D:SNWR\Pino South (28)\Bear\02\2012 06 10 14 06 20.JPG"
这美国鱼类和野生动物管理局此示例的条目告诉我们，数据生活在附加到我的驱动器上的硬盘上D：它来自地点Snwr，或塞维利亚NWR。相机是28号，位于Pino South。人类专家已将此数据保存到两个熊的摄像机文件夹中。
我通过许多双熊图像搜索，寻找一个可爱的图片，发现图2. JPG图像的名称是2012年6月10日，14:06:20小时的时间戳。命令
imshow(示例)
访问数据并生成图2。
图2。一只母熊和她的幼崽，被照相机捕捉到。
物种命名与标记
使用Camerasweet的研究人员在他们名称种类的方式中具有一些灵活性。“山狮”和“彪马”是同一个动物。有几种不同的“浣熊”拼写。我们将名称统一到40中，我们称之为标准。名称显示在下面的“物种”列中。
我们的MATLAB程序创建了第二个字符串数组，标签，其中包含图像的标准名称美国鱼类和野生动物管理局。使用标签，很容易计算每个标准物种的图像数量。
图片％的物种1282762 32.23骡鹿690131 17.34叉角羚407240 10.23麋鹿264375 6.64鸟191954 4.82鸽子184218 4.63鬼173476 4.36羚羊120377 3.02乌鸦105931 2.66狼105718 2.66秃鹫67643 1.70牛45308 1.14人40060 1.01福克斯32849 0.83马31579 0.79棉尾314390.79大角羊23818 0.60千斤顶0.51鹿18160 0.46 squ鼠16286 0.41熊熊14898 0.37熊熊队14191 0.36 Bobcat 12617 0.32鹰9882 0.21鹰头8342 0.21鹰7405 0.19几个6864 0.17 PUMA 6023 0.15 Unknown 4516 0.11车辆3863 0.10浣熊0.09Roadrunner 2656 0.07猫头鹰2608 0.07蛇2164 0.05犰狳2029 0.05国内1985 0.05啮齿动物1909 0.05臭鼬1659 0.04獾1402 0.04巴氏羊
两个物种，“骡鹿”和“Pronghorn，”一起占近200万图像，这是我们数据的一半。物种“Ghost”描述了某些东西触发相机的情况，但图像中没有任何内容。幽灵被丢弃在塞维尔赛数据中，但其他网站提供了充足的。名称“少数”是10种的捕获量，包括少于1000张图像的“ocelot”和“驴子”。
总体而言，在数据中不同的物种在多大程度上存在巨大的差异。一句话云提供了物种分布的良好可视化（图3）。
图3.字云显示物种的相对分布。
小径相机图像
一些图像提供了动物的优异肖像。图4显示了四个例子。
图4。示例跟踪相机图像。顺时针从左下角开始:土狼，标枪，叉角羚和尼尔盖。
Javelina分布在中美洲、南美洲和北美西南部。它们很像野猪，但却是不同的物种。叉角羚和土狼在我们的大多数地方都很常见。Nilgai在印度随处可见，印度教徒视其为神圣。它们在20世纪20年代被引入德克萨斯。在我们的遗址中，它们唯一被发现的地方是阿塔斯科萨的拉古纳NWR。
大约有三分之一的图像是在夜间用红外拍摄的，并以灰度形式出现，如图5中所示的前两个示例。
图5. TOP：两个灰度红外图像。底部：oryx的两个全彩色图像。
即使图像显示出截然不同的观点，两个oryx图像很容易被人类专家归类。传统的图像处理技术将寻找像腿数，鹿角的存在和风格等特征，以及尾部的类型，将被右下方的右下方的特写令人困惑。
有成千上万的图片是由非野生动物活动触发的，包括人类、牛、马、车辆和家畜。在图6中，右上角的图像已经被分类为鬼。
图6.由非浪费活动触发的图像。顶部：人（左）和“幽灵”（右）。底部：“未识别”的图像。
左下方的主题显然太近相机。右下图像中有微弱的黄色斑点，可能是一群小飞虫。这两个图像都被归类为“未认定”。
培训我们的深度学习网络
Inception-v3是一种卷积神经网络(CNN)，广泛用于图像处理。我们将使用来自ImageNet数据库的100多万张图像预先训练过的网络版本。《盗梦空间3》是CNN现成的图片。里面没有什么专门用于跟踪摄像头的。我们从40个物种中随机选择1400个样本，并指定70%(980张)作为训练图像，30%(420张)作为验证图像。我们让培训在Linux上运行了一夜®带有GPU的机器(Xeon®E5-1650v4处理器，3.5 GHz, 6个HT内核，64gb RAM, 12gb NVIDIA®泰坦XP GPU)。
由此产生的混乱图表(图7)是一个40 × 40的矩阵a，其中a(k,j)是预测第k个真类中的观测结果在第j个类中的次数。如果分类工作完美，矩阵将是对角的。在这个实验中，对角线上的值都是420。接近对角线是一种精度的度量:
精度= sum（诊断（a））/ sum（a，'全部'）= 0.8686
图7.混淆矩阵，用于检查分类器的准确性。
许多大的偏差元素并不令人惊讶。最小的对角线值216是鸟类。标记为鸟的行表明，预测的类往往是其他一些物种。下一个最小对角线元素270，用于未知。在未知和其他物种之间存在混乱。土狼，对角线值为297，不能良好，也许是因为它们经常出现在模糊的图像中。鹿和尼尔加，具有358和352的对角线值，具有良好的整体准确性，但彼此混淆。
另一方面，最常被正确分类的动物包括巴巴里羊，它的对角线值是405。鹰、马和叉角羚被正确分类了390次或更多。大角羊有386。
在非机密图像上测试CNN
我们现在有一个CNN培训，用于分类跟踪相机图像。它如何在一个从未被分类的图像中执行新位置？我们从Armendaris Ranch拍摄了每十个图像，共18,242。CNN分类发现39种不同的物种。
几乎一半的分类(8708种)是大角羊。只有454份是给骡鹿的。一开始我很惊讶，因为这意味着该网络预测Armendaris的大角羊数量几乎是骡鹿的20倍，而塞维莱塔以北不到100英里，骡鹿数量是大角羊的40倍。
但这结果并不让Jim Sanderson惊喜。Armendaris上的山脉是绵羊的自然栖息地。牧场以与它管理水牛群相同的方式管理大角羊。狩猎大角公羊是牧场的重要收入来源。
CNN将93幅图片归类为美洲狮。这似乎高估了。通过对93张图片的分析，我们只发现了10到11种难以捉摸的动物。
图8中的所有四个图像都来自ArmendAris。上两者分别被CNN正确分类为大角绵羊和彪马。但下两次接收相同的分类;这显然不正确。
图8.从ARMendaris Ranch的先前未分类图像的分类。上层图像被CNN分类为大角羊和彪马，明显正确。较低的图像也被归类为大角绵羊和彪马，显然是错误的。
结论
总的来说，这种深度学习分类器比预期的更成功。即使在目前的状态下，它对调查人员可能有用。我们的CNN的进一步发展应该专注于设计特定的特点，以进行跟踪相机图像识别。
有一件事很清楚 - 越多的数据越好。鱼类和野生动物服务收集的500万图像对于培训网络至这种准确性，是必不可少的。
致谢
感谢Jim Sanderson，在阿尔伯克基FWS赠送哈里斯，以及希瑟Gorr，Johanna Pingel，以及MathWorks新闻和票据编辑团队。
