小径摄像机由动物运动自动触发。它们被世界各地的生态学家和野生动物经理用于研究野生动物行为，并帮助保护濒危物种。我想看看matlab®图像处理和深度学习可以用来识别访问trail camera的单个动物物种。我们将从现成的功能开始—没有针对这个特定任务的专门功能。
我在这个项目上的搭档是希瑟·戈尔和吉姆·桑德森。Heather是MathWorks的机器学习专家。吉姆是我在新墨西哥大学的博士生之一。他在洛斯阿拉莫斯国家实验室(Los Alamos National Laboratory)工作了几年，为超级计算机编写Fortran程序。但对自然摄影的兴趣演变成了想要转向生态学的愿望。他现在是世界上研究小型野猫的权威。他还是CameraSweet的所有者，世界各地的调查人员都使用这个软件包对跟踪摄像头的数据进行分类和分析。
我们的数据
我们的研究在过去10年中，在过去的10年里，在过去的10年里，使用了美国鱼类和野生动物服务（FWS）办公室的数据从四个国家野生动物难民（NWRS）和一个私人牧场。通过映射工具箱™生产的图1中的地图显示了站点的位置。
图1所示。五个数据站点的位置。
大部分数据来自塞维莱塔国家野生动物保护区，该保护区位于新墨西哥州中部的奇瓦瓦沙漠，占地23万英亩。另一个同样位于新墨西哥州的地方是Armendaris牧场，它是CNN的创始人、女演员简·方达的前夫、亿万富翁特德·特纳(Ted Turner)拥有的35万英亩私人土地。
这里有大量的数据——大约500万张图像。塞维利亚塔和其他三个国家野生动物保护区提供了近400万张已经被人类专家分类的图片，而Armendaris牧场和德克萨斯州的拉古纳阿塔斯科萨国家野生动物保护区提供了另外100万张尚未分类的图片。
CameraSweet让研究人员将图像保存在一个文件夹中，每个文件夹对应一个相机，每个物种和单个图像中看到的动物数量都有子文件夹。每个图像文件都标有记录的日期和时间。
要阅读鱼类和野生动物服务数据，我们的MATLAB程序会创建一个字符串数组FWS.，长度3,979,549，包含数据集中所有图像的路径名。例如:
k = 2680816;示例= FWS（k）示例=“D：SNWR \ Pino South（28）\ Bear \ 02 \ 2012 06 10 14 06 20.jpg”
的FWS.这个示例的条目告诉我们，数据存在于连接到我的驱动器的硬盘驱动器上D:它来自SNWR或Sevilleta NWR网站。摄像机是28号，位于皮诺南。一位人类专家为两只熊将这些数据保存到了CameraSweet文件夹中。
我搜索了许多两只熊的图片，想找一只可爱的，结果找到了图2所示的那只熊。JPG图片的名称是2012年6月10日14:06:20小时的时间戳。命令
imshow（示例）
访问数据并生成图2。
图2.由相机28捕获的母亲熊和她的幼崽。
命名和标签物种
使用CameraSweet的研究人员在命名物种的方式上有一定的灵活性。“山狮”和“美洲狮”是同一种动物。浣熊这个词有好几个不同的拼法我们将这些名称统一为40个，我们称之为标准。名称显示在下面的“物种”栏。
我们的matlab程序创建了第二个字符串数组，标签，它具有图像的标准名称FWS.．使用标签，很容易计算出每个标准物种的图像数量。
图像物种1282762百分比32.23骡鹿690131 17.34叉角羚407240鸟10.23麋鹿264375 6.64 191954 4.82鸽子184218 4.63 173476年鬼4.36羚羊120377 3.02乌鸦105931 2.66狼105718 2.66秃鹰67643 1.70牛45308人类1.14 40060 1.01 32849年福克斯0.83马31579 0.79 31439棉尾兔0.79大角羊23818 0.60长耳大野兔20438松鼠0.51鹿18160 0.46 17347 0.44野猪16286 0.41猪14898 0.37 14191 0.36山猫12617 0.32 9882年鹰0.25 Nilgai 8342 0.19 0.21鹰7405几6864 0.17彪马6023 0.15未知4516 0.11车辆3863 0.10浣熊3427 0.09蛇走鹃2656 0.07猫头鹰2608 0.07 2164 0.05犰狳2029 0.05国内1985 0.05 1909年啮齿动物0.05臭鼬1659 0.04獾1402 0.04巴巴里羊
“骡鹿”和“叉角羚”这两个物种总共占据了近200万张图片，占了我们数据的一半。“幽灵”这个物种描述了一种情况，有东西触发了相机，但在图像中似乎什么都没有。在塞维利亚塔的数据中，鬼魂被丢弃了，但其他遗址提供了很多。“Few”这个名字囊括了10个物种，包括“Ocelot”和“Burro”，它们只有不到1000张图片。
总的来说，不同物种在数据中所代表的程度存在巨大差异。单词云提供了物种分布的良好可视化(图3)。
图3。字云显示物种的相对分布。
Trail Camera图像
有些图片为动物提供了极好的肖像。图4显示了四个示例。
图4.示例跟踪相机图像。顺时针左下方：Coyote，Javelina，Pronghorn和Nilgai。
Javelina在中美洲和南美洲和北美的西南部。它们类似于野猪，但是一种独特的物种。Pronghorn和Coyotes在大多数地点都很常见。尼尔加在印度普遍存在，印度教徒将它们视为神圣。他们被引入20世纪20年代的德克萨斯州。他们在我们的网站中发现的唯一地方是Laguna Atascosa NWR。
大约三分之一的图像是在夜间用红外线进行的，并且出现在灰度中，如图5所示的前两个示例。
图5。上图:两张灰度红外图像。下图:两张羚羊的全彩图片。
这两幅长角羚的图像很容易被人类专家分类，尽管这两幅图像显示的视角非常不同。传统的图像处理技术会寻找像腿的数量，鹿角的存在和风格，以及尾巴的类型等特征，但右下角光线不好的特写镜头会让它们困惑。
有数以千计的图像由非浪费活动引发，包括人，奶牛，马，车辆和家畜。在图6中，右上方的图像已被归类为幽灵。
图6。由非野生动物活动触发的图像。上图:一个人(左)和一个“鬼”(右)。底:“不明”图像。
左下角的拍摄对象显然离相机太近了。在右下角的图像中有微弱的黄色斑点，可能是一群小飞虫。这两张图片都被归类为“身份不明”。
训练我们的深度学习网络
Inception-V3是广泛用于图像处理的卷积神经网络（CNN）。我们将使用从ImageNet数据库中使用超过一百万个图像的网络版本。Inception-V3是现成的图像CNN。它专门用于跟踪摄像机。我们选择从我们的40种中的每一个中的每一种随机样本为1400，并指定70％（980）作为训练图像和30％（420）作为验证图像。我们让训练在Linux上过夜®机器用GPU（Xeon®E5-1650v4处理器，3.5 GHz，6个HT核，64 GB RAM和12 GB NVIDIA®泰坦XP GPU）。
所结果的混乱的图表（图7）是一个40×40的矩阵A，其中a（k，j）是预测在第j级中的k-th真实类中观察的次数。如果分类完美地工作，则矩阵将是对角线。在该实验中，对角线上的值全部为420.近距离对角线是一种准确性的度量：
sum(diag(A))/sum(A，'all') = 0.8686
图7。混淆矩阵，用于检查分类器的准确性。
许多大的非对角线元素并不奇怪。最小的对角线值为216，用于鸟类。标有“鸟”的那一行表明，预测的类通常是一些其他物种。下一个最小的对角线元素270表示未知。未知物种和其他物种之间存在混淆。土狼的对角线值为297，表现不佳，可能是因为它们经常出现在模糊的图像中。鹿和nilgai，对角线值为358和352，总体精度很好，但相互混淆。
另一方面，最常用的动物最常用的是兔羊，其对角线值为405.老鹰，马和叉角正确分类390或更多次。大角羊有一个386。
在未分类的图像上测试CNN
我们现在有一个CNN训练分类跟踪摄像机图像。它是如何在一个新的位置表现的图像从来没有被分类?我们对Armendaris农场的每10张图像进行采样，总共有18242张。CNN的分类发现了39种不同的物种。
几乎一半的分类-8708-为大角羊。只有454岁是骡鹿。这意味着这意味着网络预测，Armendaris近20倍的骡子鹿近20倍，而塞维尔省距离北部少于100英里，达到了40倍的骡子鹿大角羊。
但这个结果并没有让吉姆·桑德森感到惊讶。Armendaris山上是羊的自然栖息地。牧场管理大角羊的方式与管理野牛群的方式相同。狩猎大角公羊是牧场的重要收入来源。
CNN分类标记为PUMA的93个图像。这似乎是高估的。检查93图像仅显示难以捉摸的动物的10或11个。
图8中的所有四幅图像都来自Armendaris。上面两种分别被CNN正确地分类为大角羊和美洲狮。但后面的两种则是同样的分类;这显然是不正确的。
图8。分类以前未分类的图像从Armendaris农场。上面的图像被CNN分类为大角羊和美洲狮，显然是正确的。下面的图像也被分类为大角羊和美洲狮，显然是错误的。
结论
总的来说，这个深度学习分类器比我预计的要成功得多。即使在目前的状态下，它也可能对研究人员有用。任何进一步的发展，我们的CNN应该集中在设计特征，具体跟踪摄像头图像识别。
有一件事是清楚的——数据越多越好。鱼类和野生动物管理局收集的500万张图片对于训练网络达到这种精度水平至关重要。
确认
感谢吉姆·桑德森，阿尔伯克基鱼类和野生动物管理局的格兰特·哈里斯，希瑟·戈尔，约翰娜·平格尔，还有MathWorks新闻和笔记编辑团队。
