跟踪摄像机由动物的动作自动触发。它们被世界各地的生态学家和野生动物管理者用来研究野生动物的行为，帮助保护濒危物种。我想看看MATLAB®图像处理和深度学习可用于识别访问跟踪摄像机的单个动物物种。我们将从现成的功能开始，没有专门用于此特定任务的功能。
我在这个项目上的合作伙伴是希瑟·戈尔和吉姆·桑德森。希瑟是MathWorks的机器学习专家。吉姆是我的博士之一。新墨西哥大学的学生。他在洛斯阿拉莫斯国家实验室花了几年时间为超级计算机编写Fortran程序。但对自然摄影的兴趣演变成了转向生态学职业的愿望。他现在是世界上研究小型野猫的权威。他还是CameraSweet的所有者，CameraSweet是一个软件包，世界各地的调查人员都使用它来分类和分析他们的追踪相机数据。
我们的数据
我们的研究使用了美国鱼类和野生动物服务局（FWS）办公室在过去10年从四个国家野生动物保护区（NWR）和一个私人牧场收集的数据。图1中的地图由Mapping Toolbox制作™, 显示站点的位置。
图1。五个数据站点位置。
大部分数据来自塞维莱塔国家野生动物保护区，该保护区位于新墨西哥州中部的奇瓦瓦沙漠，占地23万英亩。另一个同样位于新墨西哥州的地方是Armendaris牧场，它是CNN的创始人、女演员简·方达的前夫、亿万富翁特德·特纳(Ted Turner)拥有的35万英亩私人土地。
数据量很大，总共有近500万张图片。塞维利塔和其他三个NWR贡献了近400万张已被人类专家分类的图像，而德克萨斯州的Armendaris牧场和Laguna Atascosa NWR贡献了另外100万张尚未分类的图像。
CameraSweet让研究人员将图像保存在一个文件夹中，每个文件夹对应一个相机，每个物种和单个图像中看到的动物数量都有子文件夹。每个图像文件都标有记录的日期和时间。
为了读取鱼类和野生动物服务数据，我们的MATLAB程序创建了一个字符串数组FWS，长度为3979549，包含数据集中所有图像的路径名。例如：
k=2680816；example=FWS（k）example=“D:SNWR\Pino-South（28）\Bear\02\2012 06 10 14 06 20.JPG”
的FWS此示例的条目告诉我们，数据位于连接到我的驱动器的硬盘上D:它来自SNWR或Sevilleta NWR网站。摄像机是28号，位于皮诺南。一位人类专家为两只熊将这些数据保存到了CameraSweet文件夹中。
我搜索了许多两张熊的图片，寻找一张可爱的图片，找到了如图2所示的图片。JPG图像的名称是2012年6月10日14:06:20小时的时间戳。命令
imshow（示例）
访问数据并生成图2。
图2.一只母熊和她的幼崽被28号摄像机拍下。
命名和标记物种
使用CameraSweet的研究人员在命名物种的方式上有一定的灵活性。“山狮”和“美洲狮”是同一种动物。“浣熊”有几种不同的拼法。我们把这些名字统一成40个，我们称之为标准。名称显示在下面标题为“物种”的一栏中。
我们的MATLAB程序创建了第二个字符串数组，标签，它具有中图像的标准名称FWS. 使用标签，很容易计算出每个标准物种的图像数量。
图像物种1282762百分比32.23骡鹿690131 17.34叉角羚407240鸟10.23麋鹿264375 6.64 191954 4.82鸽子184218 4.63 173476年鬼4.36羚羊120377 3.02乌鸦105931 2.66狼105718 2.66秃鹰67643 1.70牛45308人类1.14 40060 1.01 32849年福克斯0.83马31579 0.79 31439棉尾兔0.79大角羊23818 0.60长耳大野兔20438松鼠0.51鹿18160 0.46 17347 0.44野猪16286 0.41猪14898 0.37 14191 0.36山猫12617 0.32 9882年鹰0.25 Nilgai 8342 0.19 0.21鹰7405几6864 0.17彪马6023 0.15未知4516 0.11车辆3863 0.10浣熊3427 0.09蛇走鹃2656 0.07猫头鹰2608 0.07 2164 0.05犰狳2029 0.05国内1985 0.05 1909年啮齿动物0.05臭鼬1659 0.04獾1402 0.04巴巴里羊
“骡鹿”和“叉角羚”这两个物种总共占据了近200万张图片，占了我们数据的一半。“幽灵”这个物种描述了一种情况，有东西触发了相机，但在图像中似乎什么都没有。在塞维利亚塔的数据中，鬼魂被丢弃了，但其他遗址提供了很多。“Few”这个名字囊括了10个物种，包括“Ocelot”和“Burro”，它们只有不到1000张图片。
总的来说，不同物种在数据中所代表的程度存在巨大差异。单词云提供了物种分布的良好可视化(图3)。
图3。显示物种相对分布的词云。
Trail Camera图像
有些图片为动物提供了极好的肖像。图4显示了四个示例。
图4.从左下角顺时针方向拍摄的轨迹相机图像示例：郊狼、标枪、叉角羚和尼尔盖。
标枪分布在中美洲、南美洲和北美西南部。它们与野猪相似，但却是一个独特的物种。叉角羚和郊狼在我们的大多数地点都很常见。印度教徒视其为神圣的尼尔盖在印度随处可见。它们于20世纪20年代被引入德克萨斯州。在德克萨斯州是唯一发现它们的地方我们的网站是Laguna Atascosa NWR。
大约三分之一的图像是在夜间用红外线拍摄的，并以灰度显示，如图5所示的前两个示例。
图5。上图：两幅灰度红外图像。下图：一只大羚羊的两张全彩照片。
这两幅长角羚的图像很容易被人类专家分类，尽管这两幅图像显示的视角非常不同。传统的图像处理技术会寻找像腿的数量，鹿角的存在和风格，以及尾巴的类型等特征，但右下角光线不好的特写镜头会让它们困惑。
有数千张由非野生动物活动触发的图像，包括人类、牛、马、车辆和家畜。在图6中，右上角的图像被归类为鬼魂。
图6。由非野生动物活动触发的图像。上图：一个人（左）和一个“鬼”（右）。底部：“未识别”图像。
左下角的拍摄对象显然离相机太近了。在右下角的图像中有微弱的黄色斑点，可能是一群小飞虫。这两张图片都被归类为“身份不明”。
培训我们的深度学习网络
Inception-v3是一种卷积神经网络（CNN）这被广泛用于图像处理。我们将使用一个版本的网络预训练来自ImageNet数据库的超过一百万张图像。Inception-v3是一个现成的图像CNN。其中没有专门用于跟踪摄像机的内容。我们从40个物种中随机抽取1400个样本，并指定70%（980）作为培训映像，30%（420）作为验证映像。我们让培训在Linux上运行一夜®带有GPU（Xeon）的机器®E5-1650v4处理器、3.5 GHz、6个HT内核、64 GB RAM和12 GB NVIDIA®Titan XP GPU）。
结果混乱的图表（图7）是一个40×40的矩阵a，其中a（k，j）是第k个真实类别中的观测值被预测为第j个类别的次数。如果分类工作正常，矩阵将是对角的。在这个实验中，对角线上的值都是420。接近对角线是一种精度度量：
准确度=总和（诊断（A））/总和（A，'all'）=0.8686
图7。混淆矩阵，用于检查分类器的准确性。
许多大的非对角线元素并不奇怪。最小的对角线值为216，用于鸟类。标有“鸟”的那一行表明，预测的类通常是一些其他物种。下一个最小的对角线元素270表示未知。未知物种和其他物种之间存在混淆。土狼的对角线值为297，表现不佳，可能是因为它们经常出现在模糊的图像中。鹿和nilgai，对角线值为358和352，总体精度很好，但相互混淆。
另一方面，被正确分类的动物通常包括barbary羊，其对角线值为405。鹰、马和叉角羚被正确分类390次或更多次。大角羊的对角线值为386。
在未分类图像上测试CNN
我们现在有一个受过训练的CNN来对跟踪摄像机图像进行分类。对于从未被分类的图像，它在新位置的表现如何？我们从Armendaris牧场每10张图片中抽取一张，总共18242张。CNN分类发现了39种不同的物种。
几乎一半的分类（8708）是针对大角羊的。只有454个是针对骡鹿的。这让我一开始很惊讶，因为这意味着网络预测Armendaris的大角羊数量几乎是骡鹿的20倍，而塞维利塔（Sevilleta）位于北面不到100英里处，正好相反：骡鹿数量是bigh的40倍多角羊。
但这一结果并不让吉姆·桑德森感到惊讶。Armendaris山是绵羊的自然栖息地。牧场管理大角羊的方式与管理水牛群的方式相同。猎捕大角羊是牧场的重要收入来源。
CNN分类将93张图像标记为美洲狮。这似乎是高估了。对93张图片的检查只发现了10或11只难以捉摸的动物。
图8中的所有四幅图像都来自Armendaris。上面两种分别被CNN正确地分类为大角羊和美洲狮。但后面的两种则是同样的分类;这显然是不正确的。
图8。Armendaris牧场先前未分类图像的分类。上面的图像被CNN分类为大角羊和美洲狮，显然是正确的。下面的图像也被归类为大角羊和美洲狮，显然是错误的。
结论
总的来说，这个深度学习分类器比我预期的更成功。即使在目前的状态下，它也可能对调查人员有用。我们CNN的任何进一步发展都应该专注于设计特定于跟踪摄像机图像识别的功能。
有一点很清楚，数据越多越好。鱼类和野生动物服务局收集的500万张图像对于将网络训练到如此精确的水平至关重要。
确认
感谢吉姆·桑德森，阿尔伯克基鱼类和野生动物管理局的格兰特·哈里斯，希瑟·戈尔，约翰娜·平格尔，还有MathWorks新闻和笔记编辑团队。
