基于KLT算法的人脸检测与跟踪
这个例子展示了如何使用特征点自动检测和跟踪人脸。在这个例子中，即使当人倾斜他或她的头，或靠近或远离相机时，这种方法也会跟踪脸部。
介绍
目标检测和跟踪在许多计算机视觉应用中都很重要，包括活动识别、汽车安全和监视。在本例中，您将开发一个简单的人脸跟踪系统，将跟踪问题分为三个部分:
发现一张脸
识别要跟踪的面部特征
追踪脸部
发现一张脸
首先，你必须检测脸部。使用愿景。CascadeObjectDetector对象来检测视频帧中人脸的位置。级联对象检测器使用Viola-Jones检测算法和训练过的分类模型进行检测。缺省情况下，检测器配置为检测人脸，但也可以用于检测其他类型的物体。
%创建级联检测器对象。faceDetector = vision.CascadeObjectDetector();读取视频帧并运行人脸检测器。videoReader =“tilted_face.avi”）;videoFrame = readFrame(videoReader);bbox = step(faceDetector, videoFrame);在检测到的人脸周围绘制返回的边界框。videoFrame = insertShape(videoFrame，“矩形”, bbox);图;imshow (videoFrame);标题(“发现脸”）;
将第一个方框转换为包含4个点的列表这需要能够可视化物体的旋转。bboxPoints = bbox2points(bbox(1，:));
为了随时间跟踪面部，本例使用了Kanade-Lucas-Tomasi (KLT)算法。虽然可以在每一帧上使用级联对象检测器，但它的计算成本很高。当被摄者转动或倾斜头部时，它也可能无法检测到脸部。这种限制来自于用于检测的训练分类模型的类型。这个例子只检测人脸一次，然后KLT算法在视频帧中跟踪人脸。
确定要跟踪的面部特征
KLT算法在视频帧中跟踪一组特征点。一旦检测定位了人脸，示例中的下一步就是识别可以可靠跟踪的特征点。这个例子使用了Shi和Tomasi提出的标准“跟踪好的特性”。
检测人脸区域的特征点。
points = detectMinEigenFeatures(im2gray(videoFrame)，“投资回报”, bbox);%显示检测到的点。figure, imshow(videoFrame)，按住在、标题(“检测功能”）;情节(点);
初始化跟踪器来跟踪点
识别出特征点后，您现在可以使用愿景。PointTracker系统对象来跟踪它们。对于前一帧中的每个点，点跟踪器尝试在当前帧中找到相应的点。然后estimateGeometricTransform2D函数用于估计旧点和新点之间的平移、旋转和缩放。这个变换应用于人脸周围的边界框。
创建一个点跟踪器，并启用双向误差约束，使其在噪声和杂波的存在下更加健壮。
pointTracker =视觉。PointTracker (“MaxBidirectionalError”2);初始化跟踪器，初始点位置和初始%视频帧。points = points. location;initialize(pointTracker, points, videoFrame);
初始化视频播放器以显示结果
创建一个用于显示视频帧的视频播放器对象。
videoPlayer =视觉。放像机(“位置”，…[100 100 [size(videoFrame, 2)， size(videoFrame, 1)]+30]);
追踪面部
跟踪点从一帧到另一帧，并使用estimateGeometricTransform2D函数来估计脸部的运动。
复制要用于计算前一帧和当前帧中点之间的几何变换的点
oldPoints =点数;而hasFrame (videoReader)%获取下一帧videoFrame = readFrame(videoReader);跟踪这些点。请注意，有些点可能会丢失。[points, isFound] = step(pointTracker, videoFrame);visiblePoints = points(isFound，:);oldInliers = oldPoints(isFound，:);如果size(visiblePoints, 1) >= 2%至少需要2分估计旧点之间的几何变换%和新点，并消除异常值[xform, inlierIdx] = estimateGeometricTransform2D(…oldInliers visiblePoints,“相似”，“MaxDistance”4);oldInliers = oldInliers(inlierIdx，:);visiblePoints = visiblePoints(inlierIdx，:);对边界框点应用变换bboxPoints = transformPointsForward(xform, bboxPoints);在正在跟踪的对象周围插入一个边界框bboxPolygon =重塑(bboxPoints'， 1， []);videoFrame = insertShape(videoFrame，“多边形”bboxPolygon,…“线宽”2);显示跟踪点videoFrame = insertMarker(videoFrame, visiblePoints，“+”，…“颜色”，“白色”）;%重置点oldPoints = visiblePoints;选点(pointTracker oldPoints);结束使用视频播放器对象显示带注释的视频帧步骤(放像机、videoFrame);结束%清理释放(放像机);
释放(pointTracker);
总结
在本例中，您创建了一个简单的面部跟踪系统，可以自动检测和跟踪单个面部。尝试改变输入视频，看看你是否仍然能够检测和跟踪人脸。确保在检测步骤的初始帧中，人正对着相机。
参考文献
保罗·a·维奥拉和迈克尔·J·琼斯。“基于简单特征级联的快速目标检测”，IEEE CVPR, 2001。
Bruce D. Lucas和Takeo Kanade。一种应用于立体视觉的迭代图像配准技术。国际人工智能联合会议，1981年。
卡洛·托马西和金纳德武夫。点特征的检测与跟踪。卡耐基梅隆大学技术报告CMU-CS-91-132, 1991。
史剑波和卡洛·托马西。跟踪好的功能。计算机视觉与模式识别IEEE会议，1994。
兹德内克·卡拉尔，克里斯蒂安·米科拉伊奇克和吉里·马塔斯。Forward-Backward Error:自动检测跟踪失败。模式识别国际会议，2010
