OpenCV 对象跟踪

OpenCV 对象跟踪

这篇文章使用 OpenCV 中内置的八种不同的对象跟踪算法,实现对物体的跟踪。

首先,介绍一下8种跟踪算法。

然后,演示如何使用OpenCV实现这些跟踪算法。

最后,对本文做总结。

OpenCV 对象跟踪器

OpenCV 八种对象跟踪器:

  • BOOSTING Tracker:基于用于驱动 Haar 级联 (AdaBoost) 背后的机器学习的相同算法,但与 Haar 级联一样,已有十多年的历史。这个跟踪器很慢,而且效果不太好。仅出于遗留原因和比较其他算法而感兴趣。 (最低 OpenCV 3.0.0)
  • MIL Tracker:比 BOOSTING 跟踪器更准确,但在报告失败方面做得很差。 (最低 OpenCV 3.0.0)
  • KCF 跟踪器:内核化相关过滤器。比 BOOSTING 和 MIL 更快。与 MIL 和 KCF 类似,不能很好地处理完全遮挡。 (最低 OpenCV 3.1.0)
  • CSRT Tracker:判别相关滤波器(具有通道和空间可靠性)。往往比 KCF 更准确,但速度稍慢。 (最低 OpenCV 3.4.2)
  • MedianFlow Tracker:很好地报告失败;但是,如果运动中的跳跃太大,例如快速移动的物体,或者外观快速变化的物体,模型就会失败。 (最低 OpenCV 3.0.0)
  • TLD 跟踪器:我不确定 TLD 跟踪器的 OpenCV 实现或实际算法本身是否存在问题,但 TLD 跟踪器极易出现误报。我不推荐使用这个 OpenCV 对象跟踪器。 (最低 OpenCV 3.0.0)
  • MOSSE Tracker:非常非常快。不如 CSRT 或 KCF 准确,但如果您需要纯粹的速度,这是一个不错的选择。 (最低 OpenCV 3.4.1)
  • GOTURN Tracker:OpenCV 中唯一基于深度学习的目标检测器。它需要额外的模型文件才能运行(本文不会涉及)。我最初的实验表明,尽管据说它可以很好地处理查看变化,但使用起来还是有点痛苦(尽管我最初的实验并没有证实这一点)。我将尝试在以后的帖子中介绍它,但与此同时,请看一下 Satya 的文章。 (最低 OpenCV 3.2.0)

个人建议:

  • 当需要更高的对象跟踪精度并且可以容忍较慢的 FPS 吞吐量时,请使用 CSRT
  • 当需要更快的 FPS 吞吐量但可以处理稍低的对象跟踪精度时使用 KCF
  • 当需要纯粹的速度时使用 MOSSE

物体跟踪

在开始算法之前,先写辅助方法和类。

fps类:

import datetime

class FPS:
	def __init__(self):
		# 定义开始时间、结束时间和总帧数
		self._start = None
		self._end = None
		self._numFrames = 0

	def start(self):
		# 开始计时
		self._start = datetime.datetime.now()
		return self

	def stop(self):
		# 停止计时
		self._end = datetime.datetime.now()

	def update(self):
		# 增加在开始和结束间隔期间检查的总帧数
		self._numFrames += 1

	def elapsed(self):
		# 返回开始和结束间隔之间的总秒数
		return (self._end - self._start).total_seconds()

	def fps(self):
		# 计算每秒帧数
		return self._numFrames / self.elapsed()

请打开一个新文件,将其命名为 object_tracker.py ,定义resize方法,等比例缩放图片。

import cv2
from fps import FPS
def resize(image, width=None, height=None, inter=cv2.INTER_AREA):
    # 初始化要调整大小的图像的尺寸并抓取图像大小
    dim = None
    (h, w) = image.shape[:2]
    # 如果宽高都为None,则返回原图
    if width is None and height is None:
        return image
    # 检查宽度是否为None
    if width is None:
        # 计算高度的比例并构造尺寸
        r = height / float(h)
        dim = (int(w * r), height)
    # 否则,高度为 None
    else:
		# 计算宽度的比例并构造尺寸
        r = width / float(w)
        dim = (width, int(h * r))
    resized = cv2.resize(image, dim, interpolation=inter)
    return resized

定义全局变量:

videos = 0
tracker_type = 'kcf'

我们的命令行参数包括:

videos:输入视频文件或者摄像头的ID。

tracker_type:跟踪器的类型,接下来的代码定义了跟踪器列表。

接下来定义不同类型的跟踪器:

# 提取 OpenCV 版本信息
(major, minor) = cv2.__version__.split(".")[:2]
# 如果我们使用 OpenCV 3.2 或之前版本,我们可以使用特殊的工厂函数来创建我们的对象跟踪器
if int(major) == 3 and int(minor) < 3:
    tracker = cv2.Tracker_create(tracker_type)
# 否则,对于 OpenCV 3.3 或更新版本,我们需要显式调用对应的对象跟踪器构造函数:
else:
    # 初始化一个字典,将字符串映射到其对应的 OpenCV 对象跟踪器实现
    OPENCV_OBJECT_TRACKERS = {
        "csrt": cv2.TrackerCSRT_create,
        "kcf": cv2.TrackerKCF_create,
        "boosting": cv2.legacy.TrackerBoosting_create,
        "mil": cv2.TrackerMIL_create,
        "tld": cv2.legacy.TrackerTLD_create,
        "medianflow": cv2.legacy.TrackerMedianFlow_create,
        "mosse": cv2.legacy.TrackerMOSSE_create
    }
    # 使用我们的 OpenCV 对象跟踪器对象字典获取适当的对象跟踪器
    tracker = OPENCV_OBJECT_TRACKERS[tracker_type]()

在OpenCV 3.3之前,必须使用cv2.Tracker_create创建跟踪器对象,并传递跟踪器名称的大写字符串。

对于OpenCV 3.3+,可以使用各自的函数调用创建每个跟踪器,例如cv2.TrackerCSRT_create。字典OPENCV_OBJECT_TRACKERS包含8个内置OpenCV对象跟踪器中的七个。它将对象跟踪器命令行参数字符串(键)与实际的OpenCV对象跟踪器函数(值)进行映射。

# 初始化我们要追踪的物体的边界框坐标
initBB = None
vs = cv2.VideoCapture(videos)
fps = None

initBB初始化为None,此变量将保存我们使用鼠标选择的对象的边界框坐标。

接下来,初始化VideoCapture对象和FPS计数器。

让我们开始循环来自视频流的帧:

# 循环播放视频流中的帧
while True:
    # 抓取当前帧。
    (grabbed, frame) = vs.read()
    if not grabbed:
        break
    # 调整框架大小并获取框架尺寸。
    frame = resize(frame, width=500)
    (H, W) = frame.shape[:2]

    # 检查是否正在跟踪一个对象
    if initBB is not None:
        # 抓取物体的新边界框坐标
        (success, box) = tracker.update(frame)
        # 检查跟踪是否成功
        if success:
            (x, y, w, h) = [int(v) for v in box]
            cv2.rectangle(frame, (x, y), (x + w, y + h),
                          (0, 255, 0), 2)
        # 更新 FPS 计数器
        fps.update()
        fps.stop()
        # 初始化在框架上显示的信息集
        info = [
            ("Tracker", tracker_type),
            ("Success", "Yes" if success else "No"),
            ("FPS", "{:.2f}".format(fps.fps())),
        ]
        # 遍历信息元组并将它们绘制在框架上
        for (i, (k, v)) in enumerate(info):
            text = "{}: {}".format(k, v)
            cv2.putText(frame, text, (10, H - ((i * 20) + 20)),
                        cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 0, 255), 2)

    # 显示输出帧
    cv2.imshow("Frame", frame)
    key = cv2.waitKey(1) & 0xFF

抓住一个帧,如果获取不到帧,则退出。

为了使对象跟踪算法能够更快地处理帧,我们将输入帧的大小调整为500像素。

然后输出框架的高和宽。

如果已选择对象,则需要更新对象的位置。 update方法将定位对象的新位置并返回成功布尔值和对象的边界框。

如果成功,我们在框架上绘制新的,更新的边界框位置。

更新FPS。

初始化显示的文本信息列表。随后,绘制到frame上。

显示输出帧。

   # 使用's'键选择一个边界框来跟踪
    if key == ord("s"):
        # 选择跟踪的对象的边界框(选择 ROI 后按 ENTER 或 SPACE)
        initBB = cv2.selectROI("Frame", frame, fromCenter=False,
                               showCrosshair=True)
        # 使用提供的边界框坐标启动 OpenCV 对象跟踪器,然后也启动 FPS 吞吐量估计器
        tracker.init(frame, initBB)
        fps = FPS().start()
    # 如果 `q` 键被按下,则退出循环
    elif key == ord("q"):
        break
vs.release()
cv2.destroyAllWindows()

按下“s”键时,使用cv2.selectROI“选择”对象ROI。此时,视频帧冻结,用鼠标绘制跟踪对象的边界框。

绘制完边界框,然后按“ENTER”或“SPACE”确认选择。如果需要重新选择区域,只需按“ESCAPE”即可。

然后,启动OpenCV 对象跟踪器,再启动 FPS 吞吐量估计器。

最后一个段代码只是处理我们已经脱离循环的情况。释放所有指针并关闭窗口。

总结

在今天的博客文章中,您学习了如何利用OpenCV进行对象跟踪。具体来说,我们回顾了OpenCV库中包含的8个对象跟踪算法(从OpenCV 3.4开始):

CSRT、KCF、Boosting、MIL、TLD、MedianFlow、MOSSE、GOTURN。

建议对大多数对象跟踪应用程序使用CSRT,KCF或MOSSE:

当需要更高的对象跟踪精度并且可以容忍更慢的FPS吞吐量时,请使用CSRT

当需要更快的FPS吞吐量时使用KCF,但可以处理稍低的对象跟踪精度

当需要纯粹的速度时使用MOSSE

完整代码:

https://download.csdn.net/download/hhhhhhhhhhwwwwwwwwww/79602278

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇

)">
下一篇>>