7.1. 模板匹配

7.1.1. 目标

在本章中,你将学习
-要使用模板匹配查找图像中的对象,您将看到以下函数: 匹配模板()cv2.minMaxLoc()

7.1.2. 理论

模板匹配是一种在较大的图像中搜索和查找模板图像位置的方法。OpenCV带有一个函数 匹配模板() 为此目的。它只需将模板图像滑动到输入图像上(如二维卷积),然后比较模板图像下输入图像的模板和块。在OpenCV中实现了几种比较方法。(您可以查看文档以了解更多详细信息)。它返回一个灰度图像,其中每个像素表示该像素的邻域与模板匹配的程度。

如果输入图像大小 \((WxH)\) 模板图像大小 \((wxh)\) ,输出图像的大小为 \((W-w+1, H-h+1)\) . 一旦你得到结果,你就可以使用 cv2.minMaxLoc() 函数查找最大/最小值的位置。把它作为矩形的左上角 \((w,h)\) 作为矩形的宽度和高度。矩形是模板的区域。

注意

如果您正在使用 cv2.TM_SQDIFF 作为比较方法,最小值给出了最佳匹配。

7.1.3. OpenCV中的模板匹配

这里,作为一个例子,我们将在梅西的照片中寻找他的脸。所以我创建了一个模板如下:

我们将尝试所有的比较方法,以便看到它们的结果是什么样子的:

>>> %matplotlib inline
>>>
>>> import cv2
>>> import numpy as np
>>> from matplotlib import pyplot as plt
>>>
>>> img = cv2.imread('/cvdata/messi5.jpg',0)
>>> img2 = img.copy()
>>> # template = cv2.imread('template.jpg',0)
>>> template = cv2.imread('/cvdata/tmpl.png',0)
>>>
>>> w, h = template.shape[::-1]
>>>
>>> # All the 6 methods for comparison in a list
>>> methods = ['cv2.TM_CCOEFF', 'cv2.TM_CCOEFF_NORMED', 'cv2.TM_CCORR',
>>>             'cv2.TM_CCORR_NORMED', 'cv2.TM_SQDIFF', 'cv2.TM_SQDIFF_NORMED']
>>>
>>> for meth in methods:
>>>     img = img2.copy()
>>>     method = eval(meth)
>>>
>>>     # Apply template Matching
>>>     res = cv2.matchTemplate(img,template,method)
>>>     min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
>>>
>>>     # If the method is TM_SQDIFF or TM_SQDIFF_NORMED, take minimum
>>>     if method in [cv2.TM_SQDIFF, cv2.TM_SQDIFF_NORMED]:
>>>         top_left = min_loc
>>>     else:
>>>         top_left = max_loc
>>>     bottom_right = (top_left[0] + w, top_left[1] + h)
>>>
>>>     cv2.rectangle(img,top_left, bottom_right, 255, 2)
>>>
>>>     plt.subplot(121),plt.imshow(res,cmap = 'gray')
>>>     plt.title('Matching Result'), plt.xticks([]), plt.yticks([])
>>>     plt.subplot(122),plt.imshow(img,cmap = 'gray')
>>>     plt.title('Detected Point'), plt.xticks([]), plt.yticks([])
>>>     plt.suptitle(meth)
>>>
>>>     plt.show()
../_images/sec01-template-matching_1_0.png ../_images/sec01-template-matching_1_1.png ../_images/sec01-template-matching_1_2.png ../_images/sec01-template-matching_1_3.png ../_images/sec01-template-matching_1_4.png ../_images/sec01-template-matching_1_5.png

结果如下:

  • cv2.TM_CCOEFF

  • cv2.TM_CCOEFF_NORMED

  • cv2.TM_CCORR

  • cv2.TM_CCORR_NORMED

  • cv2.TM_SQDIFF

  • cv2.TM_SQDIFF_NORMED

你可以看到结果使用 cv2.TM_CCORR 不象我们预期的那样好。

7.1.4. 多对象模板匹配

在上一节中,我们搜索了梅西的脸,这只在图像中出现一次。假设你在寻找一个有多个发生的物体, cv2.minMaxLoc() 不会告诉你所有的地点。在这种情况下,我们将使用阈值。所以在这个例子中,我们将使用著名游戏的屏幕截图 马里奥 我们会在里面找到硬币。

>>> %matplotlib inline
>>>
>>> import cv2
>>> import numpy as np
>>> from matplotlib import pyplot as plt
>>>
>>> img_rgb = cv2.imread('/cvdata/mario.png')
>>> img_gray = cv2.cvtColor(img_rgb, cv2.COLOR_BGR2GRAY)
>>> template = cv2.imread('/cvdata/mario_coin.png',0)
>>> w, h = template.shape[::-1]
>>>
>>> res = cv2.matchTemplate(img_gray,template,cv2.TM_CCOEFF_NORMED)
>>> threshold = 0.8
>>> loc = np.where( res >= threshold)
>>> for pt in zip(*loc[::-1]):
>>>     cv2.rectangle(img_rgb, pt, (pt[0] + w, pt[1] + h), (0,0,255), 2)
>>>
>>> cv2.imwrite('res.png',img_rgb)
True
>>> plt.imshow(img_rgb)
<matplotlib.image.AxesImage at 0x7f67de63f198>
../_images/sec01-template-matching_4_1.png

结果:

7.1.5. 额外资源

7.1.6. 练习