11.1. 图像去噪

11.1.1. 目标

在本章中，

  • 您将学习非局部均值去噪算法以去除图像中的噪声。

  • 你会看到不同的功能 cv2.快速噪声（） ， cv2.快速意味着噪声彩色（） 等。

11.1.2. 理论

在前面的章节中，我们已经看到了许多图像平滑技术，如高斯模糊、中值模糊等，它们在一定程度上很好地去除了少量的噪声。在这些技术中，我们在一个像素周围取一个小的邻域，然后进行高斯加权平均、中值等运算来代替中心元素。简而言之，像素处的噪声去除是其邻域的局部。

有噪音的特性。噪声一般被认为是一个均值为零的随机变量。考虑一个噪声像素， \(p = p_0 + n\) 在哪里？ \(p_0\) 是像素和 \(n\) 是像素中的噪声。你可以取大量相同的像素（比如 \(N\) )从不同的图像计算它们的平均值。理想情况下，你应该 \(p = p_0\) 因为噪音的平均值是零。

你可以通过一个简单的设置来验证它。将静态摄像机固定在某个位置几秒钟。这将为您提供大量帧，或同一场景的许多图像。然后写一段代码，找出视频中所有帧的平均值（这对你来说应该太简单了）。比较最终结果和第一帧。你可以看到噪音的减少。不幸的是，这种简单的方法对摄像机和场景的运动不具有鲁棒性。也常常只有一个噪声图像可用。

所以想法很简单，我们需要一组相似的图像来平均噪声。考虑图像中的一个小窗口（比如5x5窗口）。相同的补丁可能在图像中的其他地方，这种可能性很大。有时在它周围的一个小邻居。把这些相似的补丁放在一起，找出它们的平均值怎么样？对于那个特定的窗口，那很好。请参见下面的示例图片：

图像中的蓝色斑块看起来很相似。绿色斑块看起来很相似。所以我们取一个像素，在它周围取一个小窗口，在图像中搜索相似的窗口，平均所有窗口并用我们得到的结果替换像素。该方法是非局部均值去噪方法。与我们之前看到的模糊技术相比，它需要更多的时间，但它的效果非常好。更多细节和在线演示可以在附加资源的第一个链接中找到。

对于彩色图像，首先将图像转换成CIELAB颜色空间，然后分别对L分量和AB分量进行去噪。

11.1.3. OpenCV中的图像去噪

OpenCV提供了这种技术的四种变体。

  1. cv2.快速噪声（） -使用单个灰度图像

  2. cv2.快速意味着噪声彩色（） -使用彩色图像。

  3. cv2.fastnmeansdenoisingmulti（） -使用短时间内捕获的图像序列（灰度图像）

  4. cv2.fastnmeansdenoisingcoloredmulti（） -同上，但适用于彩色图像。

常见的论点有：
-h：决定过滤器强度的参数。较高的h值可以更好地去除噪声，但也可以去除图像的细节。（10可以）-hForColorComponents：与h相同，但仅适用于彩色图像。（通常与h相同）-templateWindowSize:应为奇数。（建议7）-搜索窗口大小：应为奇数。（建议21）

有关这些参数的更多详细信息，请访问附加资源中的第一个链接。

我们将在这里演示2和3。剩下的留给你了。

一。cv2.快速意味着噪声彩色（）

如上所述，它用于去除彩色图像中的噪声。（噪声应为高斯噪声）。请参见下面的示例：

>>> %matplotlib inline
>>>
>>> import numpy as np
>>> import cv2
>>> from matplotlib import pyplot as plt
>>>
>>> img = cv2.imread('/cvdata/die.png')
>>>
>>> dst = cv2.fastNlMeansDenoisingColored(img,None,10,10,7,21)
>>>
>>> plt.subplot(121),plt.imshow(img)
>>> plt.subplot(122),plt.imshow(dst)
>>> plt.show()
../_images/sec01-non-local-means_1_0.png

下面是结果的缩放版本。我的输入图像有高斯噪声 \(\sigma = 25\) . 查看结果：

2。cv2.fastnmeansdenoisingmulti（）

现在我们将对视频应用相同的方法。第一个参数是噪声帧列表。第二个论点 \(imgToDenoiseIndex\) 指定需要去噪的帧，以便在输入列表中传递帧的索引。三是 \(temporalWindowSize\) 它指定用于去噪的相邻帧的数目。这应该很奇怪。在这种情况下，总共 \(temporalWindowSize\) 当中心帧是要去噪的帧时，使用帧。例如，您传递了一个5帧的列表作为输入。让 \(imgToDenoiseIndex = 2\) 和 \(temporalWindowSize = 3\) . 然后利用第1帧、第2帧和第3帧对第2帧进行去噪。让我们看一个例子。

>>> import numpy as np
>>> import cv2 as cv
>>> from matplotlib import pyplot as plt
>>> cap = cv.VideoCapture('/cvdata/vtest.avi')
>>> # create a list of first 5 frames
>>> img = [cap.read()[1] for i in range(5)]
>>> # convert all to grayscale
>>> gray = [cv.cvtColor(i, cv.COLOR_BGR2GRAY) for i in img]
>>> # convert all to float64
>>> gray = [np.float64(i) for i in gray]
>>> # create a noise of variance 25
>>> noise = np.random.randn(*gray[1].shape)*10
>>> # Add this noise to images
>>> noisy = [i+noise for i in gray]
>>> # Convert back to uint8
>>> noisy = [np.uint8(np.clip(i,0,255)) for i in noisy]
>>> # Denoise 3rd frame considering all the 5 frames
>>> dst = cv.fastNlMeansDenoisingMulti(noisy, 2, 5, None, 4, 7, 35)
>>> plt.subplot(131),plt.imshow(gray[2],'gray')
>>> plt.subplot(132),plt.imshow(noisy[2],'gray')
>>> plt.subplot(133),plt.imshow(dst,'gray')
>>> plt.show()
../_images/sec01-non-local-means_3_0.png

下图显示了我们得到的结果的缩放版本：

计算需要相当长的时间。结果表明，第一幅图像为原始帧，第二幅图像为噪声帧，第三幅图像为去噪图像。

11.1.4. 额外资源

  1. http://www.ipol.im/pub/art/2011/bcm_nlm/ (It has the details, online demo etc. Highly recommended to visit. Our test image is generated from this link)

  2. Online course at coursera （从这里拍摄的第一张照片）

11.1.5. 练习