大家好，我是小木，我又回来了，今天我们要讲一些算法，这些算法可以把物体和它的背景分离。这些算法最常用的有两种，一种叫做GrabCut算法，另外一种叫做分水岭算法。

我们今天不讲推导过程，原因是本人还没有看明白，所以第九节课给大家普及。这节课我只讲东西是怎么用的。

这节课先说一下GrabCut算法，这个算法是微软发明的一种算法，目的是我们用手指在手机屏幕上面画一个轮廓，然后剩余的部分就被当作背景干掉。微软能够发明出这么NB的东西，某企鹅公司只会山寨，还没事儿和什么360、今日头条掐架。至于其它的嘛，啥也不是。人家领先你们最少40年，我们就不能往前面赶赶么，赶不上尽力了也行啊！

好了，废话不多说，我来BB一下这个东西是怎么用的吧！

首先我们有一张图：

 

额，又是小熊，为啥博主总是用它呢？很简单，我喜欢这个娃娃啊！我们想要把小熊后边的背景都给干掉，那么怎么办呢？

第一种方法叫做矩形框选法：

首先我们在这个图片上面把前景部分用矩形给圈起来：

 

接下来，我们假定在红色框框里面的东西一部分可能是前景、一部分可能是背景。而框框外面的物体全部都是背景。

我们下一步需要记录一下我们这个框框左上角和右下角的X,Y坐标。

下一步，我们建立一个掩模，其实就类似于PS中的蒙版。这个模版的大小和我们的图片一样大。这个模版我们假定里面开始时候都是0，指的是全都是背景。在计算完毕后，如果是背景，那么仍然为0，如果是前景，那么为1。如果可能是背景那么为2，可能是前景，那么为3。在OPENCV当中，每个数字代表如下：

GCD_BGD（=0），背景；

GCD_FGD（=1），前景；

GCD_PR_BGD（=2），可能是背景；

GCD_PR_FGD（=3），可能是前景。

接下来我们定义两个参数，叫做前景模型和背景模型，它们是一个矩阵，行数最大是1，列数最大是65=13*5，一般都是选择最大。

定义之后，我们把矩形框框坐标、前景、背景模型、已经蒙版都导入到GrabCut算法当中进行计算。在这个算法当中有一个参数叫做迭代次数，由我们自己来定，如果设定的小了，效果不好，如果设定大了，浪费时间，因为调整这个参数也比较重要。

我们在计算完成之后，我们会得到一个新的蒙版，这个蒙版里面包含了0~3的4种数据，而我们按照上述的方法进行计算，算法会判断哪些可能是前景，哪些可能是背景。而不会出现一定是前景或者一定是背景的情况，因此数字只能有2~3两个。因此，我们令蒙版中等于2的数据为0，也就是可能是背景的地方为0，然后令3为1，也就是前景的地方为1。接下来我们用原始的图片和蒙版做点对点乘积，也就是图片矩阵的每一个元素与蒙版中一一对应位置的元素相乘。然后我们就会把背景的地方全都转化为0，也就是黑色了。而前景部分乘以1，不会变。

接着把我们乘积得到的结果作为图片显示到窗口中就OK了。

运用OPENCV来进行背景分离，代码如下：

#导入类库import numpy as npimport cv2#画图类库，很好用，不用自己从头编写了from matplotlib import pyplot as plt#导入图像（小熊）img = cv2.imread('D:/xiaomu/opencv7-1.png')#建立一个和img图像一样大的蒙版mask = np.zeros(img.shape[:2],np.uint8)#画一个矩形框框，选出前景物体（小熊）rect = (50,10,250,440)#建立背景模型和前景模型，大小为1*65bgdModel = np.zeros((1,65),np.float64)fgdModel = np.zeros((1,65),np.float64)#把上面的数据导入GrabCut算法中，进行计算，#该方法参数为：1.原始图像 2.蒙版 3.矩形框框 4.背景模型 5.前景模型 6.迭代次数 7.方法选择（矩形框选法）cv2.grabCut(img.copy(),mask,rect,bgdModel,fgdModel,10,cv2.GC_INIT_WITH_RECT)#把2变为0，把3变为1mask2 = np.where((mask==2)|(mask==0),0,1).astype('uint8')#将蒙版与原图做点对点乘积img = img*mask2[:,:,np.newaxis]#绘制出分离背景后的图像plt.subplot(121), plt.imshow(img)plt.title("grabcut"), plt.xticks([]), plt.yticks([])#绘制出原图plt.subplot(122), plt.imshow(cv2.cvtColor(cv2.imread('D:/xiaomu/opencv7-1.png'), cv2.COLOR_BGR2RGB))plt.title("original"), plt.xticks([]), plt.yticks([])#在窗口中显示图像plt.show()#保存图像cv2.imwrite('D:/xiaomu/opencv7-2.png',img)

我们运行后的结果如下所示：

 

很显然，我们已经把背景全部都给干掉了。但是这个方法中我们发现了一个不好的地方也就是我们去掉背景后，还有残余的背景，那么我们怎么办呢？于是我们引入了第二种GrabCut的算法，叫做蒙版算法。

这种算法中，我们不是用矩形框框把某个前景物体圈起来了，而是我们画一个自定义的轮廓，接着我们上面的结果再次进行背景分离：

我们这次的图片是：

 

也就是我们上次矩形框框分离后的图图。

接着我们保存图片到本地磁盘，并用PS在矩形图片上面建立一个新图层。

在新图层中，我们用白色的刷子，把那些本来应该是前景，但是却没算成前景的地方给标记出来，然后把应该是背景的地方，但是却搞错的用黑色标记，剩下不改变的地方用灰色标记。

最后我们的，我们得到的蒙版为：

 

在蒙版中，我为了说明不同颜色的用途，所以我才随意画了一个白色的圈圈。

然后我们把这张图导入到OPENCV中作为蒙版，导入OPENCV中进行运算：

#导入类库import numpy as npimport cv2#画图类库，很好用，不用自己从头编写了from matplotlib import pyplot as plt#导入图像（小熊）img = cv2.imread('D:/xiaomu/opencv7-1.png')#建立一个和img图像一样大的蒙版mask = np.zeros(img.shape[:2],np.uint8)#画一个矩形框框，选出前景物体（小熊）rect = (50,10,250,440)#建立背景模型和前景模型，大小为1*65bgdModel = np.zeros((1,65),np.float64)fgdModel = np.zeros((1,65),np.float64)#矩形框选法#把上面的数据导入GrabCut算法中，进行计算，#该方法参数为：1.原始图像 2.蒙版 3.矩形框框 4.背景模型 5.前景模型 6.迭代次数 7.方法选择（矩形框选法）cv2.grabCut(img.copy(),mask,rect,bgdModel,fgdModel,10,cv2.GC_INIT_WITH_RECT)#把2变为0，把3变为1mask2 = np.where((mask==2)|(mask==0),0,1).astype('uint8')#将蒙版与原图做点对点乘积img = img*mask2[:,:,np.newaxis]#非矩形框，蒙版法再处理img2 = cv2.imread('D:/xiaomu/opencv7-1.png')#导入蒙版img3 = cv2.imread('D:/xiaomu/opencv7-3.png',0)#把蒙版中白色地方置为1，作为确定前景。黑色地方置为0，作为确定背景mask[img3 == 0] = 0mask[img3 == 255] = 1#把上面的数据导入GrabCut算法中，进行计算，#该方法参数为：1.原始图像 2.蒙版 3.矩形框框（无） 4.背景模型 5.前景模型 6.迭代次数 7.方法选择（蒙版法）cv2.grabCut(img2,mask,None,bgdModel,fgdModel,5,cv2.GC_INIT_WITH_MASK)#把2变为0，把3变为1mask3 = np.where((mask==2)|(mask==0),0,1).astype('uint8')#将蒙版与原图做点对点乘积img2 = img2*mask3[:,:,np.newaxis]#绘制出蒙版法处理后的图像plt.subplot(121), plt.imshow(img2)plt.title("grabcut-mask"), plt.xticks([]), plt.yticks([])#绘制出矩形框法处理后的图像plt.subplot(122), plt.imshow(img)plt.title("grabcut-rect"), plt.xticks([]), plt.yticks([])#在窗口中显示图像plt.show()cv2.waitKey()cv2.destroyAllWindows()

我们运行后的结果如下所示：

 

我们可以看出，我们把白色的地方都变成了前景（前面的小圆），黑色的地方成背景（小熊与背景分开的更好了）

这样我们的第一种算法就讲解完成了。

第二种算法我们做的是分水岭算法，下节课我们继续讲解。

———————————————

如果对我的课程感兴趣的话，欢迎关注小木希望学园-微信公众号： 

mutianwei521

也可以扫描二维码哦！