卷积–图像处理

1,955次阅读
没有评论

网上有各种各样对卷积的理解,有搞EE的,有搞CS的,有搞数学的。我尝试从图像处理的角度加入自己的理解。

输入、响应和输出

卷积--图像处理

在这里,输入是红绿黄三个点,对于每个点,它的响应是一个尖头向右下的水滴状,最右就是整个图像在系统响应后的输出。怎样理解响应呢?你可以把输入当作是纸面上一滴滴颜料,响应就是你用手指把它们在纸上抹开(先暂时这样理解)。现在我们化二维为一维,然后来定量分析一下:

先把输入、响应和输出分别记作 f(x),h(x),g(x) 。在本例中,输入是一些离散点(比如 f={x1,y1,x2,y2}),而响应是一个分布集中在零附近的函数(比如 h(x)=ex2 )。现在,在输出中每个点都有一个响应分布在这个点周围,比如对于第一个点,输出就是:

g(x)=f(x1) h(xx1)

这里要感谢响应(或者说系统作出的响应)的时不变性质,解释起来很简单,就是它无论对哪个点发生响应都是这种水滴状,不会变形,也不会有幅度上的变化。

叠加原理

卷积--图像处理

刚才那三点离得比较远,互不影响。现在我们把它靠近一点……它们之间的颜色就会混在一起了。加上这个叠加原理,就不是像手指涂抹颜料一样的混合(Blend),而是像2+3=5之类的简单加法。接着上面所设,设输入了两个点,如果有一点x,x1和x2都影响到了它,它的输出就是:

g(x)=f(x1)h(xx1)+f(x2)h(xx2)

我们之所以能直接把它加起来,都是得益于响应的 线性性 性质,它保证了这个加号是成立的。(为什么不能是混合:因为这里输出是跟响应顺序无关的,然而混合是有顺序的效应的)

更密集……甚至连续

卷积--图像处理

刚才的点,无论怎么说,还有一定的间距。但是当输入连续地分布、而且每一点都按照响应的形式扩散开来的时候,我们就可以用到积分或者连加。最后……这就是卷积的最终效果。

这个想法是很自然的:用连加号代替离散但是数量庞大的输入和它们的响应,用积分来处理连续的输入和响应。比如说,输入中有N个值:[f1,f2,,fN] ,在它后方产生的响应表示成:[,h1,h0,h1,],输出是另一个向量,其中的元素:

g[k]=n=1Nf[n] h[kn]

如果是连续函数,式子便是:

g(x)=+f(t)h(xt) dt

现在,这两种形式我们分别叫做离散形式下和连续形式下的卷积,记作 g(x)=f(x)h(x) 。其中,h(x) 有一个名字,叫做卷积核。

二维离散卷积和算法

以此类推,用二元组(向量)代替标量,[i,j] 代替 k[m,n] 代替 n ,二维的离散卷积的公式应该是这样:

g[i,j]=n=1N m=1Mf[m,n] h[im,jn]

到具体算法,有两个特殊问题要考虑:

  • 边界方案:最简单的方法是把边界外的输入当作0,但是这样效果不好。我选用的方案是镜面,也就是:
    f[m,n]f[(M|mM|) mod 2M,(N|nN|) mod 2N]
  • 离散卷积核:按需舍弃一些看上去已经很接近0的点来简化计算,比如高斯函数,大多值分布在 ±3σ 之间,这样我们卷积核的大小也定为 23σ+1就好了。 现在,能影响到点 (i,j) 的输入也就是只有附近的有限个点了,它们满足 |ni|A; |mj|B ,其中2A+1和2B+1分别是卷积核的长宽,换进式子里,就是:

    n=1N m=1Mn=jBj+B m=iAi+A
<span class="hljs-function"><span class="hljs-keyword">void</span> <span class="hljs-title">convolution</span><span class="hljs-params">(<span class="hljs-keyword">const</span> Mat& <span class="hljs-keyword">in</span>, <span class="hljs-keyword">const</span> Mat& ker, Mat& <span class="hljs-keyword">out</span>)</span>
</span>{
    assert(<span class="hljs-keyword">in</span>.rows == <span class="hljs-keyword">out</span>.rows && <span class="hljs-keyword">in</span>.cols == <span class="hljs-keyword">out</span>.rows);
    assert(<span class="hljs-keyword">in</span>.type == CV_64FC3 && ker.type == CV_64F && <span class="hljs-keyword">out</span>.type == CV_64FC3);

    <span class="hljs-keyword">for</span>(<span class="hljs-keyword">int</span> i = <span class="hljs-number">0</span>; i < <span class="hljs-keyword">out</span>.rows; i++)
    <span class="hljs-keyword">for</span>(<span class="hljs-keyword">int</span> j = <span class="hljs-number">0</span>; j < <span class="hljs-keyword">out</span>.cols; j++) {
        <span class="hljs-keyword">out</span>.at<Vec3d>(i, j) = Vec3d(<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>);
        <span class="hljs-keyword">for</span>(<span class="hljs-keyword">int</span> m = i - ker.rows; m <= j + ker.rows; m++)
        <span class="hljs-keyword">for</span>(<span class="hljs-keyword">int</span> n = j - ker.cols; n <= i + ker.cols; n++) {
            <span class="hljs-function">Point <span class="hljs-title">src_point</span><span class="hljs-params">(
                (<span class="hljs-keyword">in</span>.rows - abs(m - <span class="hljs-keyword">in</span>.rows)</span>) % <span class="hljs-params">(<span class="hljs-number">2</span> * <span class="hljs-keyword">in</span>.rows)</span>,
                <span class="hljs-params">(<span class="hljs-keyword">in</span>.cols - abs(n - <span class="hljs-keyword">in</span>.cols)</span>) % <span class="hljs-params">(<span class="hljs-number">2</span> * <span class="hljs-keyword">in</span>.cols)</span>)</span>;
            <span class="hljs-keyword">out</span>.at<Vec3d>(i, j) +=
                <span class="hljs-keyword">in</span>.at<<span class="hljs-keyword">double</span>>(src_point) *
                ker.at<Vec3d>(i - m, j - n);
        }
    }
}

我们刚才算法的“卷积”是这样的理解:各点按照核给出的模式/图案,影响到附近的点,现在我们换一个方式去理解:某一个点按照给出的模式/图案收集附近的点的影响,就可以更加直观理解这个算法。

admin
版权声明:本站原创文章,由admin2016-05-09发表,共计1946字。
转载提示:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)