结构张量

定义

2维结构张量的计算公式是:

$$
S=\begin{bmatrix}
\int w(r)(I_x(p-r))^2dr & \int w(r)I_x(p-r)I_y(p-r)dr & \\
\int w(r)I_x(p-r)I_y(p-r)dr & \int w(r)(I_y(p-r))^2dr
\end{bmatrix}
$$

$w(r)$ 是一个当前位置与中心距离$r$的权重函数. 结构张量还可以扩展到更高维的空间, 详情可以参看维基百科. 结构参量的意义维基百科中作如下总结, 我觉得非常到位:

It summarizes the predominant directions of the gradient in a specified neighborhood of a point, and the degree to which those directions are coherent.

意思就是: 结构张量表征一定邻域范围内梯度的方向分布, 和方向的一致程度. 在数字图像处理中, 就是利用这一特性来确定角点, 边缘和平坦区域的. 在图像领域我们尝尝看到一个简化的公式如下

$$
E = \begin{bmatrix}
I_x^2 & I_xI_y \\
I_xI_y & I_y^2
\end{bmatrix}
$$

假设结构张量的两个特征值为 $\lambda_1, \lambda_2$, 并且有$\lambda_1 \ge \lambda_2$, 那么有:

  1. 平坦区域: $\lambda_1 = \lambda_2 = 0$ (特征值都很小)
  2. 边缘区域: $\lambda_1 >> \lambda_2 $ (特征值相差悬殊), 此时主特征向量为边缘方向(梯度方向)
  3. 焦点区域: $\lambda_1 \ge \lambda_2 > 0$ (特征值均较大)

现在的问题是, 上面的结论是如何得出的?

应用

除了上面判别图像特征之外, 结构张量还可以用于:

  1. 走势判别
  2. 方向滤波
    1. 具有方向性的开闭运算
    2. 边缘平滑抗锯齿
    3. 消燥, 打底, 平滑, 描边

疑问: 什么是打底?

Referece