単位インパルス関数

\( t < 0 \) のとき 0 で、\( t \ge 0 \) のとき 1 となる関数を考えます。でも、これだと、下の図のように \( t = 0 \) のところで不連続になってしまいます。で、その右の図のように、0 から 1 に変化するところに幅 \( \varepsilon \) を持たせます。これで、一応連続になります。

\( \varepsilon \to 0 \) のように極限をとりますと、以下のようになります。これが単位ステップ関数というものです。 \begin{equation} u(t) = \lim_{\varepsilon \to 0} u_\varepsilon (t) \end{equation} ここで、上の右図に対して範囲を区切って微分します（\( t=0, t=\varepsilon \)では微分不可能）。 \begin{equation} \delta_\varepsilon (t) = \frac{{\rm d} u_\varepsilon (t)}{{\rm d} t} \end{equation} このとき、\( \delta_\varepsilon (t) \) として面積1の長方形を考えます（下図右）。そうしますと、 \begin{equation} \frac{1}{\varepsilon} （ 0 < t < \varepsilon ）\\ 0 \ \ （ それ以外 ） \end{equation} となります。ここで、\( \varepsilon \to 0 \) のように極限をとりますと、以下のようになります。 \begin{equation} \delta (t) = \lim_{\varepsilon \to 0} \delta_\varepsilon (t) \end{equation} これが単位インパルス関数（ディラックのデルタ関数）です。\( \varepsilon \to 0 \)としたとき、\( \delta (t) \) は \( \infty \) になりますので、図では正確に書き表せません。で、便宜的に大きさ1の矢印とします（下図左）。

つまり、 \begin{equation} \int_{-\infty}^\infty \delta(t) dt = \lim_{\varepsilon \to 0} \int_0^\varepsilon \delta(t) dt = \lim_{\varepsilon \to 0} \int_0^\varepsilon \frac{1}{\varepsilon} dt = 1 \end{equation} ということです。関数 \( f(t) \) を考えた場合、\( f(0) \) は \begin{equation} \int_{-\infty}^\infty f(t) \delta(t) dt = f(0) \end{equation} となります。\( t = \tau \) であれば、単位インパルス関数 \( \delta (t) \) を \( \tau \) だけ平行移動した \( \delta (t - \tau ) \) を考えればよいのです。 \begin{equation} \int_{-\infty}^\infty f(t) \delta(t - \tau) dt = f(\tau) \end{equation}

で、単位ステップ関数 \( u(t) \) を、単位インパルス関数で表せば、次式となります。 \begin{equation} u (t) = \int_{-\infty}^\infty u(t) \delta( t - \tau ) dt = \int_0^\infty \delta (t-\tau) dt = \int_{-\infty}^t \delta(\tau) d\tau \end{equation}

畳み込み

信号処理の分野では畳み込み積分という重要な処理があります。「畳み込み」と言いますと、ディープラーニングの主要な構造の一つ、畳み込みニューラルネットワーク(CNN)でお馴染みかも知れません。ただ、CNNでは画像とフィルタの間の相関を表すものに近く、実際、画像の画素とフィルタのフィルタ係数との積和演算になっています。

位置\( (i, j) \)の画素の画素値を \( x_{ij} \) とし、位置\( (p, q) \)のフィルタのフィルタ係数を \( h_{pq} \) とすれば、その積和演算は以下のようになります。

\begin{equation} u_{ij} = \sum_{p=0}^{H-1} \sum_{q=0}^{H-1} x_{i+p,j+q} h_{pq} \end{equation}

この積和演算では、画像の中に、フィルタの濃淡パターンと似た濃淡パターンがどこにあるかを検出する働きがあります。したがって、フィルタが持つ濃淡の特徴を、画像から抽出していると考えることができます。で、その先に行く前に、この畳み込み積分をちゃんと理解しておきましょう。

信号処理では、システムとして線形で時間的に特性が変化しないものを考えることがあります。これを、線形時不変システムと呼びます。知りたいのは、システムに入力があったとき、出力がどうなるかということです。ただ、システムの特性は明示的にはわからないものとします。このとき、インパルス応答と入力の畳み込み積分によって、システムの出力が計算できるのです。インパルス応答というのは、システムに単位インパルス信号を入力したときの出力応答のことです。

ということで、まず、インパルス応答について知る必要がありますね。その詳細を次に書きます。

行列式

　2x2行列が \begin{equation}　 A = \begin{pmatrix} a & c \\ b & d \end{pmatrix} \end{equation} ならば、その行列式は、 \begin{equation} a d - b c \end{equation} となります。行列の逆行列を求めるとき、成分を行列式の値で割る計算が入りますから、行列式の計算は重要です。行列式は英語でdeterminantといい、行列\(A\)の行列式は\( \det A \)と書きます。\( |A| \)とも書きます。例えば、2x2の行列が \begin{equation} B = \begin{pmatrix} 3 & 2 \\ 4 & 5 \end{pmatrix} \end{equation} なら、その行列式は\( \det B = 3 \cdot 5 - 2 \cdot 4 = 7 \) となります。
　行列式は計算負荷が高いので、求めやすい形に変形します。このとき使われるのが、以下の行列式の計算法則です。ここでは6つ挙げていますが、逆行列の計算には(1),(2),(5)が主に用いられます。

(1) \( \det B = k \det A \)
　ただし、行列\(B\)は、行列\(A\)の1行の成分を\(k\)倍したものです。例えば、 \begin{equation} A = \begin{pmatrix} a & c \\ b & d \end{pmatrix} \\ B = \begin{pmatrix} a & c \\ k b & k d \end{pmatrix} \end{equation} なら、 \begin{equation} \det A = a d - b c \\ \det B = k a d - k b c = k ( a d - b c ) = k \det A \end{equation} です。

(2) \( \det B = - \det A \)
　ただし、行列\(B\)は、行列\(A\)の1行の成分と別の1行の成分とを入れ替えたものです。例えば、 \begin{equation} A = \begin{pmatrix} a & c \\ b & d \end{pmatrix} \\ B = \begin{pmatrix} b & d \\ a & c \end{pmatrix} \end{equation} なら、 \begin{equation} \det A = a d - b c \\ \det B = b c - a d = - ( a d - b c ) = - \det A \end{equation} です。

(3) \( \det A = 0 \)
　ただし、行列\(A\)の1行の成分と別の1行の成分とが等しいものです。例えば、 \begin{equation} A = \begin{pmatrix} a & c \\ a & c \end{pmatrix} \end{equation} なら、 \begin{equation} \det A = a c - a c = 0 \end{equation} です。

(4) \( \det C = \det A + \det B \)
　ただし、行列\(A, B, C\)ではそれぞれ1行の成分以外、すべて等しいという条件で、その1行について\(A\)の成分と\(B\)の成分の和が\(C\)の成分に等しくなっています。例えば、 \begin{equation} A = \begin{pmatrix} a & c \\ b & d \end{pmatrix} \\ B = \begin{pmatrix} a & c \\ t & v \end{pmatrix} \\ C = \begin{pmatrix} a & c \\ b + t & d + v \end{pmatrix} \end{equation} なら、 \begin{equation} \det A + \det B = ( a d - b c ) + ( a v - c t ) = a ( d + v ) - c ( b + t ) = \det C \end{equation} です。

(5) \( \det B = \det A \)
　ただし、行列\(B\)は、行列\(A\)の1行の成分に、別の1行の成分の定数倍を足したものです。例えば、 \begin{equation} A = \begin{pmatrix} a & c \\ b & d \end{pmatrix} \\ B = \begin{pmatrix} a & c \\ b + k a & d + k c \end{pmatrix} \end{equation} なら、 \begin{equation} \det B = a ( d + k c ) - c ( b + k a ) = a d - b c + k ( a c - a c ) = a d - b c = \det A \end{equation} です。

(6) \( \det A^T = \det A \)
　これは、転置をとっても行列式の値は変わらないことを示しています。例えば、 \begin{equation} A = \begin{pmatrix} a & c \\ b & d \end{pmatrix} \\ A^T = \begin{pmatrix} a & b \\ c & d \end{pmatrix} \end{equation} なら、 \begin{equation} \det A^T = a d - b c = \det A \end{equation} です。

　ここでは2x2行列の場合を扱いましたが、3x3行列、4x4以上の行列でも同様の性質が成り立ちます。

対称行列

　対称行列というのは、右下斜めの対角線に対して成分が対称になっている行列です。例えば、 \begin{equation} A = \begin{pmatrix} a & b \\ b & d \end{pmatrix} \end{equation} とかです。転置の記号を使うと、 \begin{equation} A = A^T \end{equation} と表せます。転置行列の計算には気を付けることがあります。 \begin{equation} (AB)^T = B^T A^T \end{equation} となって、順序が入れ替わることに注意します。
　対称行列のメリットは、対称行列の固有値に対する固有ベクトルが直交するということです。例えば、対称行列 \begin{equation} A = \begin{pmatrix} 2 & 1 \\ 1 & 4 \end{pmatrix} \end{equation} の対角化を考えます。行列式は \begin{equation} \det ( A - \lambda E ) = \det \left \{ \begin{pmatrix} 2 & 2 \\ 2 & 5 \end{pmatrix} - \lambda \begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix} \right \} = \det \begin{pmatrix} 2 - \lambda & 2 \\ 2 & 5- \lambda \end{pmatrix} \\ = ( 2 - \lambda )(5 - \lambda) - 2 \cdot 2 = \lambda^2 - 7 \lambda + 6 = ( \lambda - 1 )( \lambda - 6 ) \end{equation} となり、固有値は\( \lambda = 1, 6 \)と求まります。
　固有ベクトルを\( \begin{pmatrix} x & y \end{pmatrix}^T \)とすれば、連立方程式は \begin{equation} \begin{pmatrix} 2 - \lambda & 2 \\ 2 & 5- \lambda \end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \end{pmatrix} \end{equation} となります。\( \lambda = 1\)のとき、\( x + 2 y = 0 \)ですから、 \begin{equation} \begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} 2 \\ -1 \end{pmatrix} \end{equation} となります。\( \lambda = 6\)のとき、\( 2 x - y = 0 \)ですから、 \begin{equation} \begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} 1 \\ 2 \end{pmatrix} \end{equation} となります。これらの固有ベクトルの内積を計算すると、0になりますから、確かに直交しています。
　固有ベクトルは定数倍してもよいですから、大きさが1になるようにとります。大きさが1になるということは、単位ベクトルということです。これは正規直交基底そのもので、三次元ならば以下の図のように表されます。

　対称行列のメリットは、基底の取替え行列が正規直交基底となり、計算が簡単になることです。 \begin{eqnarray} \vec{e}_1 \cdot \vec{e}_1 = 1, \ \ \vec{e}_2 \cdot \vec{e}_2 = 1, \ \ \vec{e}_3 \cdot \vec{e}_3 & = & 1 \\ \vec{e}_1 \cdot \vec{e}_2 = 0, \ \ \vec{e}_2 \cdot \vec{e}_3 = 0, \ \ \vec{e}_3 \cdot \vec{e}_1 & = & 0 \end{eqnarray} 　もう一つのメリットは、逆行列の計算が簡単になることです。行列\(A\)が表す一次変換を、基底の取替え行列\(P\)として正規直交基底（固有ベクトル）を並べて作った行列で表せますから、逆行列は転置行列と同等になります。 \begin{equation} P^{-1} = P^T \end{equation}

対角化の導出

　前回、対角化をやりました。その定義と意味、具体例は述べましたが、なぜそうなるかは示しませんでした。今回はそれを示します。
　行列\(A\)は\(n \times n\)の正方行列だとして、その固有値を\(\lambda_1, \lambda_2, \cdots , \lambda_n\)、これに対する固有ベクトルを\(\vec{x_1}, \vec{x_2}, \cdots , \vec{x_n}\)としますと、次式が成り立ちます。 \begin{equation} A \vec{x_1} = \lambda_1 \vec{x_1} \\ A \vec{x_2} = \lambda_2 \vec{x_2} \\ \cdots \\ A \vec{x_n} = \lambda_n \vec{x_n} \end{equation} 固有ベクトルを並べた行列\(P = \begin{pmatrix} \vec{x_1} & \vec{x_2} & \cdots & \vec{x_n} \end{pmatrix}\)を作ると、 \begin{equation} A P = \begin{pmatrix} \lambda_1 \vec{x_1} & \lambda_2 \vec{x_2} & \cdots & \lambda_n \vec{x_n} \end{pmatrix} = P \left( \begin{array}{ccccc} \lambda_1&0&0&\cdots &0\\ 0&\lambda_2&0&\cdots &0\\ 0&0&\lambda_3&\cdots &0\\ &\vdots&&\ddots&\\ 0&0&0&\cdots &\lambda_n \end{array} \right) \end{equation} となります。ここで、列ベクトルごとに\(\lambda\)をかける次式を使っています。 \begin{equation} \left( \begin{array}{rrcr} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} \end{array} \right) \left( \begin{array}{ccccc} \lambda_1&0&0&\cdots &0\\ 0&\lambda_2&0&\cdots &0\\ 0&0&\lambda_3&\cdots &0\\ &\vdots&&\ddots&\\ 0&0&0&\cdots &\lambda_n \end{array} \right) = \left( \begin{array}{rrcr} \lambda_1 a_{11} & \lambda_2 a_{12} & \cdots & \lambda_n a_{1n} \\ \lambda_1 a_{21} & \lambda_2 a_{22} & \cdots & \lambda_n a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ \lambda_1 a_{n1} & \lambda_2 a_{n2} & \cdots & \lambda_n a_{nn} \end{array} \right) \end{equation} 行列\(P\)が逆行列を持てば、先の式の両辺に左から\(P^{-1}\)をかけて \begin{equation} P^{-1}AP = \left( \begin{array}{ccccc} \lambda_1&0&0&\cdots &0\\ 0&\lambda_2&0&\cdots &0\\ 0&0&\lambda_3&\cdots &0\\ &\vdots&&\ddots&\\ 0&0&0&\cdots &\lambda_n \end{array} \right) \end{equation} を得ます。

対角化

　正方行列\(A\)に対して、固有ベクトルを並べた正方行列\(P\)を取ると、対角行列は\(P^{-1}AP\)のように求められます。この操作は対角化と呼ばれます。対角行列というのは、正方行列の右斜め下方向の対角成分だけを持つ行列です。 \begin{equation} P^{-1}AP = \left( \begin{array}{ccccc} \lambda_1&0&0&\cdots &0\\ 0&\lambda_2&0&\cdots &0\\ 0&0&\lambda_3&\cdots &0\\ &\vdots&&\ddots&\\ 0&0&0&\cdots &\lambda_n \end{array} \right) \end{equation} ここで、\(\lambda_1, \lambda_2, \cdots , \lambda_n\)は正方行列\(A\)の固有値になります。正方行列\(A\)が行と列にそれぞれ\(n\)個ずつの成分を持てば、\(n\)次正方行列と言います。 \begin{equation} A = \left( \begin{array}{rrcr} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} \end{array} \right) \end{equation} また、\(P\)は、正方行列\(A\)の固有値に対応する固有ベクトルを並べたものです。固有ベクトルを\(\vec{x_1}, \vec{x_2}, \cdots , \vec{x_n}\)とおけば、対角化の操作に使われる正方行列\(P\)は \begin{equation} P = \begin{pmatrix} \vec{x_1} & \vec{x_2} & \cdots & \vec{x_n} \end{pmatrix} \end{equation} となります。
　対角行列を具体的に求める前に、対角化の意味とメリットを考えてみましょう。\(P^{-1}AP\)という行列表現は、新しい基底を座標系とした場合の線形変換を表しました。ただし、新しい基底は固有ベクトルの組になっていて、線形変換の行列表現は対角行列になっています。対角化操作を表す式を\(m\)乗すると、 \begin{equation} ( P^{-1}AP )^m = \left( \begin{array}{ccccc} \lambda_1&0&0&\cdots &0\\ 0&\lambda_2&0&\cdots &0\\ 0&0&\lambda_3&\cdots &0\\ &\vdots&&\ddots&\\ 0&0&0&\cdots &\lambda_n \end{array} \right)^m \end{equation} となります。左辺は、 \begin{equation} ( P^{-1}AP ) ( P^{-1}AP ) \cdots ( P^{-1}AP ) = P^{-1}A^mP \end{equation} となります。対角行列を\(m\)回かけた行列は対角成分をそれぞれ\(m\)乗したものになりますから、右辺は \begin{equation} \left( \begin{array}{ccccc} \lambda_1^m &0&0&\cdots &0\\ 0&\lambda_2^m &0&\cdots &0\\ 0&0&\lambda_3^m &\cdots &0\\ &\vdots&&\ddots&\\ 0&0&0&\cdots &\lambda_n^m \end{array} \right) \end{equation} となります。つまり、 \begin{equation} P^{-1}A^mP = \left( \begin{array}{ccccc} \lambda_1^m &0&0&\cdots &0\\ 0&\lambda_2^m &0&\cdots &0\\ 0&0&\lambda_3^m &\cdots &0\\ &\vdots&&\ddots&\\ 0&0&0&\cdots &\lambda_n^m \end{array} \right) \end{equation} です。ここで、両辺の左から\(P\)を、右から\(P^{-1}\)をかけると、 \begin{equation} A^m = P \left( \begin{array}{ccccc} \lambda_1^m &0&0&\cdots &0\\ 0&\lambda_2^m &0&\cdots &0\\ 0&0&\lambda_3^m &\cdots &0\\ &\vdots&&\ddots&\\ 0&0&0&\cdots &\lambda_n^m \end{array} \right) P^{-1} \end{equation} となります。したがって、行列の\(m\)乗の計算を単純にできるのです。
　では、行列の対角化を具体的に行ってみましょう。正方行列\(A\)を \begin{equation} A = \begin{pmatrix} 3 & 5 \\ 4 & 2 \end{pmatrix} \end{equation} とします。前の回で固有値と固有ベクトルは求めました。それを使えば、固有ベクトルを並べた行列 \(P = \begin{pmatrix} 1 & 5 \\ -1 & 4 \end{pmatrix} \) に対して \begin{equation} P^{-1}AP = \begin{pmatrix} -2 & 0 \\ 0 & 7 \end{pmatrix} \end{equation} となります。固有値と固有ベクトルは対応する順番に並べることに注意します。

固有値と固有ベクトル

　線形変換の表現行列が\(A\)のとき、座標\((x, y)\)は、\((x', y')\)に移されます。このとき、元の座標値を定数倍する組合せが存在します。例えば、 \begin{equation} A = \begin{pmatrix} 3 & 5 \\ 4 & 2 \end{pmatrix} \end{equation} でしたら、座標\((2, 1)\)は、\((11, 10)\)に移されます。もし、座標\((2, 1)\)を原点からのベクトル\(\begin{pmatrix} 2 \\ 1 \end{pmatrix}\)と考えますと、そのベクトルは線形変換によって大きさも方向も異なるベクトル\(\begin{pmatrix} 11 \\ 10 \end{pmatrix}\)に移されます。図に描けば、以下のようになます。

このとき、ベクトルを\(\begin{pmatrix} 5 \\ 4 \end{pmatrix}\)のようにとりますと、\(\begin{pmatrix} 35 \\ 28 \end{pmatrix}\)に移されます。これは、元のベクトルと方向は同じで、大きさが定数倍（7倍）になっています。つまり、次式が成り立ちます。 \begin{equation} A \begin{pmatrix} x \\ y \end{pmatrix} = \lambda \begin{pmatrix} x \\ y \end{pmatrix} \end{equation} \(\lambda\)を固有値、\(\begin{pmatrix} x & y \end{pmatrix}^T\)を固有ベクトルと言います。どうしてこのようになるかは、この後の回の「対角化」の説明を見ていただくとして、ここでは、\(2\times2\)行列\(A\)の固有値、固有ベクトルを求めてみましょう。上記の式から、次式が成り立ちます。 \begin{equation} A \begin{pmatrix} x \\ y \end{pmatrix} = \lambda \begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix} \\ \begin{pmatrix} 3 - \lambda & 5 \\ 4 & 2 - \lambda \end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \end{pmatrix} \end{equation} この式がベクトル\( \begin{pmatrix} x \\ y \end{pmatrix} \neq \begin{pmatrix} 0 \\ 0 \end{pmatrix} \)を持つ条件は、次式で与えられます。 \begin{equation} \det \begin{pmatrix} 3 - \lambda & 5 \\ 4 & 2 - \lambda \end{pmatrix} = 0 \end{equation} したがって \begin{equation} (3 - \lambda) (2 - \lambda) - 20 = \lambda^2 -5 \lambda -14 = 0 \end{equation} これを解くと、\(\lambda = -2, 7\)です。固有値が\(\lambda = -2\)のとき、固有ベクトルは\( \begin{pmatrix} 1 \\ -1 \end{pmatrix} \)となります。固有値が\(\lambda = 7\)のとき、固有ベクトルは\( \begin{pmatrix} 5 \\ 4 \end{pmatrix} \)となります。