ランダム行列の無線通信技術への応用 - データサイエンス時代で活躍できる人材になるために

自己情報量
平均情報量
条件付き自己情報量
相互情報量
通信路容量
MIMOチャネルへの拡張

　情報量は, 頻繁に起こる事柄は情報としてあまり価値がなく，滅多に起こらない事柄に関しては情報として価値が高いはずです．情報量をを定量的に表したものとして次の自己情報量があります．

自己情報量

ある事象 $a$ が生起する確率を $P$ とする．このとき，事象 $a$ が生起したことで得られる情報量 $I(p)$ を(自己)情報量と呼び以下の式で定義します．
\begin{eqnarray*}
I(a)=-\mathrm{log}~P(a)
\end{eqnarray*}
$\mathrm{log}$ の底を2にした場合は情報量の単位をbitと呼びます．

平均情報量

n個の排反事象 $a_1,\dots,a_n$ からなる事象系Xを考えます．この時，自己情報量の期待値として，平均情報量を次のように定義します．
\begin{eqnarray*}
\mathcal{H}(X)=\sum_{i=1}^{n}P(a_i)I(a_i)
\end{eqnarray*}
この自己情報量の平均値をエントロピーとも呼びます．

条件付き自己情報量

　以下では，通信回線を通して情報を伝送する場合について議論します．
また，送信シンボルを $x_i$ とする事象系を $X$ ，受信シンボルを $y_i$ とする事象系 $Y$ について考えます．このとき， $y_i$ が受信された条件のもとで正しい送信シンボル $x_i$ を知ることによって得られる条件付き自己情報量 $I(x_i\backslash y_i$ )は次のように定義します．
\begin{eqnarray*}
I(x_i\backslash y_i）=-\mathrm{log}~P(x_i\backslash y_i)
\end{eqnarray*}

相互情報量

相互情報量 $I(x_i;y_i)$ は次のように定義されます．
\begin{eqnarray*}
I(x_i;y_i)=I(x_i)-I(x_i\backslash y_i）
\end{eqnarray*}
相互情報量が意味することは，自己情報量-条件付き自己情報量の差です．
自己情報量と同様に，平均情報量に対して条件付き平均情報量 $\mathcal{H}(X\backslash Y$ )を定義することが可能です．

平均相互情報量は，次のように定義されます．
\begin{eqnarray*}
\mathcal{H}(X;Y)=\mathcal{H}(X)-\mathcal{H}(X\backslash Y)
\end{eqnarray*}
平均相互情報量はシンボルあたりに伝送される情報量の平均値を表しています．つまり一秒間あたりで考えれば，通信路で伝送された情報の伝送速度に対応しています．

通信路容量

　これまでは離散型の場合について議論してきましたが，連続型の情報量の場合に関しては，これまでの議論を $\sum$ を $\int$ に変更すればOKです．下記のものは連続型の場合に呼び名が変わります．

平均情報量 $\to$ 差分エントロピー

条件付き平均情報量 $\to$ 条件付き差分エントロピー

Shannonは単位時間あたりに伝送できる最大の情報量，すなわち，先ほど定義した平均相互情報量の最大値をその通信路(チャネル)の容量と定義しました．

平均相互情報量は
\begin{eqnarray*}
\mathcal{H}(X;Y)&=&\mathcal{H}(X)-\mathcal{H}(X\backslash Y)\\
&=&\mathcal{H}(Y)-\mathcal{H}(Y\backslash X)
\end{eqnarray*}
と与えられましたが，ここで我々がコントロールすることができるのは，送信シンボルの確率密度関数 $p(x)$ のみであることに注意します．
したがって，チャネルの容量は
\begin{eqnarray*}
C=\underset{p(x)}{\mathrm{max}}~\mathcal{H}(X;Y)
\end{eqnarray*}
で与えられます．

MIMOチャネルへの拡張

　携帯電話や無線LANなどの技術が広く社会に普及するに伴い，次世代の通信システムとして無線通信の技術のMIMOに近年期待が高まっています．MIMOでは送信側，受信側で複数のアンテナを利用情報を伝達します．MIMOチャネル(通信路)は電波が不規則な散乱や反射を受けるため，MIMOの通信路モデルを表現するにはランダム行列が重要になります[図1]．

f:id:koki12070930:20190615224638p:plain — 図1

MIMOの数学モデルは下記のように表すことができます．
\begin{eqnarray*}
\bf{y}=\bf{Hx}+\bf{v}
\end{eqnarray*}

MIMOチャネルの容量を複素ウィシャート行列 $\bf{HH'}$ の固有値 $\lambda_i$ を用いて導出できることをTalatar (1999)で示されました．
電力制約 $P$ ，送信シンボル数 $n$ ，受信シンボル数 $m$ に対して，MIMOチャネルの容量は
\begin{eqnarray*}
E\bigg[\sum_{I=1}^{n}\mathrm{log}~\mathrm{det}(1+(P/n)\lambda_i)\bigg]
\end{eqnarray*}
と表されます．