はじめに

　『深層学習』という下記の本を読んでいます。この本を読んで一発で理解できなかったことをまとめています。本記事では、順序回帰についてまとめていきます。

作者:岡谷貴之
講談社

順序回帰とは？

　順序回帰問題とは、説明変数 $\boldsymbol{x}$ から順序があるクラス $y$ を当てる問題です。本書では、嗜好品の5段階評価（とても悪い、悪い、普通、良い、とても良い）を予測する問題が挙げられています（図１）。

　順序回帰の特徴は、正解とモデルの予測が異なっていた場合に、「少しだけ外した予測」と「大きく外した予測」が存在することです。先ほどの嗜好品の例でいえば、正解が「とても悪い」の場合に「悪い」と予測することは、「とても良い」と予測するよりはマシと言えます。このように、予測が正解と異なっていた場合でも、その惜しさを考慮することでモデルの精度を高めることが可能と考えられます。
　以上のような特徴を持っている順序回帰を、通常の多クラス分類と同じ方法で解くことは得策と言えません。本記事では、『深層学習』で紹介されている順序回帰を解く方法を2種類紹介します。
　なお、本記事では順序回帰の対象データを次のように設定しておきます。

サンプルサイズ： $N$
$n$ 番目の説明変数： $\boldsymbol{x}_n$
$n$ 番目の目的変数： $y_n$
目的変数のクラス数： $K$

　また、モデルは深層学習モデルを想定しています。

順序回帰を解く方法

二値分類に変換する方法

　一つ目の方法は、順序回帰を二値分類に変換する方法です。順序回帰を次のようにして解きます。

目的変数の変換
目的変数 $y_n = \bar{k}$ を

$d_{nk} = \left\{ \begin{array}{ll} 1 & (k<\bar{k}) \\ 0 & ({\rm otherwise}) \end{array} \right.$

に変換して、目的変数を $\boldsymbol{d} _ n = (d _ {n1}, \cdots, d _ {nK-1})$ とします。

モデル
　深層学習モデルの出力層に $K-1$ 個のユニットを並べ、ロジスティック関数による変換を行い予測とします（図２）。

損失関数
損失関数として、交差エントロピーを用います。なお、交差エントロピーとはモデルに含まれるパラメータを $\boldsymbol{w}$ 、予測を $\hat{\boldsymbol{d}_n} = (\hat{d} _ {n1}, \cdots, \hat{d} _ {nK-1}) \in [0, 1]^{K-1}$ としたときに、

$E(\boldsymbol{w}) = - \displaystyle{\sum_{n=1}^{N}}\displaystyle{\sum_{k=1}^{K-1}} {\rm log} \hat{d}_{nk}(\boldsymbol{x_n}; \boldsymbol{w})^{d_{nk}}$