株式会社リアリニット

3D技術にもっと可能性を

Language

JPN⇔ENG

人工知能 (AI)
第十一回  過学習

統計的にデータからパラメータを推定する場合、学習用データに過剰に適合したモデルが出来上がることがあります。これを過学習と呼びます。

具体例を見てみましょう。 下図は、グラフ上にプロットした計測結果を近似する曲線を作成したもので、上が3次曲線、下が6次曲線です。 この例では、3次曲線で十分な近似が得られており、6次曲線ではプロットがない部分で不自然な値を示しています。

ニューラルネットワークでの過学習を防ぐ手法として、様々なものが提案されていますが、ここではドロップアウトを説明します。

学習時に、ネットワークに含まれる人工ニューロンの一部をランダムに無効化します。 1回のパラメータ更新が終わったら、無効化する要素を選びなおし、学習を行います。


無効化する要素の比率を示すパラメータを0から1の範囲で与えます。 0.3であれば、30%の要素が無効化され、残り70%の要素を使用して計算を行うことになります。

全体の出力は、比率をpとすれば 1 - p だけ減ります。 そこで、出力の値を 1 1 - p 倍して補正します。

ドロップアウトを行うと、学習の進み具合が遅くなることが欠点で、その分学習回数を増やす必要があります。

次の記事へ

目次へ