与えられたデータから一つを選んでネットワークに与え、パラメータ調整を繰り返す方法を、オンライン学習と呼びます。 この方法では、選択したデータに対して最適化する方向に学習が進みます。 したがって、すべてのデータに対して適切な解へ向かうとは限りません。
一方、与えられたデータのすべてを選んでネットワークに与え、個々のデータごとに教師データとの誤差を調べ、その平均を用いてパラメータ調整を繰り返す方法を、バッチ学習といいます。 すべてのデータを用いて誤差を取得しているため、適切な解へ向かう可能性は高いものの、与えられたデータの数が多い場合は、コンピュータのメモリ上で各データから得られた誤差を保管することが困難になります。
オンライン学習とバッチ学習のメリットを両方享受することを狙った方法がミニバッチ学習です。 すべてのデータの中からサンプルをランダムに選び、学習を行います。 一つのグループに含まれるデータの数をバッチサイズと呼び、通常10から100ぐらいの値を選びます。