最小二乗法の考え方と導出
データ配列としてというデータがあったとして、
これらのデータを1次関数の式という形で表現したいとしたときの傾き
と切片
はどう求めればいいのだろうか。
最小二乗法の考え方
と仮定したときの
での値は
であるが、実際の値
とは幾分かの誤差が生じるはず。
その差はと表現できる。この差はマイナス方向にもプラス方向にもズレが起きうると考え、どれだけの量がずれたかを調べるには2乗してやればいい。
つまり、と表現できる。
個のデータに対してズレの評価をすべて行い、総和を求める。
このときのが最小となる
を求めることができれば、もっとも近い1次関数の式に近似できる。
というのが最小二乗法の考え方。
導出してみる
ε(a,b)は2変数の2次関数となっている。
2次関数の最小値を求める方法は、微分した関数の値が0になる点を求めればいい。
例えば、の最小値は
を微分して
とし、
となる
を求めればよい。つまり
の時である。
今回扱う関数は変数にをもつ2変数関数であるため、それぞれ
で偏微分する必要がある。
まずについて微分する。
つぎにについて微分する。
これらが0になるように連立方程式を解けばいい。つまり
上式をそれぞれ変形する。
ここで2式の両辺をnで割る。
ここで、をnで割るということは、平均を取る行為に等しいので
この2式で連立方程式をとき、それぞれを求めると
代入して
aについて変形する。
よって、近似直線としたとき、
と最も剥離が少ない
は
で求めることができる。
余談
さっき導出した式をみてみる。
これの右辺に注目すると、分子はの共分散で分母は
の標本分散となっている。
というデータの標本分散
は
というデータの共分散
は
つまり、共分散を分散で割ることでも傾きは求めることができる。
2次関数での近似はこちら
birdhouse.hateblo.jp
ディスカッション
コメント一覧
まだ、コメントがありません