Σ   U i 2 = Σ   ( Y i − Y ^ i ) 2 {\displaystyle \Sigma \ {U_{i}}^{2}=\Sigma \ (Y_{i}-{\hat {Y}}_{i})^{2}}
= Σ   ( Y i − b ^ X i − a ^ ) 2 {\displaystyle =\Sigma \ (Y_{i}-{\hat {b}}X_{i}-{\hat {a}})^{2}}
= Σ   ( Y i 2 + ( b ^ X i ) 2 + a ^ 2 − 2 ( b ^ Y i X i + a ^ Y i − a ^ b ^ X i ) ) {\displaystyle =\Sigma \ ({Y_{i}}^{2}+({\hat {b}}X_{i})^{2}+{\hat {a}}^{2}-2({\hat {b}}Y_{i}X_{i}+{\hat {a}}Y_{i}-{\hat {a}}{\hat {b}}X_{i}))}

が最小になるように b ^ {\displaystyle {\hat {b}}} と a ^ {\displaystyle {\hat {a}}} で一次微分する。

{ Σ   X i ( Y i − b ^ X i − a ^ ) = 0 Σ   ( Y i − b ^ X i − a ^ ) = 0 {\displaystyle {\begin{cases}\Sigma \ X_{i}(Y_{i}-{\hat {b}}X_{i}-{\hat {a}})=0\\\Sigma \ (Y_{i}-{\hat {b}}X_{i}-{\hat {a}})=0\end{cases}}}

⇔

{ Σ   X i Y i = b ^ Σ   X i 2 + a ^ Σ   X i Σ   Y i = b ^ Σ   X i + n a ^ {\displaystyle {\begin{cases}\Sigma \ X_{i}Y_{i}={\hat {b}}\Sigma \ {X_{i}}^{2}+{\hat {a}}\Sigma \ X_{i}\\\Sigma \ Y_{i}={\hat {b}}\Sigma \ X_{i}+n{\hat {a}}\end{cases}}}

⇔

すると正規方程式

{ Σ   X i Y i = b ^ Σ   X i 2 + a ^ Σ   X i Y ¯ = a ^ + b ^ X ¯ {\displaystyle {\begin{cases}\Sigma \ X_{i}Y_{i}={\hat {b}}\Sigma \ {X_{i}}^{2}+{\hat {a}}\Sigma \ X_{i}\\{\bar {Y}}={\hat {a}}+{\hat {b}}{\bar {X}}\end{cases}}}

が得られる。

⇒

Σ   X i Y i = b ^ Σ   X i 2 + ( Y ¯ − b ^ X ¯ ) Σ   X i {\displaystyle \Sigma \ X_{i}Y_{i}={\hat {b}}\Sigma \ {X_{i}}^{2}+({\bar {Y}}-{\hat {b}}{\bar {X}})\Sigma \ X_{i}}

→

b ^ = Σ   X i Y i − Y ¯ Σ   X i Σ   X i 2 − X ¯ Σ   X i {\displaystyle {\hat {b}}={\frac {\Sigma \ X_{i}Y_{i}-{\bar {Y}}\Sigma \ X_{i}}{\Sigma \ {X_{i}}^{2}-{\bar {X}}\Sigma \ X_{i}}}}
a ^ = Y ¯ − b ^ X ¯ {\displaystyle {\hat {a}}={\bar {Y}}-{\hat {b}}{\bar {X}}}

最後に得られるのが最小二乗推定量 b ^ {\displaystyle {\hat {b}}} と a ^ {\displaystyle {\hat {a}}} である。
誤差項についての標準的仮定
系列無相関

分散均一性

説明変数との無相関

正規性

のうち、1-3を満たすとき、ガウス＝マルコフの定理が成立する（4は不要であることに注意せよ）。