Шпаргалка — все формулы курса

OLS

$\hat\beta=(X'X)^{-1}X'Y$,   $\hat Y=X\hat\beta$,   $\hat\varepsilon=Y-\hat Y$

Норм. уравнение: $X'\hat\varepsilon=0 \Rightarrow \sum\hat\varepsilon_i=0$

$\operatorname{Cov}(\hat\beta\mid X)=\sigma^2(X'X)^{-1}$,   $\hat\sigma^2=\dfrac{RSS}{N-K-1}$

Предположения

AL $Y=X\beta+\varepsilon$ · AR $\operatorname{rank}X=K{+}1$ · AX $E[\varepsilon\mid X]=0$ · AH $\operatorname{Cov}(\varepsilon\mid X)=\sigma^2 I$ · AN $\varepsilon\sim N$

Несмещённость: AL+AR+AX. BLUE (Г.–М.): +AH. Точные t/F: +AN.

Качество подгонки

$TSS=ESS+RSS$,   $R^2=\dfrac{ESS}{TSS}=1-\dfrac{RSS}{TSS}$

$\bar R^2=1-\dfrac{RSS/(N-K-1)}{TSS/(N-1)}$

Вывод

$t=\dfrac{\hat\beta_j-\beta_j^0}{\widehat{\operatorname{se}}(\hat\beta_j)}\sim t_{N-K-1}$

CI: $\hat\beta_j\pm t_{1-\alpha/2}\,\widehat{\operatorname{se}}(\hat\beta_j)$

$F=\dfrac{(RSS_r-RSS_u)/q}{RSS_u/(N-K-1)}\sim F_{q,N-K-1}$

Прогноз

$\hat y_0=x_0'\hat\beta$

для $y_0$: $\hat y_0\pm t\,\hat\sigma\sqrt{1+x_0'(X'X)^{-1}x_0}$

для $E(y_0)$: без «$1+$»

Интерпретация коэффициентов

Дамми = сдвиг интерсепта. Взаимод.: $\partial Y/\partial X_1=\beta_1+\beta_3X_2$. Вершина: $X^*=-\gamma_1/(2\gamma_2)$.

Диагностика (малый p ⇒ …)

OVB и выбор модели

$E[\hat\beta_1]=\beta_1+B\beta_2$  (0 если $B=0$ или $\beta_2=0$)

$\mathrm{AIC}=\log\frac{RSS}{N}+\frac{2k}{N}$,   $\mathrm{SC}=\log\frac{RSS}{N}+\frac{k\log N}{N}$ → min. SC штрафует сильнее.

Гетеро/автокор: $\hat\beta$ несмещён, se неверны → HAC/Newey–West или GLS $\hat\beta=(X'\Omega^{-1}X)^{-1}X'\Omega^{-1}Y$.

Стационарность и ACF

Слабая: $\mu_t=\mu$, $\sigma_t^2=\sigma^2$, $\gamma(t,s)=\gamma(h)$

$\gamma(h)=\operatorname{Cov}(Y_t,Y_{t-h})$,   $\rho(h)=\gamma(h)/\gamma(0)$

AR(1) / MA(1)

AR(1) стац. ⟺ $|\phi|<1$;   $E[Y_t]=\dfrac{c}{1-\phi}$,   $V=\dfrac{\sigma^2}{1-\phi^2}$,   $\rho(h)=\phi^{|h|}$

MA(1): $\rho(1)=\dfrac{\theta}{1+\theta^2}$, $\rho(h{>}1)=0$; всегда стационарен

ARMA / ARIMA

$\phi(B)Y_t=\theta(B)\varepsilon_t$. Стац. ← AR-часть, обратим. ← MA-часть.

Корни $\phi(z)=0$ вне ед. круга ⇒ стац.; инвертир. корни $\theta$ внутри ⇒ обратим.

ARIMA(p,d,q): $\Delta^d Y_t$ стационарен. Random walk = ARIMA(0,1,0), $I(1)$, единичн. корень.

Прогноз AR(1)

$\hat Y_{t+k|t}=\mu(1-\phi^k)+\phi^k Y_t$

$k\to\infty$: $\hat Y\to\mu$ (mean reversion). MA(q): $\hat Y_{t+k|t}=\mu$ при $k>q$.

ARCH / GARCH

$x_t=\sigma_t\epsilon_t$, $\epsilon_t\sim N(0,1)$ iid

ARCH(q): $\sigma_t^2=\alpha_0+\sum_{i}\alpha_i x_{t-i}^2$  (Engle)

GARCH(1,1): $\sigma_t^2=\alpha_0+\alpha_1 x_{t-1}^2+\beta_1\sigma_{t-1}^2$  (Bollerslev)

$\alpha_0>0,\ \alpha_i,\beta_j\ge0$; volatility clustering; $E(x_t\mid\mathcal F_{t-1})=0$, $E(x_t^2\mid\mathcal F_{t-1})=\sigma_t^2$.