← Карта тем · PDF Vo2

§2 Предположения, распределение OLS, вывод

По слайдам Vo2. Здесь — пять предположений курса (AL, AR, AX, AH, AN), свойства OLS, теорема Гаусса–Маркова и тесты. Это самая «экзаменуемая» глава.

2.1 Пять предположений

КодНазваниеФормальноЗачем
ALLinearity$Y=X\beta+\varepsilon$модель верно специфицирована
ARRank$\operatorname{rank}(X)=K{+}1$$(X'X)^{-1}$ существует, нет полной мультиколлинеарности
AXStrict exogeneity$E[\varepsilon\mid X]=0$несмещённость; ошибка не связана с предикторами
AHHomoskedasticity + uncorrelatedness$\operatorname{Cov}(\varepsilon\mid X)=\sigma^2 I$простая формула дисперсии, эффективность
ANNormality$\varepsilon\mid X \sim N(0,\sigma^2 I)$точные $t$/$F$-распределения в малой выборке
AX — экзогенность (тонкость)
$$E[\varepsilon_i \mid X] = 0 \;\Rightarrow\; E[\varepsilon_i]=0,\quad \operatorname{Cov}(X_j,\varepsilon_i)=0$$

Это сильнейшее предположение. Нарушается при пропущенной переменной (§4), ошибке измерения регрессора, одновременности. Если нарушено — OLS смещён и несостоятелен. На графике «остатки vs предиктор» нарушение AX выдаёт систематический паттерн (тренд, изгиб) вокруг нуля.

AH — гомоскедастичность и некоррелированность
$$V(\varepsilon_i\mid X)=\sigma^2 \;\text{(одинакова для всех } i),\qquad \operatorname{Cov}(\varepsilon_i,\varepsilon_j\mid X)=0,\ i\ne j$$

Постоянная дисперсия + отсутствие автокорреляции. Нарушение постоянства — гетероскедастичность (тест Бройша–Пагана, Уайта, §4). Нарушение второго — автокорреляция (важно для временных рядов). При нарушении AH оценки $\hat\beta$ остаются несмещёнными, но стандартные ошибки неверны → t/F-тесты невалидны.

2.2 Свойства OLS

Несмещённость и ков. матрица (под AL, AR, AX, AH)
$$E[\hat\beta\mid X]=\beta, \qquad \operatorname{Cov}(\hat\beta\mid X)=\sigma^2 (X'X)^{-1}$$

Несмещённость требует только AX (плюс AL, AR). Простая формула дисперсии $\sigma^2(X'X)^{-1}$ требует AH. Диагональ этой матрицы → квадраты стандартных ошибок коэффициентов.

Несмещённая оценка $\sigma^2$
$$\hat\sigma^2 = \frac{RSS}{N-K-1} = \frac{\sum \hat\varepsilon_i^2}{N-K-1}$$

Делим на степени свободы $N-K-1$, а не на $N$ (иначе смещение вниз). Корень $\hat\sigma$ — «Residual standard error» в выводе R. Отсюда $\widehat{\operatorname{se}}(\hat\beta_j)=\sqrt{\hat\sigma^2[(X'X)^{-1}]_{jj}}$.

Теорема Гаусса–Маркова
$$\text{под AL, AR, AX, AH: } \hat\beta_{OLS} \text{ — BLUE}$$

OLS — Best Linear Unbiased Estimator: среди всех линейных по $Y$ несмещённых оценок имеет наименьшую дисперсию. Нормальность (AN) для этого не нужна. Если AH нарушено — GMM/GLS могут быть эффективнее (§4).

2.3 Мультиколлинеарность

Высокая (но не полная) корреляция предикторов. $(X'X)^{-1}$ почти вырождена → большие стандартные ошибки, нестабильные $\hat\beta$, незначимые $t$ при высоком общем $R^2$/$F$. Диагностика — VIF. Не нарушает несмещённость, лечится сбором данных / удалением дублирующих переменных. Полная мультиколлинеарность нарушает AR — модель не оценивается.

2.4 Распределение и тесты

Под AN — точное распределение (иначе асимптотически)
$$\hat\beta - \beta \sim N\!\big(0,\ \sigma^2 (X'X)^{-1}\big), \qquad \frac{\hat\beta_j-\beta_j}{\widehat{\operatorname{se}}(\hat\beta_j)} \sim t_{N-K-1}$$

$t$-статистика для $H_0:\beta_j=0$ — это столбец «t value» в R; «Pr(>|t|)» — p-value. Малый p (звёздочки) → отвергаем $H_0$, коэффициент значим. Без AN то же распределение держится асимптотически (CLT) при больших $N$.

$F$-тест совместной значимости
$$F=\frac{(RSS_r-RSS_u)/q}{RSS_u/(N-K-1)} \sim F_{q,\,N-K-1}$$

Сравнивает ограниченную ($r$) и полную ($u$) модели; $q$ — число ограничений. Глобальный $F$ из R проверяет «все наклоны нулевые». Большой $F$ / малый p → модель в целом значима. Используется и для проверки группы дамми сразу (см. §3).

На экзамене. «Какие предположения нужны для несмещённости?» → AL, AR, AX (НЕ нужны AH и AN). «Для валидных t-тестов в малой выборке?» → плюс AH и AN. «Гаусс–Марков требует нормальности?» → нет.