Четыре теоремы, на которых держится весь курс. За каждой прячется простая и красивая мысль — разберём их так, чтобы можно было слушать на ходу.
1. Гаусс–Марков: почему именно OLS
Оценить наклон $\beta$ можно бесконечным числом способов. Какой лучший? Теорема Гаусса–Маркова: при четырёх предположениях (линейность, полный ранг, экзогенность, постоянство разброса) метод наименьших квадратов — наилучшая линейная несмещённая оценка, по-английски BLUE.
Все оценки несмещённые → их распределения центрированы на истинном β. OLS имеет наименьший разброс — самый высокий и узкий «колокол». Это и есть «лучшая среди линейных несмещённых».
Ловушка экзамена. Для Гаусса–Маркова нормальность ошибок не нужна. Нужны только AL, AR, AX, AH. Нормальность (AN) требуется лишь для точных t/F-тестов на малой выборке.
Расшифруем по буквам: Best (наименьший разброс), Linear (оценка — взвешенная сумма игреков), Unbiased Estimator (в среднем не промахивается). Теорема скромна: OLS лучший среди линейных, а не среди вообще всех мыслимых оценок.
2. Фриш–Во–Ловелл: что значит коэффициент
Объясняем зарплату образованием и опытом. Что измеряет коэффициент при образовании? Теорема Фриша–Во–Ловелла даёт точный ответ через «вычищение» (partialling out).
Очистить образование и зарплату от опыта (выкинуть всё, что предсказывается опытом), затем сделать простую регрессию остатков. Полученный наклон в точности равен коэффициенту из большой регрессии.
Смысл: коэффициент в множественной регрессии — это эффект переменной после вычитания влияния всех остальных.
Это и есть точный смысл «при прочих равных»: сравниваем людей с одинаковым опытом. При сильной мультиколлинеарности очищенной переменной почти не остаётся — коэффициент начинает «прыгать», ему не на что опереться.
3. Закон больших чисел и ЦПТ: два кита асимптотики
Закон больших чисел (ЗБЧ): чем больше выборка, тем ближе выборочное среднее к истинному. Монетка 10 раз — доля орлов гуляет; миллион раз — почти ровно одна вторая. Отсюда состоятельность: с ростом N оценка OLS сходится к истинному $\beta$.
Центральная предельная теорема (ЦПТ): сумма многих независимых случайных кусочков распределена по нормальному закону — почти независимо от того, как устроены сами кусочки.
ЗБЧ → оценка попадает в правильную точку (состоятельность). ЦПТ → вокруг этой точки распределение становится нормальным (асимптотическая нормальность).
Зачем это: оценка OLS — по сути взвешенная сумма ошибок, поэтому по ЦПТ она становится нормальной даже если сами ошибки не нормальны. Значит на больших данных t-тесты и доверительные интервалы работают без предположения о нормальности (AN). Связка: ЗБЧ → состоятельность; ЦПТ → нормальность для интервалов и тестов.
4. Смещение из-за пропущенной переменной
Объясняем зарплату образованием, но забыли про способности. Способности влияют на зарплату и связаны с образованием — коэффициент при образовании завышается, приписывая себе чужую заслугу.
Смещение возникает, только когда обе красные связи ненулевые: Z и влияет на Y, и коррелирует с X. Уберите любую — смещения нет.
Смещение = (истинный эффект пропущенной Z) × (связь Z с включённым X).
Если Z не важна для Y — первый множитель ноль, смещения нет. Если Z не связана с X — второй множитель ноль, смещения нет. Нужны оба сразу. Знак смещения предсказуем: оба множителя положительны → коэффициент завышен. И это не лечится размером выборки — оценка точно сойдётся к неправильному числу.
Как всё связано
Предположения из прошлого текста — это входные условия теорем. Теоремы превращают условия в гарантии: оценка попадёт куда надо (ЗБЧ), будет самой точной (Гаусс–Марков), вокруг неё можно строить честные интервалы (ЦПТ), а коэффициент означает «при прочих равных» (Фриш–Во–Ловелл). А когда условие нарушено — как с пропущенной переменной — теорема же подсказывает, что сломается и в какую сторону. Теоремы не для зубрёжки, а чтобы понимать, чему можно доверять.