Эндогенность и инструментальные переменные

Когда регрессия врёт и как её спасти. Самая взрослая тема курса. Формулы проговорены словами.

🎧 Озвучено OpenAI · голос: молодая женщина, московское произношение

OLS честен, только если объясняющая переменная не связана с ошибкой. Если в необъяснённом прячется что-то, связанное с X, оценка наклона перестаёт быть правдой. Это и есть эндогенность: X замешан в той же системе, что и ошибка.

Красная связь между X и ошибкой ломает всё: оценка β вбирает в себя часть ошибки.

Почему это катастрофа. Оценка не просто неточная — она смещённая и несостоятельная. Закон больших чисел не спасёт: с ростом выборки оценка сходится, но к неправильному числу. Миллион наблюдений лишь очень точно вычислят неверный ответ. Не лечится данными — только умом.

Три причины эндогенности

Причина	Суть	Пример
Пропущенная переменная	важный фактор сидит в ошибке и связан с X	зарплата ~ образование, забыли способности
Обратная причинность	не только X→Y, но и Y→X одновременно	цена ↔ спрос; полиция ↔ преступность
Ошибка измерения	шум в X попадает в ошибку → смещение к нулю	X измерен неточно (опрос, округление)

Причинность идёт в обе стороны — регрессия видит клубок и не может распутать, где причина, где следствие.

Лекарство: инструментальная переменная

X «грязный» — замешан в ошибке. Нужен чистый источник изменчивости, который толкает X, но сам не связан с ошибкой. Это инструмент Z: он влияет на Y только через X и больше никак.

Z толкает X (зелёная связь), но не связан с ошибкой и не влияет на Y напрямую. Через эту чистую часть X и читаем настоящий эффект.

Два условия инструмента (обязательно спрашивают):
1. Релевантность — Z реально двигает X (связан с ним).
2. Экзогенность / исключение — Z не связан с ошибкой и влияет на Y только через X.
Сильный, но грязный — плохо. Чистый, но слабый — тоже плохо. Нужны оба сразу.

Пример. Отдача от образования на зарплату, мешают способности. Инструмент — расстояние до ближайшего колледжа в юности. Релевантность: живёшь ближе → вероятнее пойдёшь учиться ✓. Экзогенность: где ты случайно родился — не про твои таланты, влияет на зарплату только через образование ✓.

Как применяют: 2SLS (две регрессии)

1-я стадия отфильтровывает из грязного X только ту изменчивость, что идёт от чистого Z. 2-я стадия оценивает Y по очищенному X̂ — это уже состоятельная оценка причинного эффекта.

Главная ловушка — слабый инструмент. Если Z едва двигает X, оценка 2SLS капризна: огромный разброс, может быть смещена сильнее обычного OLS. Проверяют силу по F-статистике первой стадии: грубое правило — F < 10 → инструмент слабый, доверять опасно.

Тонкость. Если инструментов несколько, их экзогенность можно проверить статистически (тест Саргана на сверхидентификацию). Но при одном инструменте базовое условие экзогенности данными проверить нельзя — его обосновывают содержательно, логикой и знанием предметной области. За каждым хорошим инструментом стоит убедительная история, а не только цифры.

Итог

Эндогенность — связь X с ошибкой; делает OLS смещённым и несостоятельным, не лечится размером выборки. Три причины: пропущенная переменная, обратная причинность, ошибка измерения. Лекарство — инструмент Z: чистый рычаг, двигающий грязный X. Два условия: релевантность и экзогенность. Применяют через 2SLS: 1-я стадия очищает X через Z, 2-я оценивает Y на очищенном X. Главная опасность — слабый инструмент (проверка по F первой стадии). За IV давали Нобелевские премии — ты в хорошей компании.

← Инференция Все лонгриды →