По слайдам Vo1 (Preinerstorfer, Spring 2026). Базовый объект курса — линейная регрессия и метод наименьших квадратов. Здесь вводятся обозначения, на которых держится весь курс.
Связь отклика $Y$ с предикторами $X_1,\dots,X_K$ описывается линейно. Это Assumption AL (linearity) — линейность по параметрам, а не по переменным (можно включать $X^2$, $\log X$).
$\beta_0$ — интерсепт, $\beta_k$ — частный эффект $X_k$ при прочих равных. $\varepsilon$ — ненаблюдаемая ошибка (всё, что не объяснили предикторы). Для $N$ наблюдений — в матричной форме $Y = X\beta + \varepsilon$, где $X$ имеет столбец единиц и размер $N\times(K{+}1)$.
OLS минимизирует сумму квадратов остатков $S(\beta)=\sum_i (Y_i - X_i\beta)^2 = (Y-X\beta)'(Y-X\beta)$. Дифференцируем, приравниваем к нулю — получаем нормальное уравнение $X'X\hat\beta = X'Y$.
Обращение $(X'X)^{-1}$ существует только если $X$ полного ранга — это Assumption AR (см. §2). Нормальное уравнение даёт ключевое тождество $X'\hat\varepsilon = 0$: остатки ортогональны каждому предиктору и (из-за столбца единиц) суммируются в ноль.
$R^2$ — доля дисперсии $Y$, объяснённая моделью; лежит в $[0,1]$ (при наличии интерсепта). Разложение работает именно благодаря $X'\hat\varepsilon=0$. Важно: $R^2$ не убывает при добавлении любого регрессора — поэтому для сравнения моделей нужен скорректированный $R^2$ или AIC/SC (§4).
Штрафует за число регрессоров $K$. Может уменьшиться при добавлении бесполезной переменной — в отличие от обычного $R^2$. В выводе R это строка «Adjusted R-squared».