Линейная регрессия
Модель условного среднего Y как линейной функции объясняющих переменных X и неизвестных коэффициентов β.
Коэффициент β
Показывает, как меняется предсказанное Y при изменении соответствующего X на единицу при прочих равных.
Свободный член β₀
Предсказанное значение Y, когда все объясняющие переменные равны нулю.
Ошибка модели ε
Все ненаблюдаемые причины Y и случайные отклонения, которые не объяснены включёнными в модель переменными X.
МНК / OLS
Метод наименьших квадратов. Выбирает коэффициенты так, чтобы сумма квадратов остатков была минимальной.
Остаток
Разница между фактическим и предсказанным значением: êᵢ=Yᵢ−Ŷᵢ.
RSS
Residual Sum of Squares – сумма квадратов остатков. МНК минимизирует именно её.
R²
Доля выборочного разброса Y, которую описывает регрессия. Высокий R² сам по себе ничего не говорит о причинности.
Рычаг наблюдения
Показывает, насколько необычно значение X. Точка далеко от среднего X имеет большой рычаг и потенциально способна сильнее повернуть линию регрессии.
Влиятельное наблюдение
Наблюдение, удаление которого заметно меняет оценённые коэффициенты, стандартные ошибки, прогнозы или выводы о значимости.
Расстояние Кука
Мера совместного влияния остатка и рычага наблюдения на всю оценённую регрессию. Часто значения выше 4/n используют как сигнал для проверки точки.
t-статистика коэффициента
Отношение оценки коэффициента к её стандартной ошибке. Чем дальше t от нуля, тем меньше p-value при проверке нулевой гипотезы.
p-value
Вероятность получить не менее далёкую от нуля тестовую статистику, если нулевая гипотеза верна. Малое p-value говорит, что данные плохо согласуются с нулевой гипотезой.
Дисперсия
Средний квадрат отклонения случайной величины от её среднего; мера разброса.
Смещение / Bias
Систематическое отклонение оценки от истинного параметра, а не случайная ошибка одной конкретной выборки.
plim
Вероятностный предел: значение, к которому оценка стремится при неограниченном росте объёма выборки.
Ковариация и корреляция
Ковариация показывает совместное направление изменений, корреляция – её нормированную величину от −1 до 1.
Мультиколлинеарность
Сильная линейная связь между объясняющими переменными. Она затрудняет раздельную оценку их коэффициентов.
Идеальная мультиколлинеарность
Один признак точно выражается через другие. Тогда X′X вырождена и отдельные коэффициенты МНК не имеют единственного решения.
VIF
Variance Inflation Factor – во сколько раз связь признака с остальными увеличивает дисперсию оценки его коэффициента: VIF=1/(1−R²).
rank(X)
Ранг матрицы признаков. Условие rank(X)=k означает отсутствие точной линейной зависимости между её k столбцами.
Регуляризация
Добавление к ошибке модели штрафа за величину коэффициентов, чтобы уменьшить переобучение и нестабильность оценки.
λ – сила штрафа
При λ=0 получается МНК. Чем больше λ, тем сильнее регуляризация сжимает коэффициенты.
L₁- и L₂-штраф
L₁ использует сумму модулей коэффициентов и имеет ромбовидную область ограничения; L₂ использует сумму квадратов и даёт круг.
Ridge
Регрессия с L₂-штрафом: большие коэффициенты становятся меньше, но обычно не обращаются точно в ноль.
Lasso
Регрессия с L₁-штрафом. Может занулить часть коэффициентов и тем самым отобрать признаки.
Elastic Net
Сочетает L₁- и L₂-штрафы. Параметр α задаёт долю L₁: α=1 соответствует Lasso, α=0 – Ridge.
Стандартизация
Преобразование признаков к общей шкале. Без него регуляризация сильнее штрафовала бы признаки, измеренные в мелких единицах.
Обучающая и проверочная выборки
На обучающей части оценивают модель, а на проверочной измеряют качество на наблюдениях, которых модель не видела.
MSE
Mean Squared Error – средний квадрат ошибки прогноза. Чем он меньше, тем точнее предсказания.
Fold
Одна из K непересекающихся частей данных в K-fold кросс-валидации.
K-fold кросс-валидация
Для каждой настройки модель K раз обучают на K−1 частях и проверяют на оставшейся. Затем K ошибок усредняют.
Экзогенность
Объясняющая переменная не связана с ненаблюдаемыми причинами результата: E(ε|X)=0.
Эндогенность
X связан с ошибкой модели. Тогда коэффициент МНК обычно смешивает интересующий эффект с другими связями.
Гомоскедастичность
Условная дисперсия ошибки постоянна: Var(ε|X)=σ².
Гетероскедастичность
Разброс ошибок зависит от X. Коэффициенты МНК могут оставаться несмещёнными, но обычные стандартные ошибки становятся ненадёжными.
Автокорреляция ошибок
Ошибки разных наблюдений связаны между собой, что особенно часто встречается во временных рядах.
Стандартная ошибка
Оценка того, насколько коэффициент менялся бы от выборки к выборке.
Робастная стандартная ошибка
Стандартная ошибка, рассчитанная без предположения о постоянной дисперсии ошибок.
Теорема Гаусса–Маркова
При стандартных предпосылках МНК имеет наименьшую дисперсию среди линейных несмещённых оценок.
BLUE
Best Linear Unbiased Estimator – лучшая линейная несмещённая оценка. «Лучшая» означает наименьшую дисперсию в этом классе.
Гистограмма оценок
Показывает, как распределяется оценка коэффициента по множеству повторных выборок.
Центральные 95%
Интервал от 2,5-го до 97,5-го процентиля смоделированных оценок; в него попадают центральные 95% результатов.
Потенциальные исходы
Y(1) – результат с воздействием, Y(0) – без него. Для одного человека одновременно наблюдается только один исход.
Контрфакт
Потенциальный исход в состоянии, которое для данного человека не реализовалось и потому не наблюдается.
Индивидуальный эффект и ATE
τᵢ=Yᵢ(1)−Yᵢ(0) – эффект для человека; ATE=E[τᵢ] – средний эффект в популяции.
T – тритмент
Переменная воздействия. В бинарном случае T=1 – тритмент, T=0 – контроль.
Рандомизация
Случайное назначение T, которое в среднем разрывает связь воздействия с исходными характеристиками и потенциальными исходами.
Самоотбор
Люди попадают под воздействие неслучайно, например в зависимости от мотивации или ожидаемого результата.
DAG
Направленный граф без циклов. Вершины обозначают переменные, стрелки – предполагаемые причинные связи. Граф задают до анализа данных, исходя из предметных знаний.
Confounder / конфаундер
Общая причина тритмента T и исхода Y. Пример: T ← C → Y. Если не учесть C или другой подходящий набор переменных, оценка эффекта T может быть смещена.
Mediator / медиатор
Переменная, через которую T влияет на Y: T → M → Y. При оценке общего эффекта T медиатор обычно не контролируют.
Collider / коллайдер
Вершина, в которую входят две стрелки: T → K ← Y. Контроль K или его потомка может открыть прежде закрытый путь и создать смещение.
Back-door путь
Путь от T к Y, который начинается со стрелки, входящей в T. Открытые back-door пути могут давать смещение.
Adjustment set
Набор контрольных переменных, который закрывает открытые back-door пути между T и Y. Для общего эффекта при этом не контролируют потомков T.
Инструмент в DAG
При выполнении IV-предпосылок Z влияет на T, а на Y – только через T. Инструмент используют для IV-оценивания, а не просто добавляют в регрессию как контроль.
SUTVA
Исход человека зависит только от его собственного T, а каждому значению T соответствует один чётко определённый вариант воздействия.
Влияние между людьми
Нарушение SUTVA, при котором воздействие на одного человека меняет исход другого; также называется spillover или интерференцией.
Пропущенная переменная
Фактор Z влияет на Y, связан с X, но не включён в регрессию. Его влияние попадает в ошибку и может сместить МНК.
Обратная причинность
Не только X влияет на Y, но и Y влияет на X, из-за чего направление связи нельзя восстановить простой регрессией.
Ошибка измерения
Наблюдаемый X отличается от истинного X*. Классическая ошибка измерения X обычно сдвигает коэффициент к нулю.
Инструмент Z
Переменная, которая меняет X, но не влияет на Y напрямую и не связана с ошибкой в уравнении результата.
IV / 2SLS
Метод инструментальных переменных; 2SLS – его двухшаговая реализация через предсказанную инструментом часть X.
Первая стадия
Регрессия X на инструмент Z. Она показывает, действительно ли инструмент заметно двигает X.
Слабый инструмент
Инструмент слишком слабо связан с X. В простом случае смотрят на F-статистику первой стадии и настораживаются при F<10.
F-статистика первой стадии
Мера силы связи инструмента Z с X. Большая F говорит о релевантной первой стадии, но не доказывает экзогенность инструмента.