Линейная регрессия с категориальными регрессорами. Параметры её качества и интерпретация 

Видео-рекомендации, каждая не более 3 мин.

Видео 1. Поскольку линейная регрессия может применяться к моим данным, я продолжаю конструировать модель. Запускаю процедуру регрессии. Регрессоры, которые рассматриваю как интервальные и бинарные переменные, помещаются в окно "Independents". Остальные настройки остаются «как есть».

Видео 2. Во-первых, я исключаю слабые регрессоры, имеющие значимость выше 0,05 или довольно малые коэффициенты. Если оставить такие регрессоры в модели, ее R-квадрат может быть переоценен. Для удаления я использую процедуру пошаговой регрессии и процедуру перемножения нестандартизированных и стандартизованных коэффициентов. Пошаговая процедура удалила 7 бинарных переменных.

Видео 3. Смотря на оставшихся регрессоры, я вижу, что некоторые из них значимы, но слабы. Имею в виду, что они оказывают такое небольшое влияние на зависимую переменную, что можно пренебречь. Я исключаю такие слабые регрессоры вручную и перезапускаю пошаговую процедуру. После 3 итераций я получаю 27 сильных регрессоров.

Видео 4. Прежде чем интерпретировать модель, я рассмотрю ее по трем параметрам качества: несмещённости, гомоседастичности, стабильности. Для проверки несмещённостии и гомоседастичности мне нужно сохранить удаленные остатки. Они показывают, какие наблюдения плохо предсказываются моделью. Процедура "Explore" показывает, что среднее значение удаленных остатков не равно нулю в генеральной совокупности. Таким образом, модель систематически переоценивает значения зависимой переменной. Поэтому я добавляю среднее значение удаленных остатков к константе модели.

Видео 5. Гомоседастичность означает, что остатки не меняются в зависимости от значений любого из регрессоров. Существует множество способов интерпретации этой идеи и фиксации гомоскедастичности путем измерения связи между каждым регрессором и зависимой переменной. Я считаю, что одним из наиболее релевантных и исчерпывающих методов изучения гомоскедастичности является диспанализ, поскольку ему не важна форма связи. Между тем многим аналогам она важна. В моем случае хотя некоторые регрессоры влияют на отклик, кумулятивное влияние пренебрежимо мало; дисперсионный R-квадрат примерно равен нулю.

Видео 6. Поскольку моя модель является гомоскедастичной, я уверен, что точность прогноза не меняется от одного значения регрессора к другому. Если Ваша модель гетероскедастична, нужно взять иной тип регрессии: робастную регрессию. Я рассмотрю этот тип в другой серии видео. Стабильность модели означает, что она даёт стабильные результаты, применимые к другому набору данных. Для изучения стабильности я делю свою выборку на две подвыборки случайным образом; для этого создаю новую случайную переменную, распределенную по распределению Бернулли.

Видео 7. Я перезапускаю процедуру регрессии, маркируя, какая подвыборка выступает в роли обучающей, а какая - экспериментальной. Значения R, рассчитанные для обучающей подвыборки и для экспериментальной, примерно равны. Их разница меньше 10%. Следовательно, моя модель позволяет делать точный прогноз как на обучающей подвыборке, так и на экспериментальной. Если ваша модель нестабильна (переобучена), её нельзя обобщать для применения к другим наборам данных. Итак, поскольку моя модель лишь немного смещена, гомоскедастична и стабильно, я могу ее интерпретировать.

Видео 8. Удобно начинать интерпретацию с константы. Но зачастую константа никого не характеризует. Это происходит, когда хотя бы один из регрессоров не может равняться нулю. У меня есть такие регрессоры. Следовательно, я должен сместить их в ноль путем перекодирования. После перекодировки я заменяю указанные регрессоры в процедуре регрессии. Эта процедура дает мне окончательные результаты. Мой R-квадрат равен 0,274, а константа равна 1,33. Константа характеризует тех европейцев, которые имеют нули по всем регрессорам.

Видео 9. Следовательно, они - люди из низов общества, очень заинтересованные в политике, голосовали на последних национальных выборах; они не чувствуют важности жить в демократически управляемой стране, не удовлетворены национальным правительством и отказываются отвечать на вопрос о своей социальной активности. Их образование не может быть точно определено (потому что представлено рядом несмежных градаций). Европейцы, которые демонстрируют среднюю социальную активность или имеют уровень образования "General ISCED 4A/4B, access ISCED 5B/lower tier 5A", имеют более высокий уровень доверия. Напротив, европейцы, которые не интересуются политикой или не голосуют, или имеют уровень образования "General ISCED 3A, access upper tier ISCED 5A/all 5", имеют более низкий уровень доверия.

Видео 10. Я могу нарировать портрет тех европейцев, которые, согласно моей модели, имеют высокий уровень доверия к избирательной системе. Они - люди мз высшего общества, очень заинтересованные в политике, голосовали на последних национальных выборах, разделюящие сильную веру в важность демократического управления в стране, абсолютно удовлетворённые национальным правительством, демонстрируют среднюю социальную активность и имеют уровень образования "General ISCED 4A/4B, access ISCED 5B/lower tier 5A". Напротив, европейцы, которые имеют самый низкий уровень доверия, являются людьми из низов общества, не интересуются политикой вообще, не голосовали на последних национальных выборах, не чувствуют никакой важности жить в демократически управляемой стране, абсолютно недовольны национальным правительством, отказалось отвечать на вопрос о своей социальной активности, имеют уровень образования "General ISCED 3A, access upper tier ISCED 5A/all 5". Каковы ограничения моей модели? Во-первых, переменная про образование слишком детализованна. Во-вторых, я не использовал эффекты взаимодействия, хотя модели с такими эффектами обычно более точны. Я рассмотрю этот тип регрессии в другой серии видео.