18.10.2021

Революция достоверности: что делать экономисту, чтобы ему поверили?

В этом году Нобелевскую премию по экономике поделили Дэвид Кард, Хидо Имбенс и Джошуа Энгрист. Кард внёс вклад в экономику труда, а Имбенс и Энрист — в анализ причинно-следственных связей. Благодаря лауреатам решение базовых общественных проблем — роль минимальной заработной платы, влияние мигрантов на зарплаты, отдача от образования — стали базироваться не на интуиции, а на данных. При этом новый взгляд на причинность позволил быть уверенными в полученных цифрах. 

Преподаватель кафедры прикладной институциональной экономики экономического факультета МГУ Георгий Калашнов и руководитель проектного направления «‎Данные для исследований» Центра перспективных управленческих решений (ЦПУР) Витовт Копыток объясняют, что такое «революция достоверности» и каким экономическим исследованиям можно верить.

 

Не «что», а «почему»

Для экономистов и эконометристов очень важно выявить причинность. Простая корреляция, то есть статистическая взаимосвязь величин, не всегда означает причинность. Например, статистика показывает, что чем больше людей вакцинируется, тем больше вакцинированных умирает, но это вовсе не значит, что вакцинация увеличивает количество смертей. Дэвид Кард, Хидо Имбенс и Джошуа Энгрист поставили выявление причинности во главу угла и начали революцию достоверности.

Чтобы безошибочно приписать корреляции причинность, надо разобраться, как появились те данные, с которыми работает статистик. Если есть третий фактор, который влияет на предполагаемые причину и следствие, мы не можем говорить о причинности. Например, если талант влияет и на способности к образованию, и на доходы, мы не можем точно сказать, что образованные люди больше зарабатывают благодаря именно знаниям и навыкам. 

Также для выявления причинности экономисты много использовали и продолжают использовать метод инструментальных переменных, предложенный Филиппом Райтом в начале XX века: нужно найти переменную, которая не зависит от третьих факторов, и использовать её, чтобы очистить причину от плохих источников вариации. Джошуа Энгрист использовал этот метод для исследования влияния службы в армии на доход во время Вьетнамской войны. В качестве той самой инструментальной переменной он использовал призывную лотерею (на службу попадали мужчины определенного числа рождения, которое было разыграно в телевизионном шоу). В итоге Энгрист выявил отрицательное влияние службы на доходы. 

 

Проверяй и доверяй

До революции достоверности любой статистический вывод опирался на очень ненадежные предположения о данных. Почти всегда надо было допустить, что взаимосвязь линейна и одинакова для всех, чтобы, например, трюк с инструментальными переменными работал. Хидо Имбенс, Джошуа Энгрист и другие эконометристы сузили свое внимание до тех случаев, когда есть возможность ввести простые и проверяемые предположения, которые легче обосновать, а также показали случаи систематических ошибок при излишнем доверии предположениям, на которые исследователи рассчитывали раньше. Именно в лёгкой проверяемости предположений кроется достоверность.

Например, если инструмент (рекламная компания вакцинации) устроен так, что он одних людей отпугивает, а других привлекает, и, если эти группы различаются своим поведением (например, одни не соблюдают социальную дистанцию, а другие соблюдают), мы можем по ошибке получить отрицательное влияние вакцины на заболеваемость, даже при том, что она положительно влияет и на тех, кто соблюдает дистанцию, и на тех, кто не соблюдает. Самое ужасное мы никак не можем проверить, допустили мы ошибку или нет.

Однако если исследование устроено так, что инструмент не может отпугивать вообще, например, если мы даем одним участникам таблетку плацебо, а другим настоящую, плацебо-участник никак не может употребить настоящую таблетку даже при всем желании, потому что у него этой таблетки нет. Это предположение гораздо проще проверить, чем предположение о том, что все участники эксперимента похожи по своему поведению, на которое неявно опирались в предыдущих исследованиях.

Пример с таблеткой, к слову, не случаен. Наука о причинности в XX веке развивалась именно в биостатистике, и во многом благодаря Хидо Имбенсу и его соавтору биостатистику Дональду Рубину наука пришла в экономику и получила здесь свое дальнейшее развитие.

 

Эксперименты без эксперимента

К сожалению, в экономике подобные эксперименты не всегда возможно провести по этическим или материальным причинам: мы не можем отправить кого-то в армию ради исследования. Выручает другой вклад вышеупомянутых Нобелевских лауреатов: популяризация использования естественных экспериментов, которые являются источником неожиданных вариаций. 

Простор для естественных экспериментов может, например, непреднамеренно создать само государство, когда вводит какие-то изменения. В таких ситуациях можно применить два важнейших и концептуально простых примера естественных экспериментов: разность разностей и разрывный дизайн.

Например, в 1992 году американский штат Нью-Джерси решил увеличить минимальную заработную плату. Дэвид Кард и его коллега Алан Крюгер использовали это событие, чтобы выяснить, как увеличение минимальной оплаты труда влияет на занятость. Теоретические модели и предыдущие исследования предполагали, что рост минимальной заработной платы увеличивает издержки бизнеса, а значит, приводит к сокращению занятости. Стратегия оценки в этих работах была основана на попытке учесть все возможные факторы, которые влияют на занятость, чтобы выделить чистый эффект роста минимальной платы. Однако сделать это трудно и не всегда возможно. 

Кард и Крюгер воспользовались тем фактом, что в Нью-Джерси и в другом американском штате (Пенсильвании) до повышения минимального уровня оплаты труда тренды уровней занятости совпадали. Это позволило сравнить изменения после реформы (разности разностей) и не заботиться при этом об абсолютных значениях. Важно, что это предположение проверяемо с помощью простого графика занятости в двух штатах. Для исследования эконометристы выбрали рестораны быстрого питания — в них зарплата у работников как раз была на уровне минимальной. В итоге Кард и Крюгер опровергли исходный вывод, показав, что в ресторанах быстрого питания занятость вследствие реформы не снизилась, а, возможно, даже увеличилась.

Правила, которые устанавливает государство, могут создавать явную границу, преодоление которой будет определять попадание в программу или под воздействие. Например, при поступлении студентов в университет используется отсечка по баллам на экзаменах (минимальный проходной балл), и мы можем сравнить людей, которые чуть-чуть не добрали баллов и чуть-чуть их перебрали. Таким образом, мы можем быть уверены, что эти люди во многом похоже и их поступление в университет почти случайно. Эта ситуация напоминает эксперимент с рандомизацией, который называется разрывным дизайном. С помощью этого метода можно, например, оценить, как обучение влияет на успешность на рынке труда после выпуска.

Есть и другой вариант разрывного дизайна — дизайн с изломом. Во многих странах величина пособия по безработице зависит от зарплаты на последнем месте работы и растёт с увеличением заработка, но только до определенного уровня. В точке, в которой достигается максимальный размер пособия по безработице, наблюдается излом в правиле, которое связывает зарплату и размер пособия. Никакие третьи факторы не должны менять своё поведение рядом с точкой излома просто из-за того, что государство приняло решение установить потолок пособия. Это тоже легко проверить на данных. Тогда вблизи такого излома можно достоверно оценить эффект от выплат. В своих работах Дэвид Кард использует такой излом, чтобы показать, что размер пособия, которое получают безработные в Австрии или американском штате Миссури, влияет на продолжительность получения пособия. Такие оценки помогают определять оптимальные параметры системы поддержки безработных.

Важная черта нового взгляда на причинность — опора на простые предположения, которые гарантированы окружением, с которым мы работаем. Такой взгляд изменил подход к проведению эмпирических исследований в экономике. Ранее за экспериментальный подход в экономике Нобелевскую премию получали Абхиджит Банерджи, Эстер Дюфло и Майкл Кремер в 2019 году. Лауреаты этого года, помимо того, что задали моду на естественные эксперименты, дисциплинировали теорию и способ мышления о причинности.