Машина, платформа, толпа. Наше цифровое будущее. Эрик Бриньолфсон
и на 130 процентов больше испаноязычных.
• Профессора права Тед Ругер и Полин Ким совместно с политологами Эндрю Мартином и Кевином Куинном провели тест, чтобы проверить, может ли простая модель с шестью переменными предсказать решения Верховного суда США на 2002 год лучше, чем группа из восьмидесяти трех известных экспертов[112]. Из привлеченных к эксперименту юристов 38 человек работали помощниками судей Верховного суда, 33 были профессорами права, а шестеро в настоящее время или в прошлом возглавляли юридические факультеты. В среднем представителям этой группы удалось предсказать чуть меньше 60 процентов судебных постановлений. Алгоритм же дал 75 процентов правильных результатов.
Является ли этот список репрезентативным и честным, или мы намеренно, а может, даже неосознанно выбрали случаи, когда человеческое суждение проигрывало алгоритму, оставив без внимания примеры превосходства человека? Впечатляющий объем исследований показывает, что статистика все же на нашей стороне.
Группа под руководством психолога Уильяма Гроува просмотрела литературу за пятьдесят лет в поисках опубликованных рецензируемых примеров прямых сравнений между клиническими и статистическими прогнозами (то есть сравнений оценок квалифицированных экспертов и прогнозов на основе компьютерного анализа данных) в сфере психологии и медицины[113]. Они нашли 136 таких исследований, которые охватывали всё – от тестирования IQ до диагностики сердечных заболеваний. В 48 процентах этих работ значимой разницы обнаружено не было – иными словами, эксперты в среднем угадывали правильный результат не лучше компьютера.
Гораздо более сильный удар по идее превосходства человека в оценочном суждении нанес тот факт, что в 46 процентах рассмотренных исследований эксперты действовали значительно хуже, чем алгоритм. Это означает, что люди продемонстрировали явное превосходство только в 6 процентах случаев. Авторы пришли к заключению, что почти во всех исследованиях, где люди оказывались лучше, «у специалистов было больше данных, чем у программы»[114]. Как заметил легендарный психолог Пол Мил, который еще в начале 1950-х годов описывал посредственные результаты суждений людей-экспертов:
В социальных науках не ведутся споры о том, что именно показывает настолько масштабный корпус появившихся недавно качественно разнообразных исследований, ведущихся в едином направлении, одним из которых является это [сравнение статистического и клинического прогнозов]. Когда у вас больше ста работ, прогнозирующих всё – от результатов футбольных матчей до диагностики заболеваний печени, – и при этом вы с трудом можете наскрести полдюжины исследований, где есть хотя бы слабый уклон в пользу клинического прогноза, самое время сделать некий практический вывод[115].
Мы считаем, что этот практический вывод таков: нам нужно меньше полагаться на суждения и прогнозы экспертов.
Все
Theodore W. Ruger et al., “The Supreme Court Forecasting Project: Legal and Political Science Approaches to Predicting Supreme Court Decisionmaking,”
William M. Grove et al., “Clinical versus Mechanical Prediction: A Meta-analysis,”
William M. Grove et al., “Clinical versus Mechanical Prediction: A Meta-analysis,”
Paul E. Meehl, “Causes and Effects of My Disturbing Little Book,”