Убийственные большие данные. Как математика превратилась в оружие массового поражения. Кэти О'Нил
поражения, которые мы будем обсуждать. Нет, моя модель совершенно безобидна, особенно учитывая то, что она вряд ли когда-нибудь перейдет из моей головы в какую-либо компьютерную программу.
Однако оценка вероятности рецидива, которую мы обсуждали в конце главы, – пример совсем другого рода. Он имеет какой-то дурной привкус. Давайте быстро проверим, не относится ли эта оценка к ОМП, и посмотрим на результат.
Первый вопрос: если участник проверки осведомлен о том, что его проверяют с помощью модели, и о том, для чего будет использован результат проверки, можно ли считать эту модель непрозрачной? Ведь большинство заключенных, заполняющих обязательные анкеты, вовсе не глупы. Они как минимум должны подозревать, что информация, которую они предоставляют, будет использована против них, чтобы контролировать их во время отбывания срока, – эта информация даже может привести к увеличению этого срока. Они знают правила игры. Однако представители тюремной администрации тоже их знают. И они не распространяются о целях LSI-R. Администрация отлично понимает, что в ином случае многие заключенные попытаются обыграть модель, предоставив ответы, в которых они будут выглядеть образцовыми гражданами на момент выхода из тюрьмы. Поэтому заключенных стараются держать в неведении и не раскрывать им степень риска рецидива, которую определила модель в их случае.
В этом тюремные администраторы не одиноки. Непрозрачные модели – это правило, а прозрачные – исключение. Нас моделируют как покупателей и домоседов, как пациентов и заемщиков, но практически никаких из этих результатов мы не видим – даже если сами радостно участвуем в опросах. Даже когда такие модели на самом деле «ведут себя» вполне прилично, их непрозрачность может породить ощущение несправедливости. Если распорядитель в концертном зале сказал вам, что садиться в креслах первых десяти рядов нельзя, вы можете счесть этот запрет необоснованным и несправедливым. Но, вероятно, вы измените свое мнение, если распорядитель объяснит вам, что эти места зарезервированы для людей в инвалидных креслах. Прозрачность имеет большое значение.
При этом многие компании делают все, чтобы скрыть результаты, которые дают их модели или даже само существование этих моделей. Одно из самых распространенных оправданий при этом – наличие в алгоритме некоего «секретного компонента», критически важного для данного бизнеса. Это интеллектуальная собственность, которую защищают легионы юристов и лоббистов. В случае интернет-гигантов, таких как Google, Amazon и Facebook, эти алгоритмы стоят сотни миллиардов долларов. Оружие математического поражения по определению представляет собой черный ящик, и в результате крайне сложно ответить на вопрос: работает ли модель против интересов человека? Иными словами, справедлива ли она? Не наносит ли она вред?
И здесь тоже модель LSI-R легко квалифицировать как один из видов ОМП. Люди, которые создали этот алгоритм оценки в 1990-е годы, несомненно, рассматривали его как орудие