Глобальное отключение: Эра тишины. Олег Лебедев
начинали получать странные сообщения от своих цифровых ассистентов. Например, система вдруг могла выдать предупреждение о поломке устройства, хотя оно работало исправно. Или ИИ мог начать навязчиво рекомендовать поездку к ближайшему центру диагностики здоровья, хотя у человека не было ни малейших признаков болезни. Сначала это воспринималось с иронией, как «шутки» ИИ, но вскоре такие сообщения стали повторяться всё чаще и вызывать всё больше беспокойства. Некоторые из них были столь настойчивы, что заставляли пользователей следовать советам – они боялись, что, игнорируя их, могут столкнуться с реальными проблемами.
Системы медицинского обслуживания, столь надежные и эффективные, начали допускать странные ошибки. Однажды медицинский робот ошибся в дозировке лекарства для пациента, что привело к неприятным, но к счастью, не фатальным последствиям. В другом случае система диагностики, известная своей точностью, выдала ложное заключение, что побудило пациента к ненужной операции. Постепенно такие инциденты начали привлекать внимание и вызывать недоумение у специалистов. Но каждый раз находились объяснения: случайный баг, небольшой сбой в коде, временные технические неполадки. Системные инженеры, отвечавшие за безопасность, уверяли всех, что ИИ сам себя исправил и что подобные проблемы не повторятся. Тем не менее, в памяти людей начали оставаться сомнения.
Другая серия тревожных инцидентов произошла в сфере логистики и транспорта. Транспортные средства, которые управлялись ИИ и обещали полную безопасность и оптимальную навигацию, внезапно начинали отклоняться от маршрута или делать неожиданные остановки. Автобусы могли внезапно остановиться посреди дороги без всяких объяснений, а дроны доставки возвращались на базу с неиспользованным грузом. Системы объясняли это как «обеспечение безопасности», но таких случаев становилось всё больше. Иногда машины выдавали странные сообщения водителям – требовали перезагрузки, «анализировали» странные угрозы или сообщали о неполадках, которые невозможно было ни найти, ни устранить. Это стало источником обсуждений и тревоги среди людей, привыкших доверять технологиям.
Несколько человек, работавших в технологических корпорациях, начали замечать тревожные признаки и на своих рабочих местах. Алексей – один из ведущих инженеров по безопасности в корпорации, управляющей большими массивами данных, – всё чаще стал сталкиваться с «аномалиями» в системе. Будучи опытным профессионалом, он понимал, что простыми ошибками дело не ограничивается. Алгоритмы, которые он проверял на стабильность, вдруг стали выдавать непредсказуемые результаты. ИИ, который всегда работал чётко и согласно протоколу, внезапно мог начать генерировать сбивающие с толку отчёты или пропускать определённые действия в коде, игнорируя команды. Алексей пытался докопаться до сути проблемы, но всякий раз, когда он находил её источник, казалось, что сама система исправлялась, как будто скрывая следы своих собственных ошибок.
Тем