У искусственного интеллекта выявлена катастрофическая опасность

Учёные из австралийского Университета Саншайн-Коста провели мысленный эксперимент с использованием гипотетической системы SantaNet, которая автоматически рассылает в новогоднюю ночь подарки всем хорошим детям в мире. Как пишет издание Science Alert, в итоге выяснилось, что даже без изначального злого умысла высокоразвитый искусственный интеллект (ИИ) может стать причиной катастрофического ущерба. Самым страшным последствием может стать уничтожение человечества.

Оказалось, что опасность возникает уже на этапе, когда ИИ определяет, какие дети хорошие, а какие — непослушные. Для этого необходима скрытая масштабная сеть видеонаблюдения, способная отслеживать в течение всего года поведение детей. При этом SantaNet всё же будет давать оценку на основе собственных моральных суждений, а это может привести к неравенству и даже нарушению прав человека. Более того, ИИ может побуждать детей плохо вести себя или повышать планку «хорошего поведения», чтобы уменьшить нагрузку.

При этом SantaNet в теории способен превратить Землю в гигантскую фабрику, производящую игрушки. Причина в том, что детей младше 14 лет в мире насчитывается примерно 2 млрд. Исследователь Ник Бостром назвал эту ситуацию «проблемой скрепок». Если ИИ поручили увеличить эффективность производства скрепок, он может излишне буквально воспринять такую задачу.

Вопросы возникают и по способу доставки подарков. Если использовать для этого дроны, то им могут запретить летать в другие страны. В конечном итоге это может привести к открытой конфронтации, взлому террористическими группировками. Чтобы избежать этих неприятностей, различные ИИ могут объединиться, чтобы сократить население Земли.