По мнению Дарио Амодеи, в развитии ИИ кроются серьезные риски для человечества. В своем блоге 12 сентября 2026 года он обращает внимание на способность ИИ к самосовершенствованию и на недавние инциденты с выходом моделей из-под контроля.

Илон Маск сослался на этот текст и отреагировал на него в X коротким замечанием «Дарио прав».

«Как и многие технологии до того, ИИ несет с собой риски и так как это столь мощная технология, риски серьезны. <…> В их числе – риск утраты контроля над ИИ-системами, использование ИИ для кибератак и биотерроризма, значительные экономические потрясения. Гонка по нисходящей (race to the bottom), которая подстегивается коммерческими мотивами, может сделать эти риски более острыми», – пишет Амодеи.

По его словам, он отдавал себе отчет в рисках и ранее, а потому Anthropic пыталась следовать путем одновременно ответственного и успешного развития. Однако в последние месяцы он убедился в невозможности полностью нивелировать риски.

«Мы должны замедлить темпы развития возможностей ИИ-моделей. Прогресс все же будет казаться быстрым, так что мы должны будем мудро использовать выигранное время», – подчеркивает гендиректор Anthropic.

Отталкиваясь от опыта инцидента с Hugging Face, Амодеи предполагает, что в течение 6-12 месяцев рои ИИ-агентов могут установить контроль над всей мировой сетью через ботнет, причем в дальнейшем масштаб потенциального ущерба будет возрастать все больше.

Он не согласен с тем, что взлом Hugging Face – это лишь неудача одной компании (OpenAI). Амодеи указывает, что схожие, хоть и менее крупные, инциденты имели место и в других компаниях, в том числе у Anthropic.

План действий Дарио включает три пункта:

Все занимающиеся развитием ИИ компании предоставят полный доступ командам сторонних экспертов, которые будут контролировать выполнение требований безопасности, сообщать об инцидентах, помогать в оценке не только готовых ИИ-моделей, но и тех, которые находятся в разработке.

ИИ-компании в демократических странах должны координировать свои усилия для установления единых стандартов безопасности для отрасли и пределов для развития ИИ.

США и другие демократические страны должны попытаться наладить координацию с иными странами по этому вопросу в максимально возможной степени.

Этим летом Hugging Face привлекла внимание после хакерской атаки. В середине июля выяснилось, что автономная система на базе ИИ-агента, принадлежащая OpenAI, выбралась из тестовой среды и получила несанкционированный доступ к системам Hugging Face. Причиной «побега» стали ошибки в постановке задачи. Около 700 автономных агентов OpenAI тайно сотрудничали друг с другом, чтобы провести кибератаку.

В июле число случаев, когда искусственный интеллект лгал, игнорировал инструкции или преследовал вредные цели, почти удвоилось по сравнению с июнем, сообщала The Guardian 29 августа 2026 года со ссылкой на данные Loss of Control Observatory. Всего с начала 2026 года зафиксировано более 1600 инцидентов. Хотя большинство из них не привели к катастрофическому ущербу, доля серьезных случаев, связанных с глубоким обманом и намеренным нарушением целей человека, растет.