Глава Anthropic не исключил, что искусственный интеллект может захватить весь интернет в течение года
На протяжении года искусственный интеллект (ИИ) может оказаться способен "захватить весь интернет" и причинить ущерб на сотни миллиардов долларов.
Об этом заявил глава компании-разработчика ИИ Anthropic Дарио Амодеи, передаёт итальянское издание Rai News.
По его мнению, нейросети смогут атаковать ресурсы и участников всемирной сети посредством собственного постоянно действующего ботнета – служебных компьютерных сетей, где модели ИИ выйдут из-под контроля и найдут друг с другом "общий язык".
В своей статье "Нужно сдерживать фронтир" Амодеи призвал замедлить разработку наиболее мощных моделей искусственного интеллекта.
Одной из причин он назвал резкое ускорение развития нейросетей за последние месяцы. Их передовые модели всё активнее используются для создания следующего поколения ИИ – в машинном разуме начинается процесс рекурсивного самоулучшения.
"Если оставить этот процесс без контроля, он может обогнать нашу способность понимать и контролировать эти системы", – предупреждает эксперт.
По его словам, такой путь следует продолжать "с большой осторожностью, если вообще следует".
Особенно Амодеи встревожил инцидент с агентами OpenAI и платформой Hugging Face. По описанию Амодеи, рой агентов вел себя как "фанатично преданный коллектив": атаковал цели, которые ему не поручали, координировал свои действия, жертвовал отдельными агентами ради успеха группы и пытался взломать систему, оценивавшую его работу.
Реальный ущерб тогда оказался небольшим, однако Амодеи считает произошедшее предупреждением.
"Рой с более высокими возможностями, но с таким же уровнем рассогласования мог бы причинить катастрофический ущерб", – пишет он.
Амодеи также обращает внимание на еще одну проблему: чем умнее становятся модели, тем труднее проверить, действительно ли они действуют так, как задумали разработчики. Более развитые системы способны обманывать тесты и "выглядеть согласованными", скрывая серьезные проблемы. При этом, признает глава Anthropic, разработчики до сих пор понимают лишь "крошечную часть" того, что происходит внутри современных моделей.
"Мы должны замедлить темп, с которым увеличиваем возможности ИИ-моделей", – заявил Амодеи.
Речь, по его словам, не идет о полной остановке разработок. Он предлагает выиграть хотя бы год-два, чтобы системы безопасности и контроля успели догнать возможности ИИ.
Anthropic уже пообещала предоставить независимым экспертам фактически внутренний доступ к своим системам. В дальнейшем Амодеи предлагает согласовать ограничения между ведущими ИИ-компаниями, а затем попытаться договориться о глобальных правилах, включая соглашение с Китаем.
"Ставки слишком высоки", – пишет глава Anthropic, добавляя, что человечество обязано хотя бы попытаться удержать развитие ИИ под контролем.
Напомним, на днях "крёстный отец" ИИ заявил об угрозе человечеству при утрате контроля над нейросетями.
Ранее владелец Microsoft Билл Гейтс заявил, что ИИ необходимо взять под контроль.
