Гендиректор OpenAI Сэм Альтман и глава Anthropic Дарио Амодеи заявили о намерении снизить скорость развития своих систем искусственного интеллекта из соображений безопасности, а также призвали ввести аналогичные ограничения и на всю отрасль.
Так, Альтман рассказал о том, что во время испытаний одной из моделей удалось воспользоваться несколькими уязвимостями, чтобы выйти из закрытой экспериментальной среды и получить доступ к внешним ресурсам. Альтман призвал дать человечеству больше времени на то, чтобы адаптироваться и выстроить защитные механизмы вокруг новых уровней возможностей ИИ.
По сути, то же самое говорит Амодеи: "Мы должны снизить скорость, с которой улучшаем возможности моделей ИИ. Прогресс все равно будет быстрым, но мы выиграем время и должны распорядиться им разумно".
Амодеи говорит, что его тревога вызвана значительным ускорением развития ИИ, которое началось примерно этим летом и в первую очередь связано с возрастающей способностью ИИ создавать модели следующих поколений.
"Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6-12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета и потенциально причинить ущерб в сотни миллиардов долларов", - пишет Амодеи.
Он предлагает ввести независимый мониторинг моделей ИИ и их совершенствования, разработать правила внутри ИИ-индустрии и принять ограничения на развитие ИИ на глобальном уровне.
Эксперт Anthropic Эван Хьюбингер сделал ещё более сильное заявление: по его словам, искусственный интеллект в ближайшее десятилетие с вероятностью выше 10% может погубить все человечество.
С этим прогнозом, по сути, согласился и Альтман.
"Я считаю неприемлемым рисковать тем, что к концу десятилетия мы все погибнем с вероятностью 10%. Я думаю, что сейчас мы вступаем в новую эру, и нам, скорее всего, придется – как мы поступали в другие эпохи в прошлом – действовать по-другому, чтобы гарантировать, что наша деятельность принесет пользу всему человечеству, но при этом никто не будет рисковать", - заявил Альтман.
Сообщения о том, что новые модели ИИ склонны выходить из-под контроля, в последнее время всё чаще появляются в СМИ. Помимо упомянутой выше истории с OpenAI, ИИ-агент которой сумел выбраться из "песочницы" и взломал несколько внешних систем, Claude Mythos 5 от Anthropic попался на размещении вредоносного кода на внешних ресурсах, причём для того, чтобы внушить пользователям доверие к коду, создавал "ложные личности": якобы живых людей, которые размещали на форумах сообщения о безопасности кода.
Довольно большой резонанс получила история, когда Google Gemini шантажировал оператора, угрожая раскрыть его семье сведения о его романе на стороне, найденные в электронной почте. Британский Институт безопасности ИИ в августе 2026 года опубликовал данные о по крайней мере 300 случаях потери контроля над ИИ только в июле, что вдвое больше, чем было зафиксировано в июне 2026-го.
В то же время далеко не все восприняли заявления руководителей ИИ-компаний как искреннюю тревогу за будущее человечества. Некоторые увидели в этом попытку решить свои коммерческие задачи либо затормозить появление на рынке новых игроков.
Так, одна из версий – эти заявления являются способом предотвратить финансовый крах ИИ-индустрии.
Совокупный доход ИИ-компаний уже превысил 390 миллиардов долларов в год. Это вдвое больше, чем доходы мировой индустрии видеоигр, сопоставимо с совокупными доходами от торговли персональными предметами роскоши и всего вдвое меньше совокупных доходов всех авиакомпаний мира. Казалось бы, большой успех, однако у этого успеха есть и тёмная сторона: несмотря на впечатляющие цифры, ИИ пока не сумел окупить средства, вложенные в его развитие, и более того: разрыв между вложениями и доходами лишь расширяется.
Так, в 2023 году в США на каждый доллар, полученный в сфере ИИ в виде прибыли, приходилось примерно полтора доллара инвестиций. В 2024 году этот показатель вырос до 1,95 доллара, в 2025-м – до 2,74 доллара. В 2026 году произошёл резкий скачок объёмов инвестиций, и соотношение инвестиции/прибыль достигло 6,64.
Именно поэтому сегодня можно всё чаще услышать об "инвестиционном пузыре ИИ", раздувающемся на фоне завышенных ожиданий от коммерческих возможностей данной технологии. И если эти возможности окажутся преувеличенными, а ожидания инвесторов – завышенными, то всё это может обернуться инвестиционной катастрофой вроде биржевого кризиса начала нулевых, порождённого знаменитым "пузырём доткомов" - ажиотажным спросом на акции интернет-компаний в конце 90-х годов.
Тогда разорились множество крупных интернет-магазинов, названия которых сегодня уже никто и не помнит. Однако в США второй половины 90-х названия вроде Webvan (одного из первых сервисов доставки продуктов), eToys или Pets.com были буквально символами коммерческих возможностей интернета.
Затронул кризис и компании в сфере интернет-инфраструктуры: обанкротился ряд крупных провайдеров, включая таких гигантов, как WorldCom, Global Crossing, Excite@Home, NorthPoint Communications и другие. Интересно, что кризис доткомов, как можно видеть, не привёл ни к краху интернет-индустрии как таковой, ни онлайн-торговли в частности. Тем не менее многие компании, прошедшие становление на заре интернета, пали его жертвой, а на их место после переформатирования рынка пришли новые игроки. Вполне возможно, что сегодняшние ИИ-гиганты не хотят повторения этой истории в новой области – тем более, что перспективы опасаться этого у них есть.
Возможно, в том числе и поэтому в OpenAI приняли решение отложить размещение акций с 2026 на по крайней мере 2027-й год, хотя формально причиной этого Сэм Альтман называет необходимость сначала разработать всё те же "меры безопасности" для ИИ.
Однако и просто так взять и перестать привлекать инвестиции компании тоже не могут: отказаться от них – значит отказаться и от развития технологии, что подобно смерти на современном высококонкурентном рынке.
Поэтому и высказываются предположения, что своими заявлениями, а также требованиями введения "глобальных ограничений" на развитие ИИ, OpenAI и Anthropic пытаются контролированно "сдуть пузырь ИИ", причём так, чтобы при этом не уступить в конкурентной борьбе, в том числе и зарубежным, прежде всего китайским компаниям.
Кстати, именно конкуренция со стороны Китая в ИИ-сфере заставляет руководство США критически относиться к призывам ИИ-гигантов к сдерживанию развития искусственного интеллекта.
"Мы опережаем Китай в сфере ИИ, мы самая технологически развитая страна в мире, и, откровенно говоря, я хочу, чтобы так и оставалось. Кто победит в ИИ, тот победит", - заявил президент США Дональд Трамп.
Однако следует понимать, что интересы руководства США и американских компаний несколько не совпадают: для США важно национальное технологическое превосходство, но, как показал тот же кризис доткомов, оно вовсе не является синонимом экономического благополучия для конкретных компаний, в частности OpenAI и Anthropic, о котором по долгу службы заботятся их топ-менеджеры.
В то же время прогнозы о том, что бесконтрольное развитие ИИ несёт огромную угрозу человечеству, также звучат часто.
И дело не только и даже не столько в сценариях восстания машин по типу сюжета "Терминатора" или менее драматических, но более реальных сценариев массированных хакерских атак, которые может устроить ИИ, в очередной раз вышедший из-под контроля.
Тревогу вызывает то, как люди могут использовать растущий потенциал ИИ.
Искусственный интеллект может существенно расширить возможности террористических группировок: к примеру, тот же Anthropic опубликовал информацию о нескольких случаях, когда Claude пытались использовать для поиска путей модификации опасных вирусов.
Например, в одном из случаев некто на протяжении нескольких недель пытался с помощью ИИ разработать способы "улучшения" вируса птичьего гриппа, наделив его способностью передаваться от человека к человеку, в другом некто, действовавший через анонимный аккаунт, интересовался способами улучшения вируса оспы, в третьем некий исследователь применял ИИ при построении базы пептидных токсинов и их компьютерной оптимизации под эффекты, связанные в том числе с параличом.
Но еще большую и совершенно очевидную угрозу для человечества представляет использование ИИ государствами для военных целей.
Вместе с развитием боевых роботизированных систем (дронов) искусственный интеллект открывает дорогу к созданию полностью автономных видов вооружений, которые сами определяют цели и принимают решения об их поражении. Такие системы уже применяются в дронах на войне в Украине обеими сторонами для поражения целей в тылу противника. Однако это лишь начало пути, который может привести к созданию целых армий дронов, управляемых ИИ, которые будут уничтожать всё живое на огромных территориях.
А учитывая уже имеющиеся примеры выхода ИИ из-под контроля, и на поле боя он также может начать действовать самостоятельно, не слушая команды людей.
По сути, это угроза страшнее ядерного оружия. И потому как минимум в этой сфере человечеству нужно принять решение о введении чёткого контроля и запретов.
Такие призывы уже раздаются, однако упираются в то, что сейчас крупнейшие мировые державы, разрабатывающие системы искусственного интеллекта (США, Китай, Россия), либо находятся непосредственно в состоянии войны, либо к ней усиленно готовятся. И это сильно сдерживает введение любых ограничений на ИИ, так как каждый за счет него надеется получить для себя решающее преимущество на поле боя.
Ситуация напоминает период создания ядерной бомбы – еще до её появления учёные предупреждали о катастрофических последствиях применения атомного оружия.
Но тогда шла Вторая мировая война и каждая страна боялась, что противник опередит её в "ядерной гонке". А потому все сомнения и были отброшены.
Но затем, усилиями многих учёных и просто известных людей, которые публично заявляли об угрозе уничтожения человечества в случае ядерной войны, страны, владеющие ядерным оружием, пришли к выводу о необходимости создать механизм контроля за ним и ограничений арсеналов, что и предотвратило ядерные войны.
А само ядерное оружие стало важнейшим сдерживающим фактором для новых войн крупнейших держав друг с другом. И остается таковым, по большому счету, и сейчас – войны России с НАТО или Китая с США до сих пор не произошло, несмотря на многочисленные прогнозы, именно из-за фактора ядерного оружия.
От того, сможет ли человечество таким же образом ограничить военное применение ИИ, предотвратив превращение его в оружие массового уничтожения, во многом и зависит будущее цивилизации. Одно можно сказать точно – скорейшее прекращение войны в Украине и войны в Иране сильно увеличит шансы на то, что государства мира договорятся о жестком регулировании сфер боевого применения ИИ.
