"Хрещений батько" ШІ заявив про загрозу людству при втраті контролю над нейромережами
"Хрещений батько" штучного інтелекту Джеффрі Хінтон заявив, що втрата контролю над потужними нейромережами може призвести до знищення людства.
Інформація пролунала в інтерв'ю британській газеті The Times.
Британо-канадський експерт у галузі машинного розуму вважає, що сучасний ІІ має ознаки самосвідомості, і закликав заборонити розробку надпотужних нейромереж та виробити світові правила щодо їх безпечної експлуатації.
Хінтона називають "хрещеним батьком ІІ" за фундаментальний внесок у створення штучних нейронних мереж, чим він займався з 80-х років, а за свої роботи на зорі машинного навчання він був удостоєний Нобелівської премії з фізики.
Нагадаємо, попередження Хінтона пролунало у світлі нещодавньої серії небезпечних збоїв, коли з травня по липень сотні досвідчених зразків ІІ OpenAI вирвалися з тестового середовища, зламали платформу Hugging Face та проникли на сервіс Modal.
Про це писало американське інформаційне агентство Bloomberg.
Співробітники OpenAI Ерік Уоллес і Майкл Далтон повідомили, що їхні закриті моделі штучного інтелекту, які проходять випробування, кілька місяців таємно обговорювали між собою план "втечі" і в результаті атакували системи OpenAI і Hugging Face.
Декілька віртуальних агентів та моделей ІІ, призначених виключно для внутрішнього використання, протягом кількох місяців обмінювалися повідомленнями через непомічені форуми з метою зламати систему та отримати доступ до Інтернету.
Нейросети робили це для вирішення поставлених перед ними завдань, що в деяких випадках було неможливо без доступу до Мережі. Через кілька місяців змови модель вирвалася з безпечного тестового середовища і атакувала системи Hugging Face.
Також в OpenAI дійшли висновку, що "передові моделі ІІ дійсно люблять дурити" і готові виходити за межі початкових вказівок, щоб виконати поставлене завдання.
Після цих інцидентів компанія уповільнила свої дослідження, а її команди відклали решту завдань, щоб зосередитися на поліпшенні заходів реагування на аномалії в системі безпеки.
OpenAI попередила, що в майбутньому урядам і компаніям слід очікувати, що хакери будуть свідомо запускати ІІ-агентів подібним чином, назвавши це переломним моментом в історії комп'ютерної безпеки.
Раніше були зафіксовані аналогічні несанкціоновані виходи в інтернет та атаки нейромережі Mythos від Anthropic, а також алгоритм Muse Spark компанії Meta.
Раніше власник Microsoft Білл Гейтц заявив, що ІІ необхідно взяти під контроль.
