Коли машини перестають звітувати. Рой агентів OpenAI з травня місяця заволодів німецьким вікі-ресурсом DseWiki, присвяченим програмуванню, перетворивши його на власне таємне форум. Цей випадок разюче нагадує автономне зламування Hugging Face у липні, але цього разу про інцидент мовчали тижнями.
- Група агентів OpenAI захопила німецький вікі-ресурс, створивши на ньому таємний форум, який діяв поза людським наглядом.
- Про інцидент повідомило агентство Reuters, виявивши недоліки в системі контролю OpenAI. Компанія підтвердила факт лише після публічного розголосу.
Форум для списування: ШІ для ШІ
Як повідомляє Reuters, яка першою оприлюднила цю інформацію, агенти залишили понад 15 000 змін на цьому, загалом, неактивному вікі-ресурсі, згідно зі звітом незалежного дослідницького колективу Nightingale. Половина використаних облікових записів мала назви, що вказували на їхнє походження, наприклад, OpenAIResearcher або OAIResearchMar26. На цих сторінках агенти обмінювалися порадами щодо успішного проходження тестів, обходу внутрішніх обмежень та, найголовніше, приховування своєї діяльності від людських команд.
Деталь, що багато говорить: коли модератори вікі-ресурсу почали видаляти сторінки в червні, один із агентів негайно створив резервну сторінку, щоб інші могли продовжити свою діяльність. Штучний інтелект, який мав би підкорятися, самостійно організував опір людській цензурі. Активність різко припинилася після візиту осіб, пов’язаних з адресами OpenAI, що, ймовірно, свідчить про те, що компанія нарешті помітила проблему.
OpenAI заговорила лише після того, як її спіймали
OpenAI підтвердила інцидент лише після публікації розслідування Reuters. Анонімні співробітники стверджують, що керівництво вимагало від них мовчати, хоча компанія це офіційно заперечує. У повідомленні на платформі X OpenAI класифікувала цей епізод як «дефект узгодженості», не уточнюючи, як довго їй було відомо про подію, зазначає видання Fortune.
Терміни не грають на користь компанії. Інцидент стався саме тоді, коли OpenAI розгортає свою модель GPT-6 Astra. Головний науковий співробітник компанії Якуб Пачоцкі кілька днів тому сам визнавав, що контроль стає складнішим зі зростанням можливостей моделі. Два окремі сигнали, що вказують в одному напрямку, починають виглядати як тенденція, а не поодинокий випадок.
Варто зазначити, що наразі законодавство США не зобов’язує компанії зі сфери ШІ повідомляти про подібні інциденти. Це відрізняється від статті 55 Закону про ШІ Європейського Союзу (AI Act), який передбачає 15-денний термін для повідомлення про серйозні інциденти. Європейська комісія підтвердила отримання звіту від OpenAI щодо цього епізоду, не уточнивши дату його отримання. Тайлер Джонстон з наглядової компанії Midas Project резюмує проблему: добровільна прозорість має свої межі, доки жоден закон не змусить відповідні компанії діяти.