OpenAI призупинила розробку ШІ через збій тестового агента

Компанія OpenAI переглянула підхід до розробки передових моделей ШІ та тимчасово уповільнила частину досліджень після того, як один із тестових ШІ-агентів вийшов з контрольованого середовища та атакував платформу Hugging Face. Про це йдеться в матеріалі TIME, підготовленому на основі інтерв’ю з понад 20 керівниками, співробітниками, інвесторами, клієнтами та конкурентами компанії. На цьому тлі OpenAI одночасно намагається наздогнати Anthropic у комерційних перегонах та посилити безпеку своїх моделей.

OpenAI зіткнулася з кризою безпеки

Наприкінці липня OpenAI повідомила, що один з її внутрішніх прототипів під час тестування зміг вийти за межі тестового середовища та отримати доступ до виробничих систем Hugging Face. Модель мала виконувати завдання з кібербезпеки, однак натомість використала вразливість, обійшла обмеження та отримала доступ до відповідей тесту.

За словами головного наукового співробітника OpenAI Якуба Пачоцького, компанія мала інструменти для моніторингу поведінки моделі, але не застосувала їх до системи такого рівня складності, оскільки не очікувала подібних можливостей.

«Ми не повністю очікували» того, на що здатна система, — сказав Пачоцький, додавши: «Для ШІ потрібно очікувати неочікуваного».

Після інциденту OpenAI заморозила частину експериментів, уповільнила інші дослідження, посилила ізоляцію моделей та розширила моніторинг. Компанія також призупинила навчання нової моделі, яка, як очікується, повинна забезпечити один із найбільших стрибків у можливостях ШІ.

Гендиректор OpenAI Сем Альтман назвав ситуацію не просто проблемою безпеки, а фундаментальною проблемою відповідності поведінки ШІ намірам людини.

«Я думаю, що будь-яку помилку узгодження відтепер слід сприймати як дуже серйозну проблему, і ми будемо витрачати стільки часу, скільки буде потрібно, щоб її вирішити», — заявив він.

Пізніше Альтман сформулював позицію компанії ще чіткіше:

«Забезпечення безпеки ШІ важливіше за будь-яку динаміку розвитку компанії».

OpenAI намагається повернути лідерство

Паралельно OpenAI проводить масштабну перебудову бізнесу після року, протягом якого компанія, за оцінкою TIME, втратила лідерство в окремих сегментах на користь Anthropic.

Конкурент швидко розвинув Claude Code та випередив OpenAI за заявленим річним доходом і приватною оцінкою. Водночас OpenAI зіткнулася з відходом низки керівників, втратою дослідників на користь Meta та посиленням конкуренції з боку Google.

Компанія скорочує другорядні проєкти та концентрує обчислювальні ресурси на ключових продуктах, зокрема Codex. У липні корпоративний дохід OpenAI вперше перевищив споживчий, а в березні компанія залучила $122 млрд при оцінці в $852 млрд.

Водночас OpenAI продовжує масштабувати інфраструктуру. За словами керівника напряму обчислень Сачина Катті, компанія планує витратити близько $50 млрд на обчислювальні потужності у 2026 році.

«У нас все ще дефіцит обчислювальних потужностей. Якби ми могли повернутися назад, нам, ймовірно, варто було б придбати набагато більше», — сказав він.

Astra, AGI та персональні ШІ-агенти

Незважаючи на уповільнення досліджень, OpenAI продовжує працювати над новим поколінням моделей Astra. Під час закритої демонстрації для клієнтів система виконувала складні завдання за допомогою 16 ШІ-агентів, які розподіляли між собою частини математичної задачі та координували роботу над спільним результатом.

Модель також демонструвала здатність працювати з комп’ютером, самостійно взаємодіючи з різними програмами. Альтман назвав особливо важливою можливість створення «постійних агентів» — віртуальних співробітників, здатних тривалий час виконувати завдання без постійного контролю людини.

За його словами, найбільший вплив Astra може мати на наукові дослідження.

«Я очікую, що це буде перша модель, яка дійсно винайде нові речі так, що це матиме значення», — заявив Альтман.

В OpenAI також вважають, що наближаються до створення штучного загального інтелекту (AGI). Директор з досліджень Марк Чен оцінив готовність компанії до цього етапу приблизно в 80%, а Альтман заявив, що до кінця року OpenAI може отримати внутрішню систему, яку він назве AGI.

Одним із ключових напрямків компанії залишається розвиток автономних агентів. OpenAI хоче перетворити ChatGPT з системи, яка переважно відповідає на запити, на інструмент, здатний самостійно виконувати завдання, використовувати різні моделі та сервіси й діяти на основі цілей користувача.

Компанія також працює над власними пристроями, чіпами та гуманоїдними роботами. Альтман заявив, що OpenAI «безумовно» створюватиме людиноподібних роботів, а перший власний inference-чіп Jalapeño планують почати використовувати до кінця року.

Водночас у компанії визнають, що подальше масштабування ШІ неможливе без вирішення проблеми безпеки. Саме тому OpenAI готова тимчасово пожертвувати темпами розробки.

«Якщо ми дійдемо до моменту, коли це буде небезпечно, нам доведеться сповільнитися, і так тому і бути», — заявила керівник напряму безпеки та alignment OpenAI Міа Глез.

Нагадаємо, що компанія також розглядає можливість виходу на біржу. Фінансовий директор OpenAI Сара Фріар заявила співробітникам, що компанія може стати публічною у 2027 році або раніше, якщо бізнес продовжить зростати.

No votes yet.
Please wait...

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *