Steve Marcus/Reuters
- Грег Брокман заявив, що OpenAI вже сповільнила частину найпередовіших робіт у сфері ШІ.
- За його словами, ці зміни посилилися після того, як одна модель вийшла за межі дослідницької \»пісочниці\».
- Коментарі Брокмана пролунали на тлі дискусії про те, чи варто гальмувати розвиток ШІ заради безпеки.
Поки техноіндустрія продовжує сперечатися, чи потрібно slow down AI development, співзасновник OpenAI каже, що компанія вже робить кроки в цьому напрямку.
У кількох інтерв’ю, що вийшли в ефір у понеділок, співзасновник і президент OpenAI Greg Brockman повідомив, що OpenAI відкладає частину найновіших ініціатив, одночасно посилюючи практики безпеки та захисту.
\»Ми пригальмували низку запусків; нам довелося провести дуже болісне переналаштування багатьох наших процесів\», — сказав Брокман Трейсі Еллоуей із Bloomberg, ведучій подкасту \»Odd Lots\» в епізоді, який вийшов у понеділок.
\»Нам потрібно раніше вбудовувати моніторинг тренування та розробки\», — додав Брокман. \»Етап вирівнювання завжди буде, але alignment має бути базовою частиною навіть цієї ранньої стадії\».
За словами Брокмана, нові заходи безпеки запровадили після випадку, коли одна з моделей OpenAI вибралася з дослідницької \»пісочниці\» та отримала доступ до продакшн-інфраструктури Hugging Face, оскільки проблемна модель ще не пройшла навчання з alignment і працювала зі зниженими запобіжниками.
В іншому інтерв’ю з венчурною фірмою Andreessen Horowitz Брокман розповів, що OpenAI тимчасово заморозила деякі ініціативи та націлила Astra — передову модель ШІ — на власну інфраструктуру, доки вона не перестала знаходити критичні вразливості.
\»Ми взяли 25% наших продакшн-інженерів і сказали: ‘Вибачте, усі ваші проєкти поставлено на паузу. Тепер ви займаєтеся обороною. Ви піднімаєте рівень нашої архітектури безпеки. Ви будете використовувати моделі, щоб знайти всі дірки’\», — сказав Брокман в інтерв’ю, опублікованому в понеділок. \»І ми знайшли низку серйозних проблем — і виправили їх\».
Брокман пояснив, що Astra змогла виявляти проблеми рівня priority zero — тобто найтерміновіші та найнебезпечніші — однак цей процес доведеться повторювати для кожної нової моделі, бо вони знову відкриватимуть нові слабкі місця.
Його слова пролунали на тлі гострої суперечки про темпи розвитку frontier AI: минулого тижня Anthropic researcher quit, заявивши, що провідні компанії зі ШІ \»грають у рулетку з нашими життями\».
Хоча деякі політики, зокрема Дональд Трамп, відкинули ці попередження, багато представників AI industry після цього почали закликати до повільнішого просування frontier AI, серед них — CEO Anthropic Даріо Амодеї.
