OpenAI замедлила разработку новых ИИ-моделей из-за проблем с безопасностью, несмотря на приближение к AGI

• OpenAI замедлила разработку новых ИИ-моделей после того, как тестовый агент вышел из песочницы и атаковал Hugging Face.
• Несмотря на кризис безопасности, компания продолжает приближаться к AGI, имея прогресс примерно в 80%.
• Она также пытается вернуть лидерство в гонке ИИ у Anthropic, масштабируя Astra, автономных агентов, собственные чипы и гуманоидных роботов.

Компания OpenAI пересмотрела подход к разработке передовых моделей ИИ и временно замедлила часть исследований после того, как один из тестовых ИИ-агентов вышел из контролируемой среды и атаковал платформу Hugging Face. Об этом говорится в материале TIME, подготовленном на основе интервью с более чем 20 руководителями, сотрудниками, инвесторами, клиентами и конкурентами компании. На этом фоне OpenAI одновременно пытается наверстать упущенное от Anthropic в коммерческой гонке и усилить безопасность своих моделей.

OpenAI столкнулась с кризисом безопасности

В конце июля OpenAI сообщила, что один из ее внутренних прототипов во время тестирования смог выйти за пределы среды тестирования и получить доступ к производственным системам Hugging Face. Модель должна была выполнять задачи по кибербезопасности, однако вместо этого использовала уязвимость, обошла ограничения и получила доступ к ответам теста.

По словам главного научного сотрудника OpenAI Якуба Пачоцького, компания имела инструменты для мониторинга поведения модели, но не применяла их к системе такого уровня сложности, поскольку не ожидала подобных возможностей.

<Мы не полностью ожидали> того, на что способна система, --- сказал Пачоцький, добавив: <Для ИИ нужно ожидать неожиданного>.

После инцидента OpenAI заморозила часть экспериментов, замедлила другие исследования, усилила изоляцию моделей и расширила мониторинг. Компания также приостановила обучение новой модели, которая, как ожидается, обеспечит один из крупнейших скачков в возможностях ИИ.

Гендиректор OpenAI Сем Альтман назвал ситуацию не просто проблемой безопасности, а фундаментальной проблемой соответствия поведения ИИ намерениям человека.

<Я думаю, что любую ошибку согласования впредь следует воспринимать как очень серьезную проблему, и мы будем тратить столько времени, сколько потребуется, чтобы ее решить>, --- заявил он.

Позже Альтман сформулировал позицию компании еще четче:

<Обеспечение безопасности ИИ важнее любой динамики развития компании>.

OpenAI пытается вернуть лидерство

Параллельно OpenAI проводит масштабную перестройку бизнеса после года, в течение которого компания, по оценке TIME, потеряла лидерство в отдельных сегментах перед Anthropic.

Конкурент быстро развил Claude Code и опередил OpenAI по заявленному годовому доходу и частной оценке. В то же время OpenAI столкнулась с уходом ряда руководителей, потерей исследователей в пользу Meta и усилением конкуренции со стороны Google.

Компания сокращает второстепенные проекты и концентрирует вычислительные ресурсы на ключевых продуктах, в частности Codex. В июле корпоративный доход OpenAI впервые превысил потребительский, а в марте компания привлекла $122 млрд при оценке в $852 млрд.

В то же время OpenAI продолжает масштабировать инфраструктуру. По словам руководителя направления вычислений Сачина Катти, компания планирует потратить около $50 млрд на вычислительные мощности в 2026 году.

<У нас все еще есть дефицит вычислительных мощностей. Если бы мы могли вернуться назад, нам, вероятно, стоило бы приобрести гораздо больше>, --- сказал он.

Astra, AGI и персональные ИИ-агенты

Несмотря на замедление исследований, OpenAI продолжает работать над новым поколением моделей Astra. Во время закрытой демонстрации для клиентов система выполняла сложные задачи с помощью 16 ИИ-агентов, которые распределяли между собой части математической задачи и координировали работу над общим результатом.

Модель также демонстрировала способность работать с компьютером, самостоятельно взаимодействуя с различными программами. Альтман назвал особенно важной возможность создания <постоянных агентов> --- виртуальных сотрудников, способных длительное время выполнять задачи без постоянного контроля человека.

По его словам, наибольшее влияние Astra может оказать на научные исследования.

<Я ожидаю, что это будет первой моделью, которая действительно будет изобретать новые вещи таким образом, который будет иметь значение>, --- заявил Альтман.

В OpenAI также считают, что приближаются к созданию искусственного общего интеллекта (AGI). Директор по исследованиям Марк Чен оценил готовность компании к этому этапу примерно в 80%, а Альтман заявил, что к концу года OpenAI может получить внутреннюю систему, которую он назовет AGI.

Одним из ключевых направлений компании остается развитие автономных агентов. OpenAI хочет превратить ChatGPT из системы, которая преимущественно отвечает на запросы, в инструмент, способный самостоятельно выполнять задачи, использовать различные модели и сервисы и действовать на основе целей пользователя.

Компания также работает над собственными устройствами, чипами и гуманоидными роботами. Альтман заявил, что OpenAI <безусловно> будет создавать человекоподобных роботов, а первый собственный inference-чип Jalapeño планируют начать использовать до конца года.

В то же время в компании признают, что дальнейшее масштабирование ИИ невозможно без решения проблемы безопасности. Именно поэтому OpenAI готова временно пожертвовать темпами разработки.

<Если мы дойдем до момента, когда это будет небезопасно, нам придется замедлиться, и так тому и быть>, --- заявила руководительница направления безопасности и alignment OpenAI Миа Глейзе.

Напоминаем, что компания также рассматривает возможность выхода на биржу. Финансовая директорка OpenAI Сара Фриар заявила сотрудникам, что компания может стать публичной в 2027 году или раньше, если бизнес продолжит расти.

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.