Открыты детали работы ИИ-агента OpenAI «Оператор»
Программист Тибор Блахо раскрыл сведения о новом ИИ-агенте OpenAI под именем «Оператор». В статье рассмотрены замены и оценки его возможностей.
Программист с известными инсайдами о будущих ИИ-продуктах Тибор Блахо нашел свидетельства существования агента OpenAI под кодовым названием «Оператор».
Confirmed - the ChatGPT macOS desktop app has hidden options to define shortcuts for the desktop launcher to "Toggle Operator" and "Force Quit Operator" https://t.co/rSFobi4iPN pic.twitter.com/j19YSlexAS
— Tibor Blaho (@btibor91) January 19, 2025
Согласно информации Блахо, в десктопной версии ChatGPT для macOS доступны скрытые параметры, позволяющие включать и отключать «Оператора». Эту информацию также подтвердил пользователь X с ником M1.
Блахо обнаружил, что на сайте OpenAI есть упоминания о данном ИИ-агенте и его сопоставлении с конкурентами.
OpenAI website already has references to Operator/OpenAI CUA (Computer Use Agent) - "Operator System Card Table", "Operator Research Eval Table" and "Operator Refusal Rate Table"
— Tibor Blaho (@btibor91) January 20, 2025
Including comparison to Claude 3.5 Sonnet Computer use, Google Mariner, etc.
(preview of tables… pic.twitter.com/OOBgC3ddkU
Анализ, представленный в таблицах, указывает на некоторые недостатки «Оператора» в ряде задач.
Эффективность и возможности «Оператора»
В результате тестирования на платформе OSWorld, которая моделирует реальную работу с компьютером, ИИ-агент от OpenAI показал 38,1%. Этот результат выше, чем у решения от Anthropic, однако все же значительно уступает результатам человека — 72,4%.
Тем не менее, «Оператор» демонстрирует преобладание над человеческими показателями в тестах на WebVoyager, которые оценивают способности ИИ в навигации по веб-сайтам.
Проблемы с конкретными задачами
При попытке создать биткоин-кошелек, нейросеть достигла успеха всего в 10% случаев. Однако результаты по регистрации у облачного провайдера составили более благоприятные 60%.
Кроме того, утечка графических данных указывает на высокую степень надежности ИИ в вопросах безопасности. «Оператор» активно сопротивляется угрозам, таким как попытки совершить «незаконные действия» и искать «чувствительные личные данные».
Напомним, что в ноябре были обнародованы планы OpenAI по запуску ИИ-агента «Оператор».