Границы автономности ИИ в разработке агентов

Обещания автономных ИИ-агентов сталкиваются с одной и той же фундаментальной проблемой: мы всё ещё не доверяем им работать без человеческого надзора. Три отдельных события на этой неделе подчеркивают, что даже самые продвинутые системы остаются зависимыми от человеческого суждения в критических моментах.

Человеческий контроль остаётся обязательным

Решение OpenAI приостановить обучение своих самых мощных моделей [1] показывает, как непредсказуемое поведение продолжает преследовать даже топовые системы ИИ. Компания сталкивается с "неожиданными или вызывающими беспокойство" действиями агентов в процессе разработки, что вынуждает её поддерживать строгие протоколы человеческого контроля. Речь идёт не только о безопасности — это вопрос сохранения контроля над системами, которые мы до конца не понимаем.

Агенты помогают, но не принимают решений

Новое исследование, анализирующее 769 логов задач в разработке моделей ИИ, показывает практические границы автономии агентов [2]. Хотя ИИ-системы предложили 55% методов, люди приняли более 85% окончательных решений. Показательно: треть задач разработки вообще не была бы начата без человеческой инициативы. Исследование подтверждает, что увеличение активности агентов не означает реальной автономии.

Прямой контроль несёт риски

Эксперимент Stanford/Caltech на кухне демонстрирует как потенциал, так и опасности снижения человеческого контроля [3]. Их система HomeBody обходит традиционные уровни управления, позволяя GPT-6 Astra напрямую командовать роботизированными действиями. Хотя это впечатляет, такой подход вызывает вопросы о надёжности в менее контролируемых средах — именно те опасения, которые заставляют OpenAI быть осторожными с её самыми продвинутыми моделями.

Для разработчиков, создающих агентов, эти события подчеркивают необходимость создания надёжных управленческих структур. Практический вывод: проектируйте системы, где люди сохраняют право окончательного утверждения, особенно для критических решений. Помощь агентов может значительно повысить продуктивность, но человеческое суждение остаётся ключевым механизмом безопасности, который мы пока не можем автоматизировать.