Демо всегда работает. Агент читает заявку, составляет ответ, оформляет возврат и закрывает цикл — зал одобрительно кивает. Потом система уходит в продакшн, встречает тысячный случай, и начинает возвращать деньги за заказы, которых никогда не было.
В демо не было лжи. Не было всего того, что делает тысячный случай управляемым, — той части, которую никто не снимает. Автономные ИИ-агенты несложно запустить. Сложно удержать их от ошибок.
Демо — это не система
Модель, способная вызвать инструмент, — это возможность. Система, которая вызывает нужный инструмент, в нужный момент, с нужным состоянием, и может объяснить почему — это инфраструктура. Расстояние между ними не преодолевается лучшим промптом.
В демо агент запускается один раз, под наблюдением, по счастливому сценарию. В продакшне он запускается десять тысяч раз, без наблюдения, против состояния, которое успевает измениться между моментом чтения и моментом действия. Память устарела или отсутствует. Повторная попытка списывает деньги дважды. Вызов инструмента, который следовало заблокировать, проходит — потому что никто не стоял у двери.
Это не сбои модели. Это сбои, которые должна поглощать среда выполнения. Воспринимать их как проблемы промптов — значит тратить квартал на переформулировку инструкций и всё равно не уметь ответить на единственный вопрос, который важен при разборе инцидента: что сделал агент и на каком основании.
Цикл, по которому автономные ИИ-агенты работают на самом деле
Algenta — детерминированная среда выполнения, на которой действуют ИИ-агенты. В её основе — единый цикл, который выполняет каждый агент, называли его авторы так или нет. Сделать цикл явным — это и есть большая часть работы.
- Воспринимать — читать текущее состояние мира: входные данные, извлечённую память, актуальные значения, от которых зависит решение.
- Планировать — определить следующее действие или несколько, исходя из этого состояния и цели.
- Выполнять — действовать через управляемые инструменты, где каждый вызов проверяется на соответствие политике прежде, чем коснуться чего-либо реального.
- Оценивать — сопоставить произошедшее с ожиданиями и вернуть это суждение в память и следующий план.
Воспринимать, планировать, выполнять, оценивать. Шаги очевидны; дисциплина — в том, чтобы не пропускать последний. Большинство фреймворков для агентов останавливаются на выполнении — именно поэтому они хорошо смотрятся в демо и плохо стареют: они действуют, не получая оценки, и ошибка накапливается молча, вместо того чтобы быть поймана в момент возникновения.
Вокруг цикла расположены общие примитивы, которые вся среда выполнения рассматривает как первоклассные элементы, а не надстройки: память, которую агент читает и пишет; инструменты, через которые он действует; политика, управляющая каждым действием; трассировки, фиксирующие произошедшее; и оценки, определяющие, было ли оно верным. Каждый шаг цикла взаимодействует с каждым примитивом. Память питает «Воспринимать» и обновляется «Оценивать». Политика контролирует «Выполнять». Трассировки охватывают все четыре шага, чтобы «Оценивать» было что честно анализировать.
Агент, которого нельзя оценить, — не автономный. Он бесконтрольный.
Почему скучные примитивы и есть продукт
Память, политика, трассировки, оценки. Ничто из этого не выглядит эффектно. Всё это отделяет агента, работающего в переговорной, от агента, работающего в реальном мире.
Память позволяет агенту действовать на основе того, что он знал секунду назад, а не заново открывать мир при каждом вызове — и среда выполнения обязана провести границу между устойчивыми знаниями и рабочим пространством одного запуска, потому что их смешение — это путь к тому, что агент начинает доверять собственным галлюцинациям. Политика — это разница между инструментом, который агент может вызвать, и тем, который ему разрешено вызвать прямо сейчас, с учётом того, от чьего имени он действует и что уже сделал за этот час. Трассировки превращают «агент сделал что-то странное» в конкретное решение, на конкретном входе, с конкретным контекстом — разница между отладкой и догадками.
Оценки — примитив, который команды обнаруживают последним, а нужен он первым. Без них «агент работает» означает «никто ещё не пожаловался громко». С ними каждый запуск получает оценку — по эталону там, где он есть, по правилам и критериям там, где его нет — и регрессия проявляется как изменившееся число, на изменении, которое его вызвало, до того как это достигнет клиента.
Оркестрация — средство, а не цель
Оркестрация агентов привлекает большую часть внимания: граф шагов, повторные попытки, передача управления между агентами и субагентами. Это важно. Но оркестрация без управления — лишь более быстрый способ делать неправильное в масштабе, а оркестрация без оценки — более быстрый способ делать это незаметно.
Algenta рассматривает оркестрацию как один слой среды выполнения ИИ-агентов, а не как её целое. План может ветвиться, вызывать других агентов, запускать симуляцию для проверки действия перед фиксацией и ждать человека, когда этого требует политика — и каждый из этих шагов попадает в ту же трассировку, управляется той же политикой, оценивается теми же оценками. Оркестрация решает, что происходит дальше. Среда выполнения решает, разрешено ли это, и было ли это верным.
В этом — негромкое утверждение AI agent runtime platform: что восприятие, планирование, действие и оценка не должны собираться вручную каждой командой, которая хочет агента в продакшне. Это инфраструктура. На неё можно полагаться так же, как на то, что база данных сохраняет данные.
Что меняется, когда цикл замкнут
Когда полный цикл работает — когда оценка не является запоздалой мыслью, а четвёртым тактом каждого цикла — характер работы меняется. Автономные ИИ-агенты перестают быть тем, что запускают и надеются на лучшее, и становятся тем, чем можно управлять: наблюдать, ограничивать, корректировать и доверять в заявленных пределах.
Это и есть граница между демо и операционным интеллектом. Демо просит верить. Среда выполнения позволяет проверять. Команды, которые будут запускать автономных ИИ-агентов в масштабе, — те, кто решает заранее, что скучные примитивы и есть продукт, и что агент, которого нельзя оценить, не получает права действовать бесконтрольно.