Большинство современных AI-интерфейсов — это диалог с удалёнными системами. Полезно, но недостаточно. Подлинный сдвиг происходит тогда, когда цикл запрос–ответ исчезает.
Бюджеты, а не бенчмарки
Сквозная задержка — не одна цифра. Это бюджет, распределённый между восприятием сигнала, обращением к памяти, планированием, выполнением модели, проверкой политик, действием и верификацией:
T_total = T_signal + T_context + T_model + T_policy + T_action + T_verify
Проектирование начинается с допустимого времени между сигналом и действием — всё остальное проектируется так, чтобы уложиться в этот бюджет.
Что открывает скорость
- Живые копайлоты, обновляющиеся по мере того, как вы печатаете, перетаскиваете, задаёте цену или строите маршрут
- Непрерывные симуляции, проверяющие варианты до принятия решения
- Приватный контекст, используемый без сетевого обращения на каждом шаге
Быстрые, но ошибающиеся системы — не интеллектуальные системы: поэтому контроль корректности поставляется вместе со скоростью.