Когда интеллект работает достаточно быстро, пользователи перестают ждать ответов и начинают работать с живым мышлением.
Отдельные рабочие нагрузки среды выполнения отрабатывают за наносекунды в измеренных условиях.
Заявления о производительности бессмысленны без определения рабочих нагрузок, контекста оборудования, тёплого/холодного состояния, размера полезной нагрузки, параллелизма и проверок корректности. Страницы Thyn используют сдержанные формулировки: отдельные рабочие нагрузки среды выполнения, а не продуктовые сценарии целиком.
Измеряют узкие примитивы среды выполнения: обращения к кэшу, проверки политик, планирование, сериализацию и локальные пути исполнения.
Измеряют полные циклы: извлечение контекста, исполнение модели, вызов инструментов, верификацию и сборку ответа.
Измеряют реалистичные пользовательские задачи при холодных стартах, сетевых сбоях, вариативности моделей и различных формах клиентских данных.
Измерение производительности
Медианное и хвостовое время отклика.
Пользователи воспринимают хвостовую задержку как сбой в работе.
Планирование, тёплые пути, локальное исполнение и ограниченные зависимости.
Длительность цикла от сигнала до действия.
Trading, агенты и системы роста зависят от своевременности решений.
Предвычисленный контекст, быстрые политики и минимум сетевых переходов.
Качество при сниженной задержке.
Быстрые ошибающиеся системы не являются интеллектуальными.
Оценки, воспроизведение, проверки инвариантов и шлюзы отката.
Рассуждения, которые обновляются, пока пользователь печатает, перетаскивает, назначает цены, прокладывает маршруты, редактирует или тестирует, — подсказки, проверки и предпросмотры приходят в том же кадре, а не после спиннера.
Агенты и торговые системы проверяют возможности в фоне, прежде чем переходить к действию. Тысячи сценариев прогоняются между нажатиями клавиш, поэтому система исследует исходы быстрее, чем человек успевает их запросить.
Больше решений может использовать конфиденциальные данные без удалённого вызова API на каждом шаге. Локальное исполнение держит проприетарный контекст на устройстве, поэтому скорость и конфиденциальность перестают быть компромиссом.