Не используйте LLM там, где справится if/else

Сначала пишите детерминированный код, а агента подключайте только к той части задачи, которую нельзя описать правилами и состояниями.

“Сначала исчерпайте обычный детерминированный код. Агента подключайте только для тех 10% задачи, для которых нельзя написать регулярное выражение или конечный автомат.”

В прошлом месяце я наблюдал, как команда две недели подключала мультиагентный воркфлоу для маршрутизации входящих тикетов клиентов.

Три промпта, векторное хранилище, логика ретраев и счёт за токены в $400 в месяц.

Задержка составляла 12 с, и на граничных случаях система всё равно галлюцинировала каждую пятницу после обеда.

Вчера кто-то заменил всё это на 25 строк TypeScript и три if/else. Задержка упала до 0 мс. Точность — 100%. Стоимость поддержки — ноль.

Сейчас половина индустрии использует LLM для детерминированной маршрутизации, чтобы написать «агентную архитектуру» на слайде с роадмапом. Но если там, где справятся if/else или SQL-запрос, вы ставите LLM, вы просто платите OpenAI за бросание кубика в проде. Проблему это не решает.

Мое правило для любой AI-фичи теперь такое: сначала исчерпайте обычный детерминированный код. Агента подключайте только для тех неаккуратных 10% задачи, для которых нельзя написать регулярное выражение или конечный автомат.

Какую самую перегруженную AI-фичу, которую недавно заменил простой скрипт, видели вы?