← Все заметки
// КОНСПЕКТ ЗАМЕТКИ // AI-СИСТЕМЫ · КОНСПЕКТ НА 30 СЕК · ПОЛНЫЙ ТЕКСТ 3 МИН

Хватит использовать LLM как самые дорогие if-выражения

Для маршрутизации, классификации, очистки сигнала и трекинга берите специализированные негенеративные модели, а LLM оставляйте для задач, где нужен текст.

“Хватит использовать LLM как самые дорогие if-выражения”

  • Команды по умолчанию зовут LLM для роутинга, классификации, поиска аномалий и прогноза, а в итоге получают медленные недетерминированные системы и огромные счета за токены.
  • Специализированные модели вроде Jev, SAM 2, CLIP, TimesFM, DeepFilterNet и DINOv2 возвращают вероятности, рамки, эмбеддинги или очищенный сигнал и не генерируют текст.
  • Хорошая AI-архитектура измеряется тем, сколько вызовов LLM вы заменили специализированной моделью или убрали совсем.

Мы так увлеклись генерацией текста, что начали считать любую инженерную задачу задачей промпт-инжиниринга.

Нужно разложить запрос по агентному воркфлоу? Вызываем LLM.

Классификация? Вызываем LLM.

Фильтрация шума или поиск аномалии? Вызываем LLM.

Прогноз спроса на завтра? Угадали: тоже LLM.

А потом удивляемся, что системы работают медленно, ведут себя недетерминированно и сжигают тысячи долларов на токенах.

Шум вокруг Jev от TypeSafe — полезное напоминание: AI намного шире авторегрессионной генерации текста.

Вот 6 специализированных моделей, которые стоит держать в инструментарии современного AI-инженера.

1. Jev (TypeSafe) — дискретные решения, а не токены. Вместо разговорного текста для ветвления логики модель выдаёт калиброванные структурированные предсказания. Лучше всего подходит для: маршрутизации агентов, классификации интентов и выбора следующего действия.

2. SAM 2 (Meta) — трекинг объектов в пространстве и времени без дообучения. Вы задаёте точку или рамку, а модель сегментирует объект и ведёт его по кадрам видео с субпиксельной точностью. Лучше всего подходит для: визуальной автоматизации, видеопайплайнов и робототехники.

3. CLIP (OpenAI) — совместные эмбеддинги изображений и текста. Картинки и естественный язык попадают в одно латентное пространство, и при этом модель не генерирует ни одного слова. Лучше всего подходит для: семантического мультимодального поиска, тегирования без обучения и дедупликации каталога.

4. TimesFM (Google) — прогноз временных рядов без дообучения. Это фундаментальная модель, созданная именно для последовательных числовых данных, а не для диалога. Лучше всего подходит для: прогноза нагрузки инфраструктуры, прогнозов в цепочках поставок и планирования мощностей.

5. DeepFilterNet — обработка акустического сигнала. Лёгкая нейросеть, которая в реальном времени подавляет фоновый шум в речевом потоке. Лучше всего подходит для: предобработки для голосовых агентов, чистого входа для ASR и телекома на краю сети.

6. DINOv2 (Meta) — самообучаемые визуальные признаки. Модель извлекает универсальные визуальные представления прямо из пикселей. Лучше всего подходит для: поиска визуального сходства, поиска дефектов и кластеризации без дообучения.

Важно: я не говорю, что LLM плохи. Проблема в том, что генерация текста — плохой инструмент для бинарной логики, очистки сигнала, пространственного трекинга и детерминированного роутинга.

Иногда нужно написать письмо. А иногда нужна вероятностная оценка, рамка, эмбеддинг, а иногда просто классическая XGBoost-модель.

Хорошая AI-архитектура всегда была о том, сколько таких задач можно заменить правильной специализированной моделью или убрать совсем.

Какая негенеративная модель сейчас экономит вашей команде больше всего задержки или денег?

#LLM#Architecture#Cost
ТАКЖЕ В LINKEDIN ↗
СКОПИРОВАНО