Несколько недель назад мы несколько часов обсуждали, что выглядело как мелкая проблема в одном из наших голосовых ИИ-агентов. Он не галлюцинировал, задержка была в норме, разговоры были связными, но время от времени он обращался к пациентке в мужском роде.
С инженерной точки зрения это почти скучный баг. Посмотришь на него и думаешь: «Потом поправим». Но пользователь воспринимает софт не так. Он не оценивает качество промптов, архитектуру модели или время ответа. Он просто замечает, что что-то не так, а когда доверие потеряно, ему уже неважно, насколько впечатляюще система устроена технически.
Это напомнило мне, что инженерное качество и продуктовое качество не всегда одно и то же. Мы много времени тратим на оптимизацию метрик, которые пользователи никогда не видят, а детали, которые они замечают, часто и решают, будут ли они вообще доверять продукту.