Каскад погрешностей: как подружить бизнес-метрики и машинное обучение, чтобы никто не пострадал

"Сделайте ИИ-ассистента, чтобы он отвечал хорошо" — самое популярное и самое бесполезное требование. В этом докладе расскажем, как мы на проекте для финансового департамента превращали абстрактное "хорошо" в конкретные бизнес-показатели.

Мы пройдем путь от вопросов бизнеса: «А врать ему можно?», «В чем допустимо ошибаться?», «Что будет, если он не поймет запрос?» — до честных и измеримых критериев качества цифрового агента.

А дальше — самое интересное: как мы пытались подружить эти бизнес-показатели с ML-метриками и почему честные цифры оказались намного скромнее хотелок. Спойлер: если OCR дает 80%, а NER — 85%, то реалистичный потолок качества системы — около 40%, а не 95%.