Выбор (и перевыбор) модели для построения ИИ-агента

В докладе речь пойдет о том. как выбрать модель для использования с ИИ-агентом, и как потом контролировать ее качество оносительно других моделей на рынке. Мы рассмотрим критерии (стоимость, требования ИБ, compliance, и прочие атрибуты, которые надо принимать во внимание), а также инструментальную часть - как быстро (и желательно автоматически) проверять, не пора ли переключаться на новое решение. Поговорим про инструменты (langfuse и разработки на его основе, а также фремйворки типа ragas) и затронем сценарии проверки и пепепроверки.