В докладе речь пойдет о том, как на практике происходит передача работы с данными конечным пользователям этих данных — продакт-менеджерам, финансистам, бэкенд-разработчикам.

Я расскажу про наш опыт перехода от разработки DWH с ETL и отчетам/дашбордами/кубами силами инженеров по данным к datalake, в котором инженеры по данным отвечают только за инфраструктуру, контрольные процедуры и решение проблем, конечные пользователи пишут запросы (буквально в виде запросов или через визуальные построители, например, PowerQuery/PowerBI), а возможность пополнять хранилище новыми типами данных доступна любой продуктовой команде.

В докладе речь пойдет об особенностях сбора требований в Data Science-проектах. При этом проекты могут быть очень разными - от несложных BI-выборок до заказов на RND с использованием алгоритмов машинного обучения. Я расскажу о своем опыте в этой области. Речь пойдет о том, что желательно узнать у заказчика, о чем с ним договориться, как оценивать результат работы, и чем можно обогатить датасет в ситуации, когда на имеющихся данных получить хороший результат не получается.

При сборе требований возможна ситуация, в которой заказчик говорит "я точно не знаю, что потребуется - мне нужна максимально гибко настраиваемая система". При этом гибкость, с одной стороны, не должна идти в ущерб надежности и производительности, а с другой - разработка системы должна завершиться в приемлемые сроки. Одним из способов достижения результата в таких случаях является использование движков бизнес-правил, позволяющих существенно ускорить внедрение изменений на продуктивной среде. Но эта гибкость имеет и обратную сторону - цена ошибки при работе с бизнес-правилами может оказаться очень существенной, как в терминах логики работы сервиса, так и в терминах производительности системы.

В докладе пойдет речь о практических аспектах аналитики и внедрения BRE - выбору области применения, требованиям к системе в целом, технологических моментах.