Архитектурный хоровод с Kafka: системный аналитик как координатор Consumer и Producer

Сегодня Kafka является одной из наиболее распространенных технологий, используемой в проектах с большим количеством межсистемных интеграций для поддержания интенсивных потоков данных. Однако, несмотря на свое широкое использование, Kafka содержит достаточное количество технических нюансов и подводных камней в механике своей работы. Поэтому чтобы использование Kafka не стало неприятным сюрпризом с непредвиденной потерей данных, нужно знать об особенностях настройки Kafka-брокера, Consumer’a и Producer’a.

В рамках доклада я проведу погружение в мир настроек инфраструктуры вокруг Kafka. Приведу примеры лучших практик конфигурации элементов Kafka и архитектурных шаблонов в зависимости от целей/задач различных проектов. А также отдельное внимание будет отведено определению роли системного аналитика в постановке требований к элементам, связанным с Kafka.