Интеграция потоков данных для микросервисов с Kafka и Kafka Connect RU Роман Ананьев

Работаю в Леруа Мерлен уже 3 года в IT дирекции. Занимаюсь на данный момент Apache Kafka и всем, что ее окружает, попутно автоматизируя. Но начал я это делать относительно недавно — всего чуть более 9 месяцев, до Кафки был администратором Microsoft Sharepoint, который у нас очень сильно переписали для создания внутреннего сайта для сотрудников. Интеграция потоков данных для микросервисов с Kafka и Kafka Connect Вы познакомитесь с вариацией задачи интеграции систем (БД) на основе платформы Кафка. Наша уникальная версия с описанием используемых продуктов, встреченных проблем и их решением. Тезисы: Предыстория — отчего однажды мы выбрали Кафку в компании для решения задач интеграции реляционных БД с другими системами Описание проекта — обеспечить получение информации о актуальных и достоверных стоках любого товара в любом магазине или складе нашей компании из одной мастер системы, в режиме реального времени, через API. Перечень интегрируемых БД и того, что с ними было необходимо для этого сделать. Причины почему был выбран фрейморк Kafka Connect и какие коннекторы для него. Процесс выбора и сравнения БД для хранения данных полученных их Kafka — итог Tarantool. Описание приложений, которые обрабатывают, обогащают и фильтруют данные, забирая их из Kafka и записывая в Tarantool. Процесс выбора и сравнения продуктов для мониторинга всех компонентов проекта — Dynatrace и Prometheus и Burrow. Итоги — получена система, которая позволила обеспечить время полного пути обработки данных от момента возникновения события в необходимой нам БД, до Tarantool — не более 5-10 секунд