DAY 2 - Интеграция потоков данных для микросервисов с Kafka и Kafka Connect (RU) - Роман Ананьев

SRE. Работаю в Леруа Мерлен уже 3 года в IT дирекции. Занимаюсь на данный момент Apache Kafka и всем, что ее окружает, попутно автоматизируя. Но начал я это делать относительно недавно — всего чуть более 9 месяцев, до Кафки был администратором Microsoft Sharepoint, который у нас очень сильно переписали для создания внутреннего сайта для сотрудников. Интеграция потоков данных для микросервисов с Kafka и Kafka Connect Вы познакомитесь с вариацией задачи интеграции систем (БД) на основе платформы Кафка. Наша уникальная версия с описанием используемых продуктов, встреченных проблем и их решением. Тезисы: Предыстория — отчего однажды мы выбрали Кафку в компании для решения задач интеграции реляционных БД с другими системами Описание проекта — обеспечить получение информации о актуальных и достоверных стоках любого товара в любом магазине или складе нашей компании из одной мастер системы, в режиме реального времени, через API. Перечень интегрируемых БД и того, что с ними было необходимо для этого сделать. Причины почему был выбран фрейморк Kafka Connect и какие коннекторы для него. Процесс выбора и сравнения БД для хранения данных полученных их Kafka — итог Tarantool. Описание приложений, которые обрабатывают, обогащают и фильтруют данные, забирая их из Kafka и записывая в Tarantool. Процесс выбора и сравнения продуктов для мониторинга всех компонентов проекта — Dynatrace и Prometheus и Burrow. Итоги — получена система, которая позволила обеспечить время полного пути обработки данных от момента возникновения события в необходимой нам БД, до Tarantool — не более 5-10 секунд. DevOps Pro Moscow Онсайт и онлайн 23-26 мая, 2022 Узнать больше о конференции: https://bit.ly/3nFTAXC Присоединяйтесь к нашей следующей конференции DevOps Pro Moscow 23-26 мая 2022 г. На этой конференции вы сможете раскрыть основные принципы и концепции DevOps и узнать, как использовать наиболее распространенные шаблоны DevOps для разработки, внедрения и поддержки приложений локально и в облаке. На этот раз конференция будет проходить в гибридной форме, это позволит вам послушать доклады и посетить мастер-классы онсайт и онлайн.