Иван Клименко (Arenadata) — CDC в банке от источника до хранилища с применением продуктов Arenadata

Подробнее о конференции SmartData: https://jrg.su/aTWU2K — — Скачать презентацию с сайта SmartData — https://jrg.su/mYoFMh Change Data Capture от популярных источников (Oracle, PostreSQL) с применением Debezium, построенном на Kafka Connect, трансформациями в Apache NiFi и сохранением в начальный слой хранилища Greenplum. Почему именно CDC, а не прямые выгрузки? Обсудили сложности при внедрении, связанные с информационной безопасностью и нагрузкой на транспортные системы, варианты решений по трансформациям и доставке данных до хранилища, варианты разбора данных на хранилище до stage-слоя. Будет интересно архитекторам хранилищ данных, разработчикам интеграционных решений. Демонстрация — на продуктах Arenadata: ADS — Kafka, Kafka Connect, NiFi и ADB — Arenadata Database.