Артем Шутак — Вставить в ClickHouse и не умереть

Подробнее о конференции SmartData: https://jrg.su/aTWU2K — — Казалось бы, что может быть проще, чем вставить данные в БД?! Но в Одноклассниках это делают 2 года и ClickHouse не перестает удивлять. Артём Шутак из Одноклассников. Их инсталляция — это примерно 1PB и 100 машин. И команда реально настрадалась: ClickHouse тормозил, данные дублировались и/или терялись, иногда просто не вставлялись. В докладе подробно рассматривается задача вставки данных в ClickHouse для всех самых популярных сценариев: – «игрушечная» инсталляция на одном сервере; – горизонтально масштабируемый кластер с репликацией данных между дата – особенности батчевой и стриминговой вставки. Также напишем свой собственный классный механизм вставки в ClickHouse, который используется в Одноклассниках. Приходите на доклад, и Артём поделится тем, что знает про вставку в ClickHouse. Доклад нацелен на инженеров и архитекторов, как планирующих интегрировать ClickHouse в свою экосистему, так и тех, кто уже работает с ним, но не полностью доволен текущим положением дел. Скачать презентацию: https://assets.ctfassets.net/oxjq45e8ilak/4JPHkbJenLgZhBGGyyonFP/57472ec6987003ec4078d0941740703b/____________________ClickHouse_______________________.pdf