Урок 6/13. Загрузка данных в Vertica. Часть 1

В этом уроке: — Немного теории о «колоночных» СУБД, и Vertica, в частности, и их удобстве для аналитических SQL-запросов — О понятиях «Таблица» и «Проекция» в Vertica, а также оптимизации SQL-запросов — Об инструменте Database Designer (DBD) — О механизме хранения данных в Vertica (ROS) и операции Mergeout — Типы данных в СУБД Vertica — О партиционировании таблиц — О видах загрузки данных – Trickle Load и Bulk Load для точечных и пакетных операций загрузки в таблицы — О видах удаления данных – DELETE и TRUNCATE TABLE — Обзор алгоритма загрузки в БД — Установка JDBC-драйвера Vertica для платформы KNIME — Настройка ноды Vertica Connector — Еще один способ установки драйверов, с помощью расширений KNIME — Расширяем список переменных потока работ: db_host, db_port и db_database — Добавляем новые workflow credentials – логин и пароль для доступа к СУБД Vertica — Запускаем виртуальную машину с Вертикой — Входим в виртуальную машину под пользователем Vertica_DBA — Стартуем базу данных с помощью утилиты Admin Tools — Переходим в KNIME и добавляем ноду Vertica Connector — Задаем параметры доступа к БД, тестируем подключение — Добавляем ноду DB SQL Executor, для создания схемы данных с именем woocommerce (в случае если ее нет) — Создаем новую переменную для задания имени схемы (долой хардкод!) — Добавляем ноду DB Table Selector, проверяя, что схема создана — Обсуждаем, каким образом мы можем создать таблицы БД — Решаем выбрать ноду Table Creator, а не DB Table Creator, используя ранее созданную нами структуру таблиц — Добавляем ноду Column Aggregator для создания определения поля БД — Добавляем ноду GroupBy, создавая список полей в одной ячейке (для последующего запуска скрипта по созданию таблицы) — Добавляем ноду Table Row to Variable, для конвертации строки в переменную — Добавляем ноду String Manipulation (Variable), для создания переменной с именем таблицы — Добавляем ноду DB SQL Executor, создавая скрипт для создания таблицы с использованием имени схемы и наименования из ранее созданных переменных — Настраиваем правила сортировки, партиционирования и группировки — Запускаем ноду создания таблицы и проверяем успешность ее создания с помощью ноды DB Table Selector — Копируем весь ранее созданный блок работ, относящийся к order_items, меняем настройки на заказы (orders) — Запускаем поток работ для таблицы заказов, проверяем успешность создания — Аналогично, повторяем для таблиц, связанных с продуктами (product), убирая попутно партиционирование, и меняя настройки сортировки На основе реальной задачи будет построено готовое аналитическое решение, которое: — автоматизирует процесс сбора данных из веб-сервисов WooCommerce и Яндекс.Метрика (причем без написания кода, в KNIME Analytics Platform), — сохраняет полученные и обработанные данные в аналитической СУБД Vertica, — визуализирует данные в виде аналитических отчетов в Tableau. Данное решение будет собрано одним единственным специалистом практически на ваших глазах, что позволит убедиться в реализуемости данной задачи, а также позволит примерно оценить свои собственные силы в создании таких аналитических решений. В состав курса входит солидное домашнее задание, безусловно, с подробным разбором его решения. В качестве реальной задачи выбран интернет-магазин, для которого необходимо построить аналитику по эффективности продаж, а также эффективности рекламных каналов, использующихся для привлечения покупательского трафика. Ни одно из существующих на рынке «коробочных» аналитических решений, таких как встроенные отчеты в «e-commerce движках» или встроенная аналитика по тому или иному маркетинговому каналу (а ведь каждый канал, будь то соцсеть, медийная или контекстная реклама, имеет свой личный кабинет и свой формат встроенной аналитики), не позволяет оценить картину в целом, с возможностью детализации одновременно и до конкретной покупки клиента, и до рекламной кампании. Тем не менее, бизнес зачастую задает вопросы на стыке маркетинга и продаж. Именно поэтому, спрос на подобные аналитические решения существует. И построить их самостоятельно не так и сложно. Оставайтесь с нами до конца, и мы покажем, как это сделать своими собственными руками!