Перейти к основному содержимому
Перейти к основному содержимому

Подключение BladePipe к ClickHouse

Partner Integration

BladePipe — это инструмент для сквозной интеграции данных в реальном времени с субсекундной задержкой, обеспечивающий бесперебойный поток данных между платформами.

ClickHouse — один из готовых коннекторов BladePipe, который позволяет пользователям автоматически передавать данные из различных источников в ClickHouse. На этой странице пошагово показано, как загружать данные в ClickHouse в реальном времени.

Поддерживаемые источники​

В настоящее время BladePipe поддерживает интеграцию данных в ClickHouse из следующих источников:

  • MySQL/MariaDB/AuroraMySQL
  • Oracle
  • PostgreSQL/AuroraPostgreSQL
  • MongoDB
  • Kafka
  • PolarDB-MySQL
  • OceanBase
  • TiDB

В дальнейшем планируется поддержка дополнительных источников.

Загрузите и запустите BladePipe​

  1. Войдите в BladePipe Cloud.

  2. Следуйте инструкциям в Install Worker (Docker) или Install Worker (Binary), чтобы загрузить и установить воркер BladePipe.

Примечание

Либо вы можете загрузить и развернуть BladePipe Enterprise.

Добавьте ClickHouse как целевую систему​

Примечание

  1. BladePipe поддерживает ClickHouse версии 20.12.3.3 и выше.

  2. Чтобы использовать ClickHouse как целевую систему, убедитесь, что у пользователя есть разрешения SELECT, INSERT и общие DDL-разрешения.

  1. В BladePipe нажмите "DataSource" > "Add DataSource".

  2. Выберите ClickHouse, заполните настройки, указав хост и порт ClickHouse, имя пользователя и пароль, затем нажмите "Test Connection".

    Добавление ClickHouse как целевой системы

  3. Нажмите "Add DataSource" внизу страницы — экземпляр ClickHouse будет добавлен.

Добавьте MySQL как источник​

В этом руководстве в качестве источника используется экземпляр MySQL, и показан процесс загрузки данных из MySQL в ClickHouse.

Примечание

Чтобы использовать MySQL как источник, убедитесь, что у пользователя есть необходимые разрешения.

  1. В BladePipe нажмите "DataSource" > "Add DataSource".

  2. Выберите MySQL, заполните настройки, указав хост и порт MySQL, имя пользователя и пароль, затем нажмите "Test Connection".

    Добавление MySQL как источника

  3. Нажмите "Add DataSource" внизу страницы — экземпляр MySQL будет добавлен.

Создайте конвейер​

  1. В BladePipe нажмите "DataJob" > "Create DataJob".

  2. Выберите добавленные экземпляры MySQL и ClickHouse и нажмите "Test Connection", чтобы убедиться, что BladePipe подключен к ним. Затем выберите базы данных для переноса.

    Выбор источника и целевой системы

  3. Для типа DataJob выберите "Incremental" вместе с опцией "Full Data".

    Выбор типа синхронизации

  4. Выберите таблицы для репликации.

    Выбор таблиц

  5. Выберите столбцы для репликации.

    Выбор столбцов

  6. Подтвердите создание DataJob — после этого DataJob запустится автоматически.

    DataJob выполняется

Проверка данных​

  1. Остановите запись данных в экземпляр MySQL и дождитесь завершения слияния данных в ClickHouse.
    Примечание

    Поскольку время автоматического слияния в ClickHouse непредсказуемо, вы можете запустить слияние вручную, выполнив команду OPTIMIZE TABLE xxx FINAL;. Обратите внимание, что ручное слияние может завершиться неудачно.

В качестве альтернативы можно выполнить команду CREATE VIEW xxx_v AS SELECT * FROM xxx FINAL;, чтобы создать представление и выполнять запросы к нему для гарантии полного слияния данных. :::

  1. Создайте задание проверки данных (Verification DataJob). После завершения задания проверьте результаты, чтобы убедиться, что данные в ClickHouse идентичны данным в MySQL.
    Проверка данных