В новой версии продукта компании Arenadata реализована система захвата изменений данных (CDC), система мониторинга на основе на популярного инструмента Prometheus, технология многоуровневого хранения информации Kafka Tiered Storage, использование протокола Kafka Raft.
Поддержка технологии CDC
Технология позволяет в режиме реального времени отслеживать все модификации в базах данных. Система включает специальные коннекторы Debezium для Kafka Connect, которые отслеживают модификации в Microsoft SQL Server и PostgeSQL. Захваченные изменения автоматически направляются в топики Kafka, откуда с помощью sink-коннекторов могут быть перенаправлены в целевые хранилища. Платформа предоставляет гибкие возможности по работе с коннекторами: можно использовать предустановленные решения Debezium, интегрировать собственные разработки, управляя всем процессом через единый веб-интерфейс системы администрирования кластерами.
Система мониторинга на базе Prometheus
Сервис существенно упрощает контроль за работой платформы. Сбор и хранение различных метрик осуществляется специальным сервером Prometheus,. Он отслеживает общесистемные показатели и специфические метрики целого ряда сервисов, включая NiFi, MiNiFi, Kafka Connect, ksqlDB, Schema-registry, Kafka REST Proxy, ZooKeeper и Kafka. Собранная информация аккумулируется в единой системе мониторинга для дальнейшего использования. Для анализа и просмотра данных мониторинга используются два инструмента с веб-интерфейсом - Grafana и Prometheus.
Внедрение технологии Kafka Tiered Storage
Это решение обеспечивает многоуровневое хранение информации, что позволяет эффективно управлять данными разной актуальности, оптимизировать использование ресурсов и снизить затраты на хранение данных.
Актуальная информация первоначально сохраняется в локальной файловой системе. После чего, согласно установленным правилам, автоматически мигрирует во внешнее хранилище, оптимизированное для длительного хранения неактивных данных в топиках Kafka.
В качестве внешних хранилищ данных Arenadata Streaming использует S3 и HDFS. При этом для работы с HDFS требуется Arenadata Hadoop версии не ниже ADH 3.3.6.2.b1.
Использование протокола Kafka Raft
Этот протокол исключает необходимость использования ZooKeeper, так как позволяет осуществлять управление метаданными непосредственно внутри самой Kafka. Внедрение KRaft обеспечивает надежную синхронизацию и согласованность данных между узлами системы: значительно увеличивается количество партиций в рамках одного кластера, минимизируется время, необходимое для восстановления после сбоев (RTO), общая архитектура становится более простой и эффективной.
Протокол KRaft (Kafka Raft) - экспериментальная функция. Он доступен в режиме предварительного просмотра и пока не рекомендуется для промышленной эксплуатации.

