Обзор продуктовых релизов за декабрь 2024

Группа Arenadata в течение декабря выпустила обновления следующих продуктов: Arenadata DB (ADB), Arenadata Streaming (ADS), Arenadata Cluster Manager (ADCM), Arenadata Catalog (ADC) и ряда входящих в них компонентов.

Arenadata DB v6.27.1.59

Ключевые изменения:

• Добавлена новая операция (кластерное действие) — Move Host Segment. Реализовано новое кластерное действие Move Host Segmen для подготовки и переноса сегментов на новый хост в случае плановой замены хостов либо возникновения аварийных ситуаций и наличия подменного хоста.
• Доработан PXF. Реализовано партиционирование по временны́м меткам. Добавлена возможность гибкого выбора fragmenter, accessor и resolver в PXF.
• Улучшение расширения diskquota. Выполнен ряд доработок расширения diskquota с целью снижения потребления памяти и повышения стабильности работы.
• Доработка внешних таблиц S3. Улучшена обработка ошибок при работе с S3.

ADB Backup Manager v2.3.2

Ключевые изменения:

• Проверка доступности репозитория с каждого хоста. Процедура проверки доступности репозитория для хранения бэкапов была доработана и теперь проводится с каждого хоста кластера, а не только с мастер-сервера, для повышения надёжности и корректности отображения статуса бэкапов.
• Доработка списка доступных действий. В списке действий с кластером теперь отображаются только доступные на данный момент действия. Это оградит от выполнения ошибочных операций и возникновения последующих ошибок.
• Доработана операция Partial restore. Исправлена ситуация, когда действие Partial restore в исходном кластере могло прервать процесс восстановления DR-кластера в режиме Streaming.
• Доработаны фильтры для операции Partial restore. При запуске действия Partial restore теперь фильтры используются на всех этапах восстановления для повышения эффективности и скорости выполнения операции.

ADB Control v4.11.0

Ключевые изменения:

• Изменён сбор и расчёт метрик CPU и I/O. Скорректирован сбор и расчёт метрик потребления CPU и I/O для более точного и корректного расчёта значений метрик.
• Поддержка SSL для внешних служебных БД. В рамках выполнения требований служб ИБ заказчиков реализована поддержка протокола SSL, чтобы подключить внешние служебные СУБД (PostgreSQL и ClickHouse) для ADB Control.

Arenadata Cluster Manager (ADCM) v2.5.0

Ключевые изменения:

• Добавление возможности параллельного запуска действий. Расширен функционал «консернов» в ADCM: теперь можно запускать параллельные процессы для объектов, а также выполнять длительные действия без их полной блокировки. Этот функционал необходим в том числе для реализации таких операций, как rolling restart.
• Выполнен бэкпорт плагина hashi_vault для Ansible 2.9. С целью реализации требований ИБ по безопасному хранению паролей и поддержки управления функционалом через Ansible реализован бэкпорт плагина hashi_vault в рамках ADCM.
• Исправлен ряд схем для API v2.
• Переименование моделей. В целях обеспечения единообразия наименования моделей часть из них были переименованы следующим образом:
  – ClusterObject -> Service.
  – ServiceComponent -> Component.
  – ConfigGroup -> ConfigHostGroup.

Компоненты Arenadata Cluster Manager
Arenadata Monitoring (ADM) v4.1.0

Ключевые улучшения:

• Улучшены настройки безопасности контейнеров.
• Добавлена возможность настройки доступа к Grafana по HTTPS.
• Добавлено действие перезапуска сервисов.

Arenadata Enterprise Tools (ADET) v2024121800

Ключевые улучшения:

• Добавлена возможность настройки доступа к репозиторию пакетов по HTTPS.
• Добавлено действие перезапуска сервисов.
• Доработан процесс удаления сервисов.

Arenadata Streaming (ADS) v3.6.2.2.b1

Добавлены новые функции:

• Поддержка CDC (функции захвата изменения данных).
  − Два source-коннектора Debezium для сервиса Kafka Connect «из коробки»: для PostgreSQL и для Microsoft SQL Server.
  − Возможность настройки коннекторов из веб-интерфейса ADS Control.
• Поддержка Tiered Storage для сервиса Kafka.
  Многоуровневое хранение: «горячие» данные располагаются в локальной файловой системе, а далее, в соответствии с retention-политиками, переносятся во внешнюю систему (HDFS и/или S3)
• Поддержка протокола Kafka Raft (KRaft).
  − Хранение и управление метаданными внутри Kafka, без ZooKeeper.
  − NB! Ранний доступ, не рекомендуется для использования в продуктивной среде.
• Новый сервис Monitoring.
  − Сервер Prometheus для сбора и хранения метрик мониторинга кластера ADS.
  − Визуализация и анализ данных в веб-интерфейсе Prometheus или в веб-приложении Grafana.

Arenadata Catalog (ADC) v0.8.0

Ключевые изменения:

• Обновлён бизнес-глоссарий.
  – Оптимизированный полноэкранный режим отображения связей объектов глоссария.
  – Согласование объектов глоссария по имейлу, массовая отправка на согласование без ограничений.
  – Откат объекта из согласования через API.
• Улучшена авторизация.
  – Новый модуль разделения полномочий и политик доступа.
  – Динамическое отображение кнопок действий в зависимости от прав доступа.
• Доработан каталог данных.
  – Управление ключами и ограничениями для ADB/Greenplum.
  – Отображение мощности и обязательности связей на ERD.
• Инфраструктура и оптимизация.
  – Обновление библиотеки захвата метаданных.
  – Улучшение Data Lineage.
  – Ускорение переиндексации и поиска.

Источник: Arenadata