Обзор продуктовых релизов Arenadata за февраль — март

Группа Arenadata обновила целый ряд своих продуктов. Улучшения коснулись Arenadata Postgres, Arenadata DB, Arenadata Catalog, Arenadata Hadoop, Arenadata Cluster Manager, Arenadata Platform Security и Picodata.

Arenadata Postgres (ADPG) 14.3.6

Ключевые изменения:

• реализована совместимость с ОС Astra Linux Special Edition 1.7 в базовом режиме работы СЗИ («Орёл»);
• добавлен пулер подключений к базе данных, что позволяет оптимизировать работу клиентского программного обеспечения и существенно увеличить производительность СУБД.

Arenadata Catalog v. 0.6.2.2

Ключевые изменения:

• добавлен новый коннектор Visiology;
• реализована локализация системных ошибок на русский язык;
• добавлена возможность скрытия от пользователей ошибок переиндексации.

Глоссарий:

• расширение типизации атрибутов — новый тип «Нумератор», с помощью которого можно мигрировать кодировки бизнес-объектов или начать их вести в Arenadata Catalog.

Поиск:

• оптимизация поиска — обработка морфологии русского и английского языков.

Каталог данных:

• добавлены возможности импорта и экспорта метаданных СУБД через XLSX-файл;
• добавлен новый коннектор SQL Server Reporting Services.

Arenadata DB 7.0.0 CE, бета-релиз

В состав релиза вошли:

• ядро на основе «ванильного» Greenplum 7.0.0;
• возможность автоматической установки через Arenadata Cluster Manager (ADCM);
• поддержка ОС CentOS 7.9;
• мониторинг;
• утилита gpbackup;
• фреймворк PXF.

Обращаем внимание, что новая версия не подлежит коммерческому распространению и обладает большим количеством ограничений, однако даёт возможность получить общее представление об обновлённых функциях MPP-СУБД и изучить базовые функции ADB 7.

Arenadata Hadoop 3.2.4.2.b1

Ключевые изменения:

• Добавлен Smart Storage Manager — инструмент для асинхронной репликации и оптимизации хранения данных. Сервис расширяет возможности распределённой файловой системы HDFS и позволяет выбрать наиболее эффективный способ работы с данными, снижая накладные расходы на их хранение и повышая производительность запросов.
• Добавлен Apache Kyuubi — распределённый многопользовательский шлюз для предоставления serverless SQL для DWH и Data Lake. Сервис создаёт распределённые механизмы SQL-запросов поверх различных вычислительных платформ (Spark, Flink, Hive, Impala и др.), чтобы получать и обрабатывать большие наборы данных из разнородных источников.
• Добавлен Spark Connect для Spark 3 — инструмент для удалённого подключения к кластеру Spark. Позволяет работать с кластером Spark с помощью IDE / Jupyter Notebook на обычном пользовательском ноутбуке и обеспечивает улучшенную изоляцию ресурсов.
• Добавлен ADQM Spark 3 Connector, обеспечивающий высокоскоростной параллельный обмен данными с Arenadata QuickMarts, теперь включён в бандл ADH.

Другие улучшения:

• обновление компонентов — Spark 3, Hive, ADB Spark 3 Connector, ADQM Spark3 Connector;
• добавлена возможность управления системными переменными в Hive и HBase;
• с новым релизом Arenadata Hadoop доступна и новая версия комплексной системы безопасности Arenadata Platform Security (ADPS) 1.1.1;
• добавлен экшен Manage Ranger plugin для более удобного и понятного управления плагином.

Arenadata Cluster Manager 2.1.0.

Ключевые изменения:

• реализована функция блокирования пользователя администратором;
• добавлена массовая операция добавления хостов в кластер (bulk operations);
• добавлена возможность более гибкой настройки LDAP;
• улучшена логика отображения ansible-логов с целью оптимизации работы UI в случае больших логов;
• исправлена проблема с запуском ADCM при использовании IPv6.

Picodata 24.2

Ключевые изменения:

• поддержка хранимых процедур позволяет разработчикам проще и эффективнее создавать приложения для обработки данных.

Другие изменения:

• основным интерфейсом взаимодействия с инстансом Picodata стал RPC API;
• взаимодействие между инстансами происходит под учётной записью pico_service;
• усилены требования к сложности паролей в соответствии с требованиями к сертификации СУБД.