AnalyticsHub расширяет линейку решений для обеспечения качества данных

В июле 2021 года американская компания Torana Inc., разработчик инновационной платформы iCEDQ для операционализации данных (DataOps), подписала партнёрское соглашение с AnalyticsHub, дающее право на продвижение данного продукта в России и Евразии.

iCEDQ - это платформа DataOps, предназначенная для автоматизации тестирования данных и мониторинга качества продуктивных данных. Она позволяет предприятиям автоматизировать тестирование ETL в рамках проектов и систем, ориентированных на данные с использованием подходов, основанных на правилах аудита данных. Решение iCEDQ легко интегрируется с конвейерами непрерывной интеграции/развёртывания (CI/CD), корпоративными инструментами планирования или совместной работы, что облегчает его внедрение в масштабах всего предприятия (https://icedq.com).

Примерами использования платформы iCEDQ являются:

• ETL-тестирование: полная автоматизация тестирования ETL-процессов в любом проекте, ориентированном на данные.
• Тестирование хранилища данных: проверка ландшафта хранилища данных на точность и полноту данных с помощью внедрения сквозной автоматизации тестирования.
• Тестирование миграции данных: возможность убедиться в том, что миграции в облачные базы данных, такие, как Snowflake, Redshift, прошли успешно, на основе полностью протестированных данных между старой и новой системами.
• Тестирование Big Data: возможность использования мощи Spark Cluster для тестирования данных в озере данных или экосистеме Hadoop с учетом масштабирования.
• Тестирование BI-отчётов: возможность организации тестирования данных в корпоративном BI-ландшафте или инструментах отчётности, необходимая для обеспечения полноты, точности и согласованности данных.
• Мониторинг продуктивных данных: возможность повышения доверия к своим данным, проактивность и проверка качества данных в продуктивной среде.

Заказчикам доступны несколько версий продукта:

• Стандартная версия: включает in-memory механизм правил, который может подключаться к различным источникам данных для быстрого выявления проблем на основе определённых правил. Каждое правило занимает одно ядро.
• Версия с повышенной производительностью (HT): включает in-memory механизм, в котором правило занимает несколько ядер на сервере. Обеспечивает повышение производительности в 3-5 раз по сравнению со стандартной версией.
• Версия для Big Data: включает in-memory механизм на основе Apache Spark, в котором правило использует кластер Spark для выполнения всей обработки данных. Обеспечивает в 100 раз лучшую производительность, чем стандартная версия, для больших объёмов наборов данных. Также включает встроенные коннекторы к большинству популярных источников данных.

Платформу уже взяли на вооружение такие лидирующие корпорации в своих индустриях, как Credit Suisse, Fidelity Investments, Pfyser, IBM. Практическое внедрение методологии DataOps с применением мощного и гибкого инструментария iCEDQ позволяет заказчикам добиться целого ряда преимуществ:

• Повышение производительности проектных групп на 70%. Встроенный in-memory механизм сравнивает полный объём данных, позволяя пользователям сосредоточиться на анализе и устранении проблем, а не тратить время на их проверку вручную.
• Увеличение тестового покрытия на 200%. Пользователи могут массово создавать тесты и группы тестов и автоматизировать выполнение всех тестов с помощью планировщиков или путем интеграции со своими конвейерами данных.
• Сокращение сроков реализации проектов на 33%. Встроенный in-memory механизм сравнивает миллионы записей за несколько долей минут, что позволяет проектным группам сократить время выполнения цикла тестирования.

Управляющий директор AnalyticsHub Леонид Куропатов отмечает:

«По нашей оценке, технология iCEDQ/DatOps должна представлять интерес прежде всего для наиболее продвинутых организаций в плане цифровизации бизнеса, построивших промышленный базис для аналитики, в виде хранилищ, озёр, каталогов данных, BI-инструментов, для которых обеспечение качества данных является критичной задачей».