Great Expectations, это решение для тестирования качества данных, активно используется дата инженерами во многих компаниях, в т.ч. и в России (например обсуждается в группе Data Engineers в которой 3800 русскоговорящих участников)

Фреймворк на базе Python помогает определить правила проверок качества данных в удобном для дата инженеров формате. Проверки запускаются отдельным шагом в после завершения шага транспорта или трансформации данных. После запуска проверки генерируется отчет качества данных с человеко-читаемыми формулировками созданными на основе кода проверки. Проверки качества данных можно создать автоматически используя тренинговые дата-сеты, что позволит сильно ускорить разработку.

Great Expectations не обладает функциональностью “проверки качества кода”, не является оркестратором (таким как Airflow), не хранит и не версионирует данные. Альтернативы assertR для экосистем R и TFDV для TensorFlow экосистемы или Deequ для Spark.

Планы развития коммерческого предложения: существенное упрощение исполнения проверок через SaaS сервис со встроенным UI, охват менее опытных пользователей.

Партнерство по продажи в России безусловно востребованной SaaS версии решения видится ограниченным из за локации вендора в США.

Критика:

• жестко привязано к Python экосистеме.
• Заточено на дата инженеров, другим будет сложно пользоваться.
• Возможен только Batch запуск.
• Из за отсутствия централизованных компонент, решение не enterprise уровня но подойдет для отдельных команд, с возможностью делится наработками с другими командами.
• Не очевидна возможность ограничения проверок на загруженный инкремент.
• Возможно увеличение времени прогрузки всего тракта данных.

Перспективы:

• Мы делаем инструменты для инженеров данных - и это очень полезный инструмент. Нужно совместить с уровнем централизации ключевых процессов data governance и определить в месте других инструментов качества данных.
• благодаря стандартному синтаксису проверок, возможно написание новых правил на базе AI.
• Удобно встроить в воркфлоу по синтезу данных для разработки: систематизация проверки синтезированных данных и красивая визуализация результатов