Скачать SQL и Python для проверки данных: автотесты и Great Expectations [Stepik] [Максим Мигутин]

[Джокер]

Складчина: SQL и Python для проверки данных: автотесты и Great Expectations [Stepik] [Максим Мигутин]



Научитесь автоматически находить грязные данные и останавливать пайплайн до того, как они сломают аналитику. SQL-проверки, Python-валидация с Pydantic и Pandera, Great Expectations, Data Observability и интеграция в Airflow: всё в одном курсе с прикладным e-commerce проектом

Чему вы научитесь
1. Собрать полный Data Quality pipeline на реальном e-commerce проекте
2. Встраивать DQ-проверки в Airflow и останавливать пайплайн при ошибках
3. Настраивать автоматические проверки с Great Expectations
4. Валидировать данные в Python с Pydantic и Pandera
5. Мониторить свежесть, объём и схему данных (Data Observability)
6. Писать SQL-проверки на NULL, дубликаты, диапазоны и связность

О курсе
Ваши данные лгут... и вы об этом не знаете
NULL там, где должно быть число.
Дубликаты в заказах.
Связи между таблицами, которые тихо сломались.
Всё это попадает в дашборд, и бизнес принимает решения по мусору.

Что вы построите
На протяжении всего курса -> один сквозной проект: аналитический e-commerce пайплайн. К финалу у вас будет полноценная система контроля качества данных, которая автоматически проверяет данные на каждом этапе и останавливает
пайплайн при обнаружении проблем.

Итоговый шаблон можно забрать в свой рабочий проект.

Для кого этот курс
Курс для вас, если вы уже работаете с SQL и Python и хотите выйти на следующий уровень: научиться делать пайплайны надёжными, а не просто работающими.
аналитикам данных
дата-инженерам уровня junior и middle

Начальные требования
Базовый SQL (SELECT, JOIN, GROUP BY)
Базовый Python (функции, циклы, работа с pandas).
Всё остальное разбираем в курсе с нуля.

Как проходит обучение
Каждый модуль добавляет новый слой защиты данных.

Сначала вы пишете SQL-проверки. Потом подключаете Python-валидацию. Затем собираете Great Expectations, мониторинг и выстраиваете пайплайн в Airflow.

Программа курса

О чём этот курс и кому он подойдёт
Как пройти курс и получить результат
Почему Data Quality решает, можно ли доверять данным
Как будет устроен ваш Data Quality pipeline
Какие ошибки чаще всего встречаются в данных
Почему пайплайны «зелёные», а данные - нет
5 типов проверок, без которых нельзя доверять данным
Практика: находим ошибки в данных интернет-магазина
Практика: ищем реальные проблемы в данных
Почему SQL= лучший стартовый инструмент для проверки данных
Как находить пропуски (NULL) в данных
Как находить дубликаты и почему они ломают метрики
Как проверять диапазоны значений (validity checks)
Как проверять связи между таблицами
Как ловить изменения схемы до того, как всё сломается
Практика: пишем SQL-проверки как в реальной работе
Когда SQL уже не хватает и нужен Python
Как валидировать данные с Pydantic
Как проверять DataFrame с Pandera
Практика: собираем pipeline проверок в Python
Практика: что делать, если данные не прошли проверку
Что такое Great Expectations и зачем он нужен
Какие проверки бывают в Great Expectations
Как собрать свой набор проверок (validation suite)
Как смотреть отчёты и Data Docs
Практика: проверяем датасет через Great Expectations
Что такое Data Observability и зачем он нужен
Как проверять свежесть данных (freshness)
Как отслеживать объём данных (volume checks)
Как отслеживать изменения схемы
Практика: настраиваем мониторинг данных
Где и когда запускать проверки в пайплайне
Как добавить проверки в Airflow DAG
Как останавливать пайплайн при ошибках данных
Практика: встраиваем проверки в Airflow DAG
Финальный проект: что нужно собрать
Собираем Data Quality pipeline шаг за шагом
Проверяем себя и сравниваем с эталоном
В курс входят 38 уроков 25минут видео 23 теста

Цена 1690 руб.




СКАЧАТЬ СЛИВЫ КУРСОВ

Для возможности скачивать складчины и сливы курсов нужно зарегистрироваться