Скачать Оценка AI-агентов [Андрей Киселёв]

[Джокер]

Складчина: Оценка AI-агентов [Андрей Киселёв]



Высокий pass rate сам по себе не показывает, какие ошибки AI-системы стоит исправлять в первую очередь. На курсе Андрея Киселёва вы научитесь читать трейсы и группировать ошибки, а также строить синтетические датасеты для оценки качества ещё до появления пользовательского трафика.

Другое название — «Оценка AI агентов».

Для кого:

AI / ML и Backend-инженерам
Научитесь проектировать автоматические пайплайны оценки, тестировать сложных multi-step-агентов, мерить качество Retrieval (RAG) и встраивать эвалы в CI/CD — чтобы регрессии ловились до релиза, а не на проде
Product-менеджерам AI-продуктов
Получите инструменты для data-driven-управления качеством: связывать бизнес-метрики с метриками модели, строить таксономию ошибок и ставить инженерам прозрачные, измеримые ТЗ
Tech Lead'ам и руководителям
Поймёте, как выстроить процессы оценки внутри команды, выбрать стек (готовые платформы vs. in-house) и снизить затраты на ручную разметку — превратив эвалы в инструмент принятия решений
Барьеры при масштабировании AI-продуктов:

AI-системы ломаются не из-за моделей, а из-за отсутствия понимания качества. Вы не знаете что считать хорошим результатом, принимаете решения на глаз, отсутствует система оценки.

Результаты после курса:

Курс не только про эвалы, но и про навыки разработки AI в продакшне.

Сейчас: данных нет, а оценивать систему нужно уже сейчас.
После курса: строите синтетические датасеты с первого дня прототипа — и не ждёте живого трафика, чтобы начать измерять
Сейчас: pass rate «вроде нормальный», но непонятно, что именно чинить.
После курса: читаете трейсы, кластеризуете ошибки и точно знаете, какой класс проблем устранить первым
Сейчас: каждый новый формат — снова с нуля думаешь, как его оценивать.
После курса: один инструментарий — на текст, изображения и мульти-тёрн чат. Переносите на любую AI-систему без потерь
Сейчас: стейкхолдеры не доверяют метрикам, продакты не понимают эвалы.
После курса: встраиваете оценку качества в процесс команды — так, чтобы на неё опирались при принятии продуктовых решений
За 5 недель соберите eval-процесс на реальных прод-кейсах.


Спойлер: Часто задаваемые вопросы
1. Нужно ли уметь программировать для прохождения курса?

Да, базовое знание Python и понимание принципов работы с API LLM (например, OpenAI) необходимы для выполнения практических заданий и интеграции фреймворков.

2. Сколько времени занимает курс?

Около 4–6 часов в неделю на протяжении 5 недель — это совместимо с full-time работой.

3. Подходит ли курс, если мы используем open-source модели (LLaMA, Mistral) или другие API (Anthropic)?

Да. Все принципы применимы к open-source-моделям (LLaMA, Mistral) и к другим API, включая Anthropic.

4. Будут ли записи занятий?

Да, все занятия записываются — можно смотреть асинхронно в удобном часовом поясе.

Программа:

Пять сессий — пять симуляций реальных кейсов

5 сессий · 7.5 ч разговора

Сессия 1. Интро и философия эвалов на простом кейсе
Кейс — QnA-поиск по справке. Весь путь от продуктовой постановки до первого работающего эвала в ситуации, когда живых пользовательских данных ещё нет
Сессия 2. Error analysis и почему eval-driven development — фантазия
Почему нельзя один раз придумать идеальный эвал и «разрабатывать под него». Чтение трейсов, кластеризация ошибок, few-shot mining и автоподбор промптов через GEPA и DSPy
Сессия 3. Мультимодальность: тот же инструментарий на генерации изображений
Кейс — генерация кастомных картинок для печати на банковских картах. Рубрики безопасности, декомпозиция недопустимого контента и VLM-as-a-judge для визуального результата
Сессия 4. Оценка чат-продуктов end-to-end
Кейс — text2sql-ассистент с доступом к транзакционной базе пользователя. Multi-turn-оценка, симуляция пользователя через LLM, синтетические персоны и метрики сверх pass rate
Сессия 5. Подведение итогов и рецепты для продакшна
Финальная сессия — как на практике внедрить эвалы в команду. Технические рецепты плюс продуктовая и организационная сторона: стейкхолдеры, legal, антипаттерны
Что входит в курс:

5 записей сессий с разбором
5 реальных кейсов: от QnA до мультимодальности
4 проекта в портфолио
Записи и материалы
Автор Андрей Киселёв

Head of Product, который строил, ломал и чинил AI продукты
Строил AI-продукты в продакшне: от первых RAG в маленьких командах до платформ с миллионами вызовов агентов в день
Работал в Revolut и Yandex, где отвечал за внедрение AI-фич
Истории и подходы из курса — то, что встречается в реальной разработке продуктов, с цифрами, ошибками и рабочими плэйбуками




Цена 79999 руб.




СКАЧАТЬ СЛИВЫ КУРСОВ

Для возможности скачивать складчины и сливы курсов нужно зарегистрироваться