LLM-инженер [Gigaschool] часть 5 из 5

[Джокер]

Складчина: LLM-инженер [Gigaschool] часть 5 из 5
ВНИМАНИЕ: Это заключительная, пятая из пяти складчин на полный курс.

В связи с высокой стоимостью (190 998 руб.) и продолжительностью (5,5 месяцев) курса, для удобства участников принято решение о его разделении на 5 частей. Каждая часть соответствует одному большому разделу программы. Каждая последующая складчина является продолжением предыдущей, и соответственно необходимо оплатить предыдущую.
Это финальная часть курса, посвященная развертыванию (деплою) и поддержке LLM-проектов. Вы научитесь хостить модели с помощью production-ready инструментов, создавать пользовательские интерфейсы для чат-ботов, а также отслеживать и версионировать работу моделей, промптов и экспериментов.


Спойлер: Что вы освоите в этой части?
Ключевые навыки:

Разворачивать LLM и чат-ботов с помощью современных инструментов
Хостить LLM и эмбеддинги
Создавать UI для чат-ботов
Отслеживать и версионировать поведение моделей и запросов (промпты, эксперименты)
Подбирать необходимый набор сервисов для production
Основные инструменты:

Docker
VLLM / llama.cpp
Gradio / Streamlit
MLflow
Langfuse


Программа пятой части курса
Раздел 5. Инфраструктура

Лекция: Хостинг LLM, эмбеддингов - обзор инструментов (ollama, tgi, tei, vllm, llama.cpp).
Семинар: Поднятие модели vllm и работа с ней.
Лекция: Разворачивание чатбота - обзор UI для чатботов (Streamlit, Gradio).
Семинар: Деплой чатбота в веб/тг.
Лекция: Observing - отслеживание работы модели и запросов, версионирование (langfuse, MLflow, arize, fiddler).
Семинар: Интеграция с чатботом из предыдущего пункта.
Эксперты курса:
Александр Потехин (NLP Lead, X5 Tech), Роман Соломатин (ML Engineer, X5 Tech), Дарья Андреева (ML Engineer, X5 Tech), Кристина Желтова (Директор по разработке моделей, Газпромбанк), Евгений Кокуйкин (CEO, Raft).
Предыдущие части курса:

Часть 1. Своя LLM
Часть 2. Prerequisites для RAG
Часть 3. RAG
Часть 4. Агенты





СКАЧАТЬ СЛИВЫ КУРСОВ

Для возможности скачивать складчины и сливы курсов нужно зарегистрироваться