В этом курсе слушатели подробно разберутся в устройстве больших языковых моделей (Large Language Models, LLM), а именно, начнут с пререквизитов к теме, а затем углубятся в особенности архитектур. В результате курса слушатели не только овладеют всей необходимой для понимания ChatGPT и других LLM теорией, но и получат большое количества практики.

В результате курса слушатели создадут готовый продукт - аналог современных приложений, работающих на основе генеративных трансформерных моделей (GPT).
Построй свой ChatGPT
с нуля
старт: 21 октября 2024
Большие языковые модели
Построй свой ChatGPT с нуля
старт: 21 октября 2024
Большие языковые модели
В этом курсе слушатели подробно разберутся в устройстве больших языковых моделей (Large Language Models, LLM), а именно, начнут с пререквизитов к теме, а затем углубятся в особенности архитектур. В результате курса слушатели не только овладеют всей необходимой для понимания ChatGPT и других LLM теорией, но и получат большое количества практики.

В результате курса слушатели создадут готовый продукт - аналог современных приложений, работающих на основе генеративных трансформерных моделей (GPT).

Полноценная система обучения, это больше чем курс

Самое главное для нас − ваши успехи. Мотивируем к учебе и следим за вашими результатами.

Можно совмещать с работой

Мы оптимизировали курс таким образом, чтобы вы могли совмещать его с работой или учебой. Нагрузка на курсе, потребует от студента уделять 10−15 часов в неделю.
Принципы обучения

Мы построим свой ChatGPT

Это главное. В процессе обучения Вы на практике познакомитесь с созданием языковой модели, что поможет фундаментально понять принципы работы современных AI-технологий.

С нуля

Будем двигаться от базовых концепций к более продвинутым техникам, закрепляя всё на практике.
Команда преподавателей
Наша команда преподавателей — это уникальное сочетание экспертов мирового уровня из ведущих университетов и топовых компаний.
  • Елена Кантонистова
    Руководитель программы
    Кандидат физико-математических наук, академический руководитель магистратуры "Искусственный интеллект" ФКН НИУ ВШЭ, доцент департамента больших данных и информационного поиска ФКН НИУ ВШЭ, выпускница ШАД Яндекс (средний балл 5/5).

    Google Scholar
  • Анатолий Бардуков
    Senior ML engineer в Wildberries

    ex-Yandex, ex-Revolut. Опыт в разработке и работе с данными 8 лет, из них 4 связаны с ML. Опыт преподавания 5 лет - ВШЭ, МФТИ, Яндекс Практикум, Skillbox, YSDA (ШАД).


    Профиль в ВШЭ

  • Мурат Хажгериев
    ML consultant, The Paige

    MSc Прикладная математика и информатика.

    Приглашенный преподаватель на программе Искусственный интелект ФКН НИУ ВШЭ.


    LinkedIn

  • Марк Блуменау
    Сотрудник научно-исследовательских институтов ФИАН, ИЗМИРАН, ИФТТ

    Преподаватель ФКН и ФФ НИУ ВШЭ, автор курса ФФ ВШЭ «От автоматизации эксперимента к решению уравнений (Python и Wolfram Mathematica)».


    Google Scholar

  • Илья Никитин
    Сотрудник научно-исследовательских институтов ИТФ им.Ландау и ИЗМИРАН

    Преподаватель ФКН и ФФ НИУ ВШЭ, автор курса ФФ ВШЭ «От автоматизации эксперимента к решению уравнений (Python и Wolfram Mathematica)».


    Google Scholar

Программа
Длительность курса 10 недель. Старт 21 октября, конец 27 декабря. В январе сдача проектной работы. В проектной работе студенты принимают участие по желанию.
Введение в Deep Learning
multi-layer perceptron, matmul, gelu
Датасеты
datasets, data loading, synthetic data generation
Micrograd
machine learning, backpropagation
Деплой 0
linux, ssh, bash
До трансформеров...
Probabilistic models and RNN
Attention is all you need
attention, softmax, positional encoder
Трансформеры
transformer, residual, layernorm, GPT-2
Токенизация
minBPE, byte pair encoding
Оптимизация
initialization, optimization, AdamW
Ускорение AI. Часть 1
device, CPU, GPU, ...
Ускорение AI. Часть 2
mixed precision training, fp16, bf16, fp8, ...
Ускорение AI. Часть 2.5
quantization, distillation. pruning
Ускорение AI. Часть 3
distributed optimization, DDP, ZeRO
Инференс. Часть 1
kv-cache
Файнтюнинг. Часть 1 SFT
supervised finetuning SFT, PEFT, LoRA, chat
Файнтюнинг. Часть 2 RL
reinforcement learning, RLHF, PPO, DPO
Мультимодальность
VQVAE, diffusion transformer
Деплой 1
API
Деплой 2
telegram, streamlit
Деплой 3
docker
Деплой 4
ci/cd, k8s
Деплой 5
model runtime optimization: triton, torchscript,...
Пример решения задач
старт: 21 октября 2024

Я хочу построить ChatGPT
Стоимость: 124999₽

Этот курс может оплатить ваш работодатель

Если знания курса пригодятся вам на текущем месте работы, поговорите с руководителем о частичной или полной оплате учёбы. Напишите нам на почту support@shvm.xyz. Менеджер свяжется с вами и сориентирует по дальнейшим действиям.
еще у нас есть чат бот

shvm ai

Бот не просто выдаёт готовые ответы, но и обучает студентов умению анализировать и решать задачи самостоятельно. Он обладает удивительной способностью превращать сложные идеи в простые объяснения, делая изучение доступным и простым для каждого.