Прохождение курса Language Modeling from Scratch
Т@tech_priestessAI-инженер
6 днЛичный опыт прохождения Стэнфордского курса по созданию LLM с нуля: подход к обучению, работа с токенизаторами и использование ИИ-ассистентов.
Глубокое изучение архитектуры нейросетей помогает инженерам эффективнее внедрять локальные модели и снижать зависимость от внешних API.
- Понимание устройства LLM позволяет оптимизировать затраты и задержки при внедрении ИИ.
- Практический подход к обучению через написание кода эффективнее пассивного просмотра лекций.
- Использование ИИ-ассистентов в режиме ментора помогает быстрее осваивать сложные технические концепции.
Прохожу новый курс
Начал проходить Стэнфордский курс Language Modeling from Scratch
Моя цель - проходить по два курса в год. Зимой я проходил курс по программированию на CUDA, теперь вот учусь обучать LLM с нуля.
➡️ Мысль за этим следующая. Во-первых, чтобы хорошо делать свою работу, нужно иметь знания на 1-2 уровня глубже чем используешь в повседневной деятельности. Во-вторых, в части задач я все-таки рассчитываю, что мы начнем использовать легкие зафайнтюненные LLM-ки. Чтобы сэкономить, снизить лейтенси и главное - быть менее зависимыми от внешних API. Но тут хз, непонятно, что будет с областью через пару лет 🤷♂️
Прикольный курс. Я пока не смотрю лекции, только делаю домашки. Лекции буду смотреть по факту, когда сделаю. То, что ты не трогаешь руками - не откладывается. На этом курсе абсолютно шикарные домашки с хорошими тестами. Курс рассчитан в том числе и на самостоятельное прохождение.
Уже написал и обучил токенизатор с нуля, сейчас пишу компоненты LLM на торче.
➡️ Из интересного, с домашками идут настройки Клода и Кодекса, которые не дают агенту напрямую писать код за студента, но дают отвечать на вопросы и помогать искать ошибки. Супер полезно.
Буду делиться впечатлениями!
Кратко (AI)
Автор делится опытом прохождения курса Language Modeling from Scratch от Стэнфорда, подчеркивая важность глубокого понимания технологий для профессионального роста. В процессе обучения он самостоятельно реализует токенизатор и компоненты LLM на PyTorch, используя ИИ-ассистенты для помощи в отладке, а не для написания кода.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖