Дайджест материалов DeepSchool за июнь-июль
D@deep_schoolAI-инженер
1 месОбзор ключевых тем DeepSchool: обучение LLM-агентов, RAG, Reinforcement Learning, world-модели Genie, FlashAttention и эволюция CNN.
Материалы помогают разобраться в актуальных методах оптимизации и обучения современных нейросетевых архитектур.
- Разбор методов обучения агентов для работы с инструментами.
- Технические подходы к ускорению работы моделей на новых GPU.
- Обзор эволюции компьютерного зрения и современных генеративных моделей.
DeepSchool Digest⚡
Собрали для вас материалы за июнь и июль в одном посте ☀️
Как собрать хорошие траектории для обучения LLM-агента — LLM-агенту недостаточно просто отвечать текстом: важно научить его выбирать действия и работать с инструментами. Разобрали, какие данные здесь нужны, и почему одного SFT обычно мало.
Late chunking — рассказали, как улучшить векторный поиск в RAG без сложной нарезки чанков.
Reinforcement Learning — подготовили пошаговый план изучения и полезные ресурсы.
Genie family — подготовили серию постов о современных world-моделях и 3D-генерациях мира.
И начали с семейства Genie от Deepmind.
FlashAttention-3 и FlashAttention-4 — разобрали, почему FlashAttention-2 отлично работал на Amper'е, но уже не раскрывал потенциал архитектур Hopper и Blackwell, и какие архитектурные изменения вновь ускорили attention.
Как свёрточные сети меняли компьютерное зрение — разобрали эволюцию CNN как последовательность инженерных ответов на ограничения предыдущих поколений моделей.
Кратко (AI)
DeepSchool представили подборку образовательных материалов за июнь и июль. Основные темы включают методы обучения LLM-агентов, оптимизацию RAG через late chunking, основы обучения с подкреплением, архитектуру world-моделей Genie и технические детали ускорения внимания в FlashAttention-3/4.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖