В какой-то момент обучения кажется, что в любой области – бесконечное количество тем и их никогда все не изучить. При работе же иногда возникает ощущение, что достаточно хорошо понять лишь с пару десятков фундаментальных вещей и они закроют 95% всех задач, которые вам встретятся. А многие прорывные работы – просто умное использование или расширение этих тем. Вот то, что встречается постоянно в вычислительной биологии: 🤘 Линейная регрессия. Разберитесь в этой теме и вы поймёте огромное количество статистических методов. Кроме того, линрегом можно решить удивительное количество задач и без всяких нейросетей. Ну и логистическую регрессию туда же. Чисто AGI на минималках 🤘 Principal component analysis (PCA, он же метод главных компонент). Этот придуманный 100 лет назад метод до сих пор рвёт многие foundational large scale general purpose gluten free organic модели. Не шутка 🤘 p-value. Это далеко не идеальная штука, но уж очень распространённая. Просто разберитесь один раз как она на самом деле работает и что означает, посчитайте руками на разных примерах. И вам этот мир станет сильно более понятен 🤘 Разбиение на тренировочную, валидационную и тестовую выборки. Почти в любой области вот прямо сейчас можно написать хорошую работу, найдя примеры дурацких разбиений в популярных статьях 🤘 Основные задачи машинного обучения – регрессия, классификация, representation learning, генеративный ИИ. Хотя бы что это такое, лучше – с метриками для оценки, их особенностями и недостатками 🤘 Хотя бы на пальцах (если вы не разрабатываете методы) – что такое полносвязные и свёрточные нейросети, а также трансформеры. Если вы ML-разработчик, нужно уметь написать их все руками с как можно меньшим использованием библиотек. Смотрите Карпатого для эталонных примеров 🤘 Байесовский подход. В зависимости от личных предпочтений, можно как ознакомиться с основами, так и закопаться в него на всю жизнь. Но хотя бы в общих чертах понимать надо А если вы разрабатываете новые методы машинного обучения, в дополнение к предыдущим постоянно встречаются следующие темы: 🤘 Метрики. Вы должны понимать метрики из вашей области как вашего родного брата. Если брата у вас нет, можно будет представить, что у вас он появится со странным именем Рокаук. Не берите метрики просто так из книги, курса или другой статьи. Знайте как они ведут себя на ваших данных, что они показывают, а что пропускают. Посмотрите на данные глазами и заметьте паттерны, а затем превратите их в метрику. Часто подбор правильной метрики – это как минимум пол пути к разработке нового метода 🤘 KL divergence. Просто удивительно часто встречающаяся штука 🤘 Singular Value Decomposition. Лучше разбираться вместе с PCA. Постоянно встречается в математических выводах 🤘 Неравенство Йенсена туда же. Я лично никогда не применял в работе, но в выводах читаю постоянно 🤘 Градиентные методы оптимизации. Хотя бы прочитайте раздел в книге Deep Learning и оригинальную статью по Adam, посмотрите пару лекций и напишите всё руками 🤘 Основные лосс-функции – хотя бы MSE и кросс-энтропия вам должны быть знакомы как мама родная. Если двух родителей вам мало, посмотрите ещё статью по InfoNCE 🤘 Преобразование Фурье. Не во всех областях встречается часто, но тоже очень фундаментальная вещь, которую нужно понимать Мне нравится изучать темы через применение, понимание, а затем их поломку. Сперва разберитесь, зачем что-то нужно на практике, используя как чёрный ящик. Потом поймите как это работает. И наконец найдите случаи, когда это не работает. Для относительно новых методов лучше всего начать с чтения оригинальных статей, там часто всё очень хорошо написано. Скормите это сообщение любимому чат-боту, он придумает вам подробный план Базу для этого – матан, линал – тоже, конечно, знать нужно. Заботайте эти темы, дополируйте парой практических проектов и будет вам счастье в карьере и жизни (но это не точно). И не надо думать, что учиться бессмсленно, потому что ИИ всё знает лучше. Понимание этих тем выведет ваше общение с ИИ на совсем другой уровень. И как бонус – позволит проходить собеседования Что пропустил? Пишите в комментариях! А если вы ведёте телеграм-канал, напишите такой же список по вашей области, буду рад собрать их в подборку