Yandex Advanced Personal Intelligence Lab.
(лаборатория перспективных исследований персонального интеллекта)
Возвращаюсь в Яндекс!
Моя давняя амбиция — немного подвинуть рексисоидов из Дипмайнда. Показать, что мы тоже умеем (научились) в рексис. Что у нас есть свое видение, навыки, и мы можем мощно контрибьютить в общее фундаментальное развитие рекомендательных систем. А еще персонализация — это, кмк, очень важная задача, которой в силу проф. деформации топовые лабы занимаются постольку-поскольку. И что человечество пока не сильно продвинулось в персонализации агентов/чатботов; в общем, есть куда поконтрибьютить.
Чтобы эту амбицию реализовать, нужно:
* построить
крутую команду — такой опыт у меня уже есть. Раньше я в основном "черпал" талантов из пула ммпшников; все самые удачные наймы — это кличи на стажировку в чатик выпускников/студентов ммп. Но даже самых талантливых ребят надо было года два учить рекомендашкам/large-scale диплернингу. Сейчас ситуация проще — рексис коммьюнити / популярность рексиса среди студентов / пул кадров растут; а с онбордингом помогает
дипрексис курс.
*
много ресурсов. Чем больше ресурсов (GPU/CPU/диск), тем быстрее ставятся эксперименты. На масштабе рекомендаций, когда мы работаем с очень большими датасетами (см. следующий пункт), без нормальных ресурсов вообще тяжело.
* конкретно в рекомендашках еще важен
доступ к пользовательским данным; и чем больше данных, тем лучше — особенно для текущих фронтирных направлений.
* и, наконец, нужен
доступ к продакшну и к коллегам, которые помогут быстро итерироваться в оном продакшне. Сильного доверия оффлайн-оценке качества в рекомендациях нет — она смещена из-за специфики пользовательского фидбека и продовой рексистемы. Для железных выводов нужны A/B-тесты. Если посмотреть на тот же (рексис) Дипмайнд — там всё сильно production-oriented и почти во всех статьях репортятся результаты A/B тестов; аналогично Spotify Research.
Что в итоге имеем:
* для первого пункта нужно вкладываться в популяризацию и развитие образования в области рекомендательных систем. Очень много усилий было вложено в
дипрексис курс; мы на этом не останавливаемся и планируем вторую итерацию — более масштабную и ещё более актуализированную.
* для остального
нужно быть частью индустрии. В академии нет нужного количества ресурсов, доступа к данным нужного масштаба и A/B тестов на реальных пользователях.
Так вот.
Буду строить свою лабу в Яндексе! Почему Яндекс: в любом другом месте мне потребовалось бы много времени, чтобы наладить инструменты, процессы, выстроить коммуникации, встроиться в организацию. Внутри Яндекса есть разные варианты, где этим можно заниматься — я выбрал Рекламу.
Почему Реклама: это самая большая и важная рекомендательная система Яндекса. На протяжении всей карьеры в Яндексе у меня было много совместных проектов с ребятами; все ключевые разработки, типа
первых яндексовых рекомендательных трансформеров /
Дипранкера (нейросетевого ранжирования) /
Аргуса, туда успешно доехали. Команда в рекламе большая и экспертная — есть крутые зрелые R&D / продуктовые / инфровые команды, почти со всеми из которых я хорошо знаком и вместе работал. К ребятам можно органично встроиться ресерч лабой, с хорошей синергией; и с порога получить приличное количество ресурсов.
Чем будет заниматься лаба: тем же, чем занималась моя бывшая команда, но с еще большим фокусом на ресерч. Я это позиционирую как applied research — делаем долгосрочные исследования, но при этом сохраняем прикладной фокус; прямо как (рексис) DeepMind и Spotify Research. Конечная цель — импакт в продуктах и рост метрик; и важно то, какими методами мы будем этого достигать — через фундаментальные исследования и фронтир, а не через инкрементальные улучшения и жесткий тюнинг под домены. А ещё очень важно при этом поддерживать и развивать ресерч культуру и делиться результатами с сообществом — писать статьи, участвовать в конференциях, преподавать. Также я рассчитываю, что наши наработки в конечном счете будут полезны не только рекламе Яндекса, но и другим доменам (в том числе горячо любимой мной Музыке <3). И что доведется повзаимодействовать с ребятами из YandexGPT и другими R&D командами (включая моих бывших коллег из рекомендательной службы!).
Есть видение, куда надо двигать рекомендашки (куда нас двигает bitter lesson), и есть возможность превратить его в реальность, вместе с ребятами из рекламы. Если раньше я пытался делать сразу
почти всё — ресерч, разработку инструментов, фреймворков, погружаться в продукты, внедряться — и это существенно усложняло построение сильной ресерч команды, то здесь вижу НУ ОЧЕНЬ большой потенциал для симбиоза с рекламными командами, у которых все эти аспекты уже хорошо развиты. В общем, хайп н е р е а л ь н ы й!
Про образование. Для меня, наверно, самая значимая цельная вещь, которую я сделал к текущему моменту — это
дипрексис курс. Хочется и дальше его развивать. Буду продолжать вести курсы в ШАДе и Вышке, а также руководить студентами; вообще, очень удобно делить идеи на сложные фундаментальные рабочие задачи и более локальные гипотез — и вторые проверять вместе со студентами. А ещё в Вышке я теперь
заместитель заведующего базовой кафедрой Яндекса, что даёт мне возможность устраивать всякие разные коллабы между Яндексом и Вышкой. Если вы работаете в Яндексе и хотели бы заняться преподаванием / научным руководством, то теперь я человек, который может вам в этом помочь.
P.S.: со мной можно пообщаться офлайн на
Practical ML Conf 19 сентября, где я буду в качестве участника дискуссии "От исследования к продукту и обратно...". Ну или можно написать в личку. Если лаба заинтересовала, но думаете что на текущий момент нет шансов в неё попасть / не готовы уходить с текущего места, то всё равно полезно дойти до меня и выразить свой интерес, на будущее.
Всё, пока, нет времени говорить, побежал двигать рексис фронтир))
