Идея обучения LLM на качественных данных Линуса Торвальдса
T@extremecodeAI-инженер
1 месАвтор предлагает обучать модели на качественных данных, таких как коммиты и переписка Линуса Торвальдса, вместо массового обучения на посредственном контенте.
Да ёпта, это ж гениально. Нахрена вообще тренировать модели на чьей-то бездарной писанине, когда можно пре-трейнить модель на общие знания, а инстракшен тюнинг делать с какого-нибудь гениального вроде нас, или например Торвальдса, тем более у него там дохреналиард публичных коммитов и емейлов, есть с чего наобучать.
Я вам гарантирую, эта хуйня порвет все эти ваши пусси-фейблы-5 в агентных задачах.
ДАЙТЕ МНЕ БЕЗЛИМИТНЫЙ ДОСТУП К КЛАСТЕРУ ИЗ H100, Я ПОКАЖУ МИРУ КАК НАДО ДЕЛАТЬ.
Кратко (AI)
Автор поста критикует текущие подходы к обучению нейросетей на больших объемах низкокачественных данных. Предлагается использовать для инструкшн-тюнинга профессионально значимые данные, например, публичные коммиты и переписку Линуса Торвальдса.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖