Исследователи заподозрили Kimi в обучении на скрытых рассуждениях Claude
M@ai_machinelearning_big_dataAI-инженер
2 недИсследователи обнаружили, что модель Kimi-K3 подозрительно точно продолжает цепочки рассуждений Claude, что может указывать на использование данных при обучении.
Это ставит под вопрос чистоту данных, на которых обучаются современные нейросети.
- Подозрение в использовании проприетарных данных для обучения конкурентов.
- Риск того, что модели могут копировать логику мышления друг друга, а не учиться самостоятельно.
- Усложнение проверки авторских прав и этики обучения в сфере ИИ.
✔️ Kimi поймали на следах Claude: модель могла обучаться на его скрытых рассуждениях
Исследователи нашли способ восстанавливать зашифрованные reasoning-блоки закрытых моделей и решили проверить, помнят ли другие LLM эти скрытые цепочки.
Самая сильная аномалия оказалась у Kimi-K3.
Если дать Kimi начало конкретного рассуждения Claude, модель продолжает его намного точнее, чем другие LLM. В некоторых тестах разница доходила примерно до шести порядков.
На примере с Opus 4.8 это видно особенно хорошо: Kimi получает несколько первых токенов скрытого reasoning и дальше идёт почти по той же логике решения. Без этой подсказки рассуждает иначе.
Это ещё не доказательство того, что Moonshot напрямую использовала приватные данные Claude. Но выглядит так, будто Kimi могла видеть похожие скрытые траектории во время обучения.
Модель могла перенять сам способ решения задач.
https://x.com/kotekjedi_ml/status/2087147093735714919
#AI #Kimi #Claude #LLM
Кратко (AI)
Исследователи обнаружили, что модель Kimi-K3 демонстрирует аномально высокую точность при продолжении скрытых цепочек рассуждений модели Claude. Это может свидетельствовать о том, что при обучении Kimi использовались данные о внутренних процессах мышления моделей Anthropic. Прямых доказательств кражи данных пока нет, но сходство траекторий решения задач вызывает вопросы у экспертов.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖