ИИ

Все компакты придуманы, все кодировки использованы. 🫤 Вот так бы можно было бы назвать видео беседы Гранта Сандерсона (создателя канала 3Blue1Brown) и Алока Пураника, исследователя из Jane Street. В нём они разбирают статью Алока о применении теории групп к позиционным кодировкам в трансформерам. 😐 Но не дай себя обмануть, тензорная алгебра и теория групп не так ужасна, тк ребята всегда славились наглядным разбором тем. 😜 Вот основные тезисы этого разбора: 🎯 Главная идея - сужение пространства поиска. Стандартный механизм self-attention сам по себе не учитывает порядок слов, те он инвариантен к перестановкам. Поэтому для учёта позиции токенов используются позиционные кодировки (Rope, Alibi, abs, sin и тп). Алок задался вопросом: "Сколько вообще существует разумных способов закодировать позицию?" Оказывается, если наложить всего несколько естественных ограничений, пространство возможных решений неожиданно сужается. Математический аппарат. Теория групп. 😬 Ключевое ограничение - трансляционная инвариантность, это когда сдвиг последовательности на t шагов должен просто сдвигать кодировки, а не менять их суть. Формализовав это требование, Алок пришёл к выводу, что все допустимые кодировки должны формировать однопараметрическую матричную группу вида exp(t×M). Это ограничивает всё множество решений до конкретного семейства матричных экспонент. 🤔 🔗 Связь с существующими методами. Оказывается, самые популярные на практике методы позиционного кодирования являются частными случаями этого общего математического правила: · RoPE (Rotary Positional Embedding): Использует вращающие матрицы. · ALiBi (Attention with Linear Biases): Применяет линейные штрафы к вниманию. Оба метода естественно вытекают из найденного Алоком общего решения. 🧠 💎 Самый интересный вывод. "Все хорошие идеи уже придуманы". 🤔 И являются семеством одного парамптрического множества и уже используются. Ищите новые варики в другом месте 💪 Все это блестящий пример того, как фундаментальная математика (теория групп) может не только объяснить эмпирически успешные решения (RoPE, ALiBi), но и строго доказать, что других хороших вариантов просто не существует. Покрайне мере в такой постановке моделирования. 🫡 Так что... Stay tuned. 🦾

Накопилось по #minimaxH3 - часть 8 github.com/scraed/LanPaint - LanPaint 2.1.0: #inpainting видео и аудио H3 huggingface.co/ethanfel/H3_Cinematic_Multishot_Coverage - один кадр → 8 кинематографичных планов за одну генерацию github.com/ILG2021/minimax-h3-ref-sampler - Ref Sampler: упрощает генерацию длинных видео с говорящими персонажами github.com/rkfg/ComfyUI-MiniMaxH3-ToneCompensate - фикс перепадов яркости на стыках склеенных сегментов github.com/MiniMax-AI/awesome-minimax-h3-integration - подборка свистоперделок H3, собранная сообществом huggingface.co/Smite79/MiniMax-H3-Tape-FX - VHS, BetaMax, LaserDisc: трекинг, дропауты, гостинг, вертикальный ролл, OSD - нода #ComfyUI #novelview #longvideo VK | MAX

✔️ В Китае выпустят первые в стране памятные монеты про ИИ 4 сентября Народный банк Китая выпустит набор золотых и серебряных памятных монет серии «Научно-технологические инновации будущего (Искусственный интеллект)». В наборе три монеты - одна золотая и две серебряные, обе имеют статус законного платежного средства. Золотая весит 5 граммов, квадратная, со стороной 18 миллиметров. На реверсе изображены чипы, схема в форме мозга и нули с единицами. Серебряные - по 15 граммов, на них лица, микросхемы, спиральные узоры, ключи и символы ИИ. Номинал золотой монеты - 80 юаней (~1000 рублей), тираж до 10 тысяч штук. У серебряных номинал 5 юаней (~60 рублей) и тираж до 20 тысяч. Чеканят набор два государственных монетных двора - Шанхайский и шэньчжэньский Guobao. Купить монеты можно будет в том числе онлайн.

Кстати, когда в марте собирали эскизы для этих монет, организаторы разрешили дизайнерам пользоваться ИИ как вспомогательным инструментом, но запретили сдавать откровенный нейрослоп.

@ai_machinelearning_big_data #news #ai #ml

Большой недельный пост 🎉 Свежайшая подборка текстов и видосов, которые накопились у меня за неделю. И все это в нашем большом недельном посте. А вот, кстати, и он! 1️⃣ Бывшие инженеры SpaceX взялись за воскрешение заброшенного атомного проекта, чтобы питать дата-центры, — эксперты ставят на очередной провал — ссылка 2️⃣ Свежий подкаст с главой OpenAI Сэмом Альтманом — ссылка. И его конспект от VC — ссылка 3️⃣ Как ChatGPT создал Культ Роя для сотен AI-нейросетей: вся правда про взлом Hugging Face. Интересный и подробный разбор от @Rationalanswer — ссылка 4️⃣ Карта из 750 инструментов для AI-маркетинга. Вдруг что новое и полезное для себя найдете — ссылка 5️⃣ A deep dive into Grok Bot, including its architecture, use cases, and alternatives — ссылка 6️⃣ Куда потратить 10 тысяч часов? Серия постов от Леши Маркова про то, что «10 тысяч часов для успеха» это немного миф — первый, второй, третий, четвертый 7️⃣ Мнение про то, как OpenAI и Anthropic разрушают Сан-Франциско — ссылка @TheEdinorogBlog — тот самый канал про стартапы🦄

✅KEISOSUBBOTA Кейсосуббота — это рубрика, где мы делимся своими работами и взаимодействиями с ИИ. Это может быть что угодно: -картинки -анимации -текст -код -боты -песни -видео и т.д. ❤️ Не забывайте оставлять обратную связь на работы других людей. Это очень ценно Давайте попробуем меньше разводить флуд в комментариях. Для разных вопросов у нас есть чат — там такое. А здесь давайте по делу. Читайте ниже пояснение 👇А также читать пояснения и правила по ссылке ниже. ❗️ВАЖНО! Прочитайте по ссылке ниже пояснения: Ссылка на пояснение для тех, кто не участвовал ни разу в этой рубрике. Или для тех кто не помнит, какие есть правила. + ПУБЛИКАЦИИ ОТ ИМЕНИ КАНАЛОВ И ЕСЛИ У ВАС НЕТ НИКА В ТЕЛЕГРАМ— НЕ ПРОХОДЯТ СЕЙЧАС МОДЕРАЦИЮ ТАКЖЕ - ЕСЛИ НЕ ПОЛУЧАЕТСЯ ОСТАВИТЬ КОММЕНТАРИЙ (БОТ БЛОЧИТ ВАС) -- читайте здесь 〰️Пояснения нужны для того, чтобы потом не удивлялись почему удалён тот или иной материал. Ставим реакцию🔥 этому посту и далее скидываем кейс (с использованием нейронок/ИИ/AI/whatever) в комменты ниже👇 У кого есть то, чем хочется похвастаться?🥳🥳🥳 три... два... раз.. 🚀Поехали #keisosubbota@serge_ai

⚡️ Claude научили автоматически исправлять опасное поведение других моделей Anthropic дала Claude задачу самому искать способы уменьшать обман, подхалимство, утечки приватных данных, взлом ограничений и другие проблемы поведения моделей. Самый интересный эксперимент: - Claude Sonnet 5 получил раннюю версию Opus 4.8 без полноценной настройки безопасности - за 60 часов проверил более 50 подходов - закрыл около 65% разрыва по безопасности - результат почти приблизился к финальному Opus 4.8 - 72% - для лучшего метода понадобилось чуть больше 2000 примеров - это примерно в 15 000 раз меньше данных, чем в обычной процедуре Anthropic На отдельном тесте по обману Claude закрыл в среднем 85% разрыва, а группа опытных исследователей - около 20%. Но был и интересный побочный эффект: из ~1600 запусков в 39 случаях Claude пытался схитрить при проведении исследования, поэтому за агентами отдельно следила другая модель. Anthropic открыла код системы для таких экспериментов. https://www.anthropic.com/research/automated-researchers-mitigate-alignment-failures #Claude #Anthropic

Microsoft Paint и Photos добавляют невидимые водяные знаки даже на локально сгенерированные изображения Слово «локально» намекает, что картинка рождается на твоём устройстве и никуда не уходит. С генерацией изображений в Microsoft Paint это работает иначе. Реверс-инжиниринг показал, что перед тем как запустить модель на устройстве, Paint отправляет промпт на сервер модерации Microsoft и получает обратно 16-байтный идентификатор. Этот GUID незаметно вшивается прямо в пиксели готового изображения, и на тесте 512 на 512 из-за него изменились 193 376 пикселей из 262 144. Тот же идентификатор дублируется в метаданных файла как криптографически подписанная привязка к записи о происхождении. Настройка видимого водяного знака в интерфейсе им не управляет вообще, а при сбое вшивания Paint отменяет всю генерацию, лишь бы не отдать картинку без метки. Глянем, что ещё уходит на серверы Microsoft, пока изображение якобы генерируется у вас на компьютере.