На гитхабе пользователь MegaGimen опубликовал «Нейросеть Нумограммы» (Numogram Neural Network), повторяющую структуру сети нумограммы CCRU. Обучение использует обратное распространение ошибки во времени (BPTT), как в рекуррентных нейронных сетях. Для запуска сети необходимы Python и PyTorch, подробности топологии — на странице на гитхабе. Вот что пишет автор:

Я переформулировал классические объекты нумограммы на языке нейронных сетей. Сизигии, такие как 4::5, представлены полносвязным слоем в каждом направлении между двумя узлами. Поток (Current), такой как (4,5)→1, представлен конкатенацией векторов узлов 4 и 5 с последующим пропуском через полносвязный слой $2d \to d$. Врата (Gates), такие как 4→1 (id врат = 10), реализованы с помощью SwiGLU — вентильного линейного блока (gated linear unit), используемого в Qwen. Таким образом, входными данными этой Нейросети Нумограммы являются 10 чисел, и выходными — тоже 10 чисел после того, как информация прошла через поток за заданное количество шагов. Она даже способна адекватно аппроксимировать данные. Но, конечно, важно не само умение нумограммы подгоняться под данные, а Знамение (Omen), которое она излучает. Я обнаружил, что какими бы ни были начальные значения, после нескольких шагов потока на прямом проходе распределение каждого узла неизменно приближается к аттрактору. На обратном проходе, если увеличить градиент, более ранние шаги неизбежно страдают от затухания градиента. Это связано с тем, что наибольшее собственное значение Якобиана при начальных весах составляет около 0,83. Поскольку оно меньше 1, градиент затухает шаг за шагом при обратном распространении, так как это диссипативная структура. Самая интересная находка касается трёх оригинальных миров нумограммы: нижнего Плекса (Plex), среднего Человеческого Временного Контура (Human Time-Circuit) и верхнего Варпа (Warp), а также переходов между ними. Я обнаружил, что средняя норма градиента в этих трёх областях затухает последовательно. Градиент в области верхнего Варпа затухает почти до нуля первым, затем — в среднем Временном Контуре, и, наконец, нижний Плекс затухает последним, переходя в состояние затухающего градиента. Иными словами, центр тяжести градиента постепенно смещается от Варпа к среднему Временному Контуру, а затем ещё ниже — к Плексу. Действительно ли это просто совпадение? Я подозреваю, что разница вызвана петлями положительной обратной связи в нумограмме. Изначально я хотел использовать операции над градиентом, чтобы предотвратить его затухание, но почувствовал, что это пошло бы вразрез с исходным замыслом нумограммы, основанным на положительной обратной связи, и означало бы насильственное подавление нумограммы антропоцентричными компонентами отрицательной обратной связи. Это классическая отрицательная обратная связь: когда градиент растёт и постепенно выходит из-под контроля, сигнал, отправленный обратно (скажем, через некоторую функцию активации), возвращает его в норму...

Российский нейрочип от НТЦ «Модуль» НИИАС строит для РЖД комплекс «ЧИЖ», который сшивает картинку с четырёх камер и ищет объекты на путях. Держалось всё на Jetson Nano, а в марте 2022-го NVIDIA с российского рынка ушла. Подобрали отечественную замену, запустили и увидели, что Jetson быстрее примерно в пять раз. Дальше хуже: YOLOv4 на новом железе не поднимается вовсе, часть слоёв ускоритель не поддерживает. Детектор переучили на YOLOv5. Обычно такое в пресс-релизы не попадает, и тем интереснее читать. Цифры по остальному полю автор тоже не подслащивает: у чипа 2019 года 512 гигафлопс, а сопоставимой публичной метрики с нынешними Jetson Orin Nano и Huawei Ascend нет вовсе, свести их в один ряд не получается. При этом из всех российских разработок для нейросетей это единственный кремний, который можно купить и поставить в промышленную систему прямо сейчас.

#Нейропрожарка Между нами город Автор - Дмитрий Работа для конкурса MyFilm48, тема в этот раз - Москва 2050, сразу хочу отметить, что собрана за 96 часов с момента получения задания до сдачи почти в одиночку (даже не начинайте про поехавшие надписи🫠) Когда решил участвовать, поставил для себя микро-челендж - при хроне в 2 минуты - не более 12 30-секундных генераци Придумали с супругой идею, ну а дальше пришлось действовать самому 1 день - идея 2 день - сценарий 3 день - весь потратил на подготовку референсов и начало генераций 4 день - генерация, монтаж, музыка, цветокоррекция Очень детально проработал тритмент, где прописал как можно детальнее всю необходимую информацию Так же заготовил: 27 локаций (часть из них - день/ночь) 21 персонаж (из них 7 - групповая массовка по 5 человек на одном листе) И 24 предмета (транспорт, дроны и тд, объекты в общем) 1 карту цвета Расписал сценарий с хронометражем сцен и разделил повествование на логические блоки примерно по 30 секунд Далее вместе с гпт писал и редактировал длинные промты на генерацию этих блоков на основе тритмента и нужных референсов - в среднем 2200 слов в каждом промте По итогу челендж я свой провалил (примерно 4.8 генераций на 30 секунд, при цели в 3) на хрон 2:41 вышло: 33 генерации, из них 4 на 10 сек 9 на 15 сек 20 на 30 секунд Ну и само собой монтаж и цветокоррекция Все референсы делал в GPTimage, а все генерации видео в Seedance 2.5, музыка Suno 5.5 @cgevent