В канале «Програмысли» Михаил Фленов обратил внимание на подставку для монитора стоимостью $1,300 — дороже, чем iPhone. Автор иронично заметил, что на этом фоне продукция Apple выглядит бюджетной по сравнению с ценой на подставку.
AMD объявила о поглощении канадского стартапа Taalas — разработчика специализированных ускорителей для инференсiа ИИ-моделей. Технология Taalas фиксирует параметры конкретной нейросети прямо в топологии чипа, за счёт чего такие ASICi обходят универсальные GPU по скорости и энергоэффективности обработки запросов.
Ранее Taalas показал скорость генерации 16 тысяч токенов в секунду на модели Llama, помещённой целиком на чип. AMD планирует встроить эту технологию в дорожную карту своих ускорителей и предлагать её в связке с GPU Instinct как готовые системные решения, что обещает жёсткую конкуренцию с Nvidia на рынке инференса.
В конце июля вышло редкое почти пятичасовое интервью с доктором Ляо Хэном — главным научным сотрудником Huawei по полупроводникам и одним из ключевых архитекторов линейки чипов «Ascendi», которые компания создаёт для обучения и работы систем искусственного интеллекта. Это первое подобное публичное выступление топ-менеджера Huawei с 2020 года, когда компания попала под американские санкции и оказалась отрезана от западных технологий производства микросхем.
Ляо Хэн заявил, что процессоры Nvidia приближаются к физическому пределу возможностей, и подробно объяснил, почему Huawei выбрала принципиально иной путь развития своих чипов, отказавшись копировать архитектуру конкурента.
Авторы каналов «Data, Stories and Languages» и «Сиолошная» разобрали популярные советы по запуску больших языковых моделей на локальном железе и показали, что все предлагаемые методы имеют серьёзные ограничения. Квантизацияi моделей до 1b заметно ухудшает качество, а использование более мелких моделей само по себе снижает результат.
Особое внимание уделено «хитрому стримингу» — методу, который якобы позволяет запускать гигантские модели на слабых видеокартах. На практике такой подход оказывается неюзабельным из-за экстремально низкой скорости.
Apple планировала закупать DRAMi-память у китайской CXMTi для устройств, продающихся за пределами США, и уже получила на это разрешение американских властей. Компания пыталась добиться сниженных цен, чтобы сократить себестоимость будущих устройств и одновременно надавить на Samsung и SK hynix, но CXMT отказалась идти на уступки.
По данным DigiTimes, эта попытка Apple использовать китайского поставщика как рычаг давления на конкурентов провалилась: корейские производители лишь укрепили свои позиции на рынке.
