S-Agent 2.0 Набор восприятия в виде консольных команд для обычного кодинг-агента. Агент не просто смотрит на картинку, а измеряет сцену и опирается на числа Смысл в том, что модель часто получает верный замер и все равно отвечает мимо: путает систему отсчета или перебивает измерение интуицией. Здесь агент обязан ссылаться на посчитанное. Слабое место - ошибки реконструкции и неверно поставленный наблюдатель, они тянутся в ответ Внутри замороженные Depth Anything 3, p-mos, GeoCalib и SAM 3 • Сборка метрической сцены по фото и видео, выравнивание по гравитации • Сегментация и превращение масок в именованные 3D-инстансы • Память сцены между вызовами: позиция, размер, поза, имя • Чтение в пространственном языке: спереди, слева, ниже, с единицами и системой отсчета • Расстояния, глубина, высота, движение камеры и объектов, компас, вид сверху • Проверка масок и карты перед ответом github.com/Ropedia/S-Agent-2.0 #agent #vlm

✔️ Science Corporation впервые имплантировала зрительный чип PRIMA Биотех-стартап бывшего сооснователя Neuralink Макса Ходака расширил сферу применения своего интерфейса мозг-компьютер на неизлечимое наследственное заболевание Штаргардта, приводящее к прогрессирующей слепоте из-за гибели фоторецепторов сетчатки. В ходе клинических испытаний в Сиднейской офтальмологической больнице пациент с установленным микрочипом восстановил способность различать контрастные символы - на первом сеансе реабилитации он смог увидеть отдельную букву, а на втором - прочесть целое слово. Аппаратный комплекс PRIMA включает субретинальный чип размером 2×2 мм и внешние очки со встроенной камерой, матрица которой выступает в роли искусственного фоторецептора - она улавливает оптический сигнал от очков и трансформирует его в электрические потенциалы, стимулируя сохранившиеся слои нейронов и передавая импульс по зрительному нерву в мозг. Сейчас технология даёт монохромную картинку с узким полем обзора, но в Science Corporation уже готовят второе поколение сенсоров с меньшим размером электродов, рассчитывая в течение пяти лет приблизиться по разрешению к человеческому зрению. @ai_machinelearning_big_data #news #ai #ml

Проблеск зрения В начале октября Нобелевку по физиологии и медицине дали Карлу Дейссероту, Петеру Хегеманну и Георгу Нагелю за оптогенетику. Хегеманн и Нагель нашли у водоросли белок, реагирующий на свет, а Дейссерот с коллегами встроил его ген в нейроны грызунов — и те стали срабатывать по световому сигналу. По сути, клеткам приделали выключатель, который нажимают светом. Совсем недавно, вышла работа, где этот принцип помогает незрячим. Речь о пигментном ретините — наследственной болезни, при которой постепенно отказывают фоторецепторы, улавливающие свет клетки сетчатки. Виной могут быть мутации более чем в 100 генах, поэтому создать лечение под каждую поломку для всех сложно. Учёные пошли в обход: в сетчатке есть ганглиозные клетки, которые могут уцелеть, даже когда фоторецепторы отказали. Их и сделали светочувствительными. В международном клиническом исследовании каждый участник получил одну инъекцию в хуже видящий глаз — генетическую инструкцию для белка ChrimsonR, чувствительного к янтарному свету. Дальше вступают очки с камерой: они переводят изменения вокруг во вспышки янтарного света, вспышки возбуждают «перепрошитые» клетки, и сигнал уходит по зрительной системе в мозг. Участников было 10, у всех поздняя стадия болезни. У семерых выросла чувствительность к свету, у шестерых — клинически значимо. Из восьми, кто прошёл поведенческие тесты, четверо стали лучше обнаруживать и находить предметы. В очках пациенты распознавали дверной проём и шли вдоль линии, а запись активности мозга указывает, что зрительная информация доходит до зрительных отделов. Нормальное зрение не вернулось: читать и узнавать лица участники не смогли. Зато кто больше тренировался с очками, тот обычно лучше находил предметы в тестах — похоже, мозгу нужно время, чтобы освоить новый «язык» вспышек. @vselennayaplus

Печально, но мы с вами никогда не видели чистый зелёный. И никогда его не увидим. В глазу у нас три типа колбочек: для красного, для зелёного и для синего. Вся современная техника работает по принципу смешивания этих трёх базовых цветов. Экран не передает реальный цвет объекта, а обманывает глаз, подбирая такую комбинацию красного, зелёного и синего, чтобы мозг поверил, что видит, например, жёлтый. Но! Человеки глючные. Чувствительность зелёных колбочек очень сильно перекрывается с красными и синими. В природе нет такого луча света, который попал бы в глаз и возбудил только зелёные колбочки, не задев при этом соседние. Мы никогда не видели чистый зелёный цвет. Только грязные смеси. Настоящий зелёный увидеть не получится. Звучит как вызов, правда? Вот учёные ворвались и решили посмотреть, а на что он похож. Можно ли доставить свет прицельно только в зелёные колбочки, игнорируя остальные? Решили не мелочиться и рисовать изображение прямо на глазном дне человека, клетка за клеткой. 1. Сначала сканируют сетчатку и составляют точнейшую карту, где буквально помечена каждая отдельная колбочка и её тип. 2. Система отслеживает микродвижения глаза 960 раз в секунду, чтобы можно было попадать в нужные клетки. 3. И лазер 543 нм выстреливает микродозами света (100 000 импульсов в секунду) точно в выбранные колбочки. Это та же технология, что при лазерной коррекции зрения типа лентикулярной экстракции, но только тут лазер был вместо кинескопа, а сетчатка вместо экрана. И он не создавал кавитационные микровзрывы в ткани, а просто активировал колбочки. Нашлось 5 добровольцев. Из них трое — авторы исследования. Очень хотели посмотреть зелёный! Испытуемых просили посмотреть на этот цвет, а затем попытаться воссоздать его на расположенном рядом обычном проекторе. Люди не смогли подобрать цвет на обычном оборудовании! Говорят, что видели невероятно насыщенный сине-зеленый или бирюзовый оттенок. Чтобы хоть как-то сопоставить его с цветами реального мира (с границей цветового охвата стандартного проектора), испытуемым приходилось добавлять в свой новый цвет белый свет, то есть искусственно делать его более блёклым. Цвет назвали olo. Каждый в этом слове может увидеть своё. Чтобы убедиться, что система работает корректно, намеренно сбивали прицел лазера всего на пару клеток в сторону. Результаты были однозначными: когда система стреляла точно, люди прекрасно видели формы, линии и направление движения. Но как только лазер начинал мазать (попадая не только в зелёные, но и в синие и красные колбочки), вместо сине-зеленого фона и красных линий люди видели просто невнятную зелёную кашу (естественный цвет лазера) и не могли угадать, куда движутся точки — точность их ответов падала до уровня случайного угадывания. Анализ показал, что только 1/3 света попадает точно в цель, а 2/3 всё равно рассеивается на соседние клетки. Но даже такой точности хватило, чтобы пробить границу человеческого восприятия цветов. Так что возможно настоящий зелёный выглядит ещё круче. Но о нём можно только мечтать. -- Вступайте в ряды Фурье! | Самые цветные посты — Здравствуйте! Мы всё сделали! — Извините, а вы кто? — Мы дизайнеры, сайт вам сделали. — Но мы ничего не заказывали! — Да, но вы позвоните нам завтра и скажете, что нужно было вчера!

Укол в глаза, чтобы видеть инфракрасный! Мы и вообще млекопитающие видим свет примерно от 400 до 700 нанометров — это от фиолетового до красного. Поэтому, например, когда мы светим пультом в кондиционер, заметить это не получается. Там ближний инфракрасный. Светочувствительные белки реагируют на энергию прилетающих частиц. Инфракрасные фотоны несут очень мало энергии. Если бы мы могли видеть все ИК-фотоны, то постоянно ходили бы слепые, потому что так-то глаз тоже тёплый и нехило светит своими 37 градусами. А это тепловой шум. Но! Ведь есть апконверсия, когда мы 2 фотона меняем на 1, но с другой длиной волны. И есть область ИК, где мы не излучаем глазами. Взяли мышей, апконвертирующие нанофосфоры и стали ими мазать глаза. Они могут поглощать 2 или 3 слабых инфракрасных фотона (с длиной волны 980 нм) и тут же испускать один зелёный фотон (535 нм). Чтобы состав не размазался по глазу, прикрепили к нему белок, который цепляется за слой углеводов, покрывающих палочки и колбочки в сетчатке. 50 микрограмм на один мышиный глаз. — Не токсично (10 недель, по крайней мере). Иммунитет мышей норм. — При вспышках ИК-света зрительная кора отвечала. Мозг нетронутых мышей на ИК-свет вообще не реагировал. — В коробке мыши не заходили туда, где было ИК-освещение (прятались как от обычного света), у них нормально от него сужались зрачи и так далее. — Изображение они видят. Мыши научились отличать инфракрасный светящийся треугольник от инфракрасного круга, а горизонтальные полосы от вертикальных. ИК-картинка была примерно в два раза более "размытой" (вероятно, потому что наночастицы рассеивают свет во все стороны), но этого с запасом хватило, чтобы уверенно различать фигуры. — ИК-зрение не мешало дневному. Тут вот делали мягкие контактные линзы для человеков с аналогичными апконверсионными частицами. Там же сделали трёхцветные, то есть преобразуют не только в зелёный, но и в синий и красный — можно различать цвета в ИК-диапазоне. Важно — ближний ИК — это не тепловизор, поэтому мечты многих не сбылись. Смотреть можно будет только через тонкую светлую одежду — нейлон и полиэстер ИК-прозрачные, а хлопок и шерсть нет. Теперь ультрафиолет. Он вызывает катаракту, повреждает сетчатку и ускоряет старение глаза. Поэтому наш хрусталик стал за время эволюции жёлтым светофильтром, блокирующим УФ-лучи. Если убрать фильтр, по идее, человек должен видеть УФ. Ну, Клод Моне соврать не даст. Что узнали: — В видимом спектре обычные люди и без фильтров в хрусталиках видят одинаково. — Если свет ниже 420 нм, обычные люди слепли. Люди без хрусталиков продолжали отлично видеть ультрафиолет. — Стандартный зрительный пигмент — родопсин — имеет второй, побочный пик чувствительности, который как раз попадает в УФ-диапазон. То есть сенсоры у нас есть, но перед ними блокирующий светофильтр. Если вам удаляют хрусталик, кстати, на его место ставят линзу с УФ-фильтром. Так что снова никаких суперсил! -- Вступайте в ряды Фурье! | Самые цветные посты — Ты выглядишь по-идиотски в этих новых очках! — Но у меня нет никаких новых очков! — Зато у меня есть.

ИИ научился «читать» мозг незрячего человека — и улучшил его зрительный имплант Искусственный интеллект помог точнее управлять зрительным протезом, имплантированным в мозг ослепшего после травмы человека. Модель глубокого обучения подбирала схемы электрической стимуляции, предсказывала реакцию мозга и позволяла получать нужный эффект с меньшим током. Исследователи считают, что такой подход может сделать кортикальные протезы более точными и персонализированными — устройство сможет адаптироваться к особенностям мозга конкретного человека. https://hightech.plus/2026/08/10/ii-nauchilsya-chitat-mozg-nezryachego-cheloveka--i-uluchshil-ego-zritelnii-implant

"А почему в зрительном поле появляются какие то симметричные угловатые узоры , темно-фиолетовых оттенков, когда мы давим себе на глаза? Причем характерный размер возникающих "ячеек" меняется по определенной схеме, сначала крупные, потом помельче и тп(просьба не отвечать "давить на глаза вредно!!" Да все в курсе)" — спросил @cyberbiosec.

Во-первых, не надо прямо сейчас давить на глаза, чтобы посмотреть те же мультики. Лучше давайте вместе посмотрим научные работы! На деле нейроны сетчатки можно запустить механически. Давление на ткань вызывает разряды, а разряды нейронов для мозга — свет. Почему узоры: — Латеральное торможение — возбуждённая клетка гасит соседей, это интерференциональный узор. Это обычный фильтр для повышения контраста и выделения важной информации. Когда вас трогают за плечо, вам нужен только центр пальца например, а не все ощущения вокруг — они гасятся, и тап по вам происходит с понятными координатами, а не сразу облаком в виде отпечатка. Это же помогает лучшему пространственному разрешению, чтобы близкие датчики не перебивали друг друга — можно, например, отличать мелкие детали текстуры. — Сетчатка плоская и гнутая, а для мозга координаты преобразуются — круги становятся полосками. Решётки, соты, туннели, спирали — это константы формы Клювера, одни и те же при фосфенах (вспышках в глазах), мигрени, психоделиках и гипоксии. Во-вторых, не надо пробовать психоделики и другое. Это очень вредит вашему здоровью. Всё описано в работах! — Алкмеон Кротонский давил себе и окружающим на глаза около 530–470 до н. э. У него была гипотеза, что в глазу огонь, потому что если выписать знатного леща другому философу, то "при ударе он вырывается наружу". 2 тысячи лет так и думали, что глаз светится, только в 1741 доказали обратное. — Выяснили, что это точно механическое растяжение сетчатки. Остановка кровотока может отключить картинку, но не создаёт никакой новой с узорами. Доказали на кошках. Вторая. Разбираются разные галлюцинации с точки зрения математического распределения. У сетчатки радиальная симметрия, у коры — сдвиговая. У центра поля зрения преобразование почти совпадает с полярными координатами, а вдали от центра сводится к комплексному логарифму. Если пересчитать константы Клювера обратно на кору, то: — Туннель — вертикальные полосы; — Лучи из центра (воронка) — горизонтальные полосы; — Спираль — наклонные полосы; — Соты и паутина — прямые соты и паутинка. Тут добавили анестезию к списку того, что не надо делать с глазами. В работе добивают слой искажений и находят ещё пару закономерностей приведения мира к более естественному виду с точки зрения пользователя, что и ведёт к таким странным фильтрам при давлении. Галлюцинации создаются теми же контурами зрительной коры, которые в норме обнаруживают края и достраивают контуры. Если что, обработка такая: — Матрица точек с сетчатки едет в мозг. — Мозг хочет токенизацию, смыслы и сжатый поток данных. — В коре начинается сборка линий, контуров и углов, срабатывают всякие низкоуровневые детекторы. — Есть специальные детекторы линий, там нейроны собраны в вертикальные микроколонки (30–50 микрометров толщиной), проходящие через все слои коры. Нейроны внутри одной реагируют например, только на вертикальную линию, или только на линию под углом 45 градусов, или только на горизонтальную. Когда вы смотрите на вертикальную линию, активируется соответствующая колонка. Её возбуждающие нейроны посылают сигналы и на соседние ГАМК-интернейроны. Они подавляют детекцию похожих углов в пределах 10-20 градусов, чтобы не рисовать вам вторую линию. Край объекта надо видеть чётко, а не размытым или дрожащим — ну, знаете, как бывает при детекции объекта на видео, когда рамка вокруг него начинает дрожать. У нас детекция чуть получше. Побочку вы уже знаете. -- Вступайте в ряды Фурье! | Самые живучие посты Возраст рыбы можно определить по глазам. Чем они дальше от жопы, тем рыба старше.

Новые очки весом 23 грамма преобразуют инфракрасный свет в цветное изображение Человеческий глаз воспринимает лишь крошечную часть электромагнитного спектра. Рентгеновские лучи, ультрафиолетовое и инфракрасное излучение остаются для нас невидимыми. Приборы ночного видения и тепловизоры помогают, но они показывают мир в одноцветной зеленой или черно-белой гамме. Команда ученых из Китая разработала устройство, которое преобразует инфракрасный свет в полноцветное видимое изображение, причем делает это настолько компактно, что его можно встроить в очки весом всего 23 грамма. https://hightech.plus/2026/08/05/novie-ochki-vesom-23-gramma-preobrazuyut-infrakrasnii-svet-v-cvetnoe-izobrazhenie

Капли, которые заменили фоторецепторы При возрастной макулярной дегенерации и пигментном ретините гибнут фоторецепторы, это клетки сетчатки, которые ловят свет. Но вот что важно: остальная проводка сетчатки при этом чаще всего цела. Сигнал есть кому передавать дальше в мозг, просто его больше некому породить. Именно за эту уцелевшую часть схемы и уцепился консорциум под руководством Института биоинженерии Каталонии. Учёные сделали семейство молекул под названием prosthe6. Работают они по принципу фотофармакологии: к лекарству пришивают молекулярный переключатель, который меняет форму под светом — и включает или выключает действие вещества. Мишень у лекарства, ON-биполярные нейроны. Клетки, что в норме принимают сигнал прямо от фоторецепторов, и белок mGlu6 на них. Попал свет в глаз, молекула перещёлкнулась, в сетчатке запустилась активность, похожая на ту, что раньше начинали фоторецепторы. Что показали опыты. У ослеплённых личинок данио-рерио вернулся оптокинетический рефлекс — следящие движения глаз. У мышей с моделями обеих болезней вернулось врождённое избегание света: здоровые грызуны предпочитают темноту, слепые перестают различать светлый и тёмный отсек, а после prosthe6 снова стали уходить в тень. И, что принципиально, при освещении уровня комнаты или пасмурного дня, а не под специальной яркой лампой. Слепоту это не лечит: причину гибели фоторецепторов молекулы не трогают. Да и на людях испытаний ещё не было. Сейчас идёт работа над безопасностью и составами, которые продлят эффект. @vselennayaplus