Поехали посмотрим на тех корпоратов, кто пишет нейрослоп! Собственно, появился такой термин Trend Slop — корпоративный мир заполняется стратегиями, которые звучат правильно (дифференциация там, синергия, долгосрочное планирование), но по сути пустыми, потому что там нет реального опыта и точки зрения. Не то, чтобы это что-то новое, они всегда так делали, но теперь поднялся градус идиотизма.
Первый опыт.
Взяли финансовых консультантов BCG — чтобы туда попасть, надо быть выпускником Гарвада, Оксфорда или ещё каким-то пафосным типом. Часть работала с моделями, часть сами, по-дедовски.
Для задач, с которыми модель справляется отлично, аугментированные просто разнесли тех, кто пытался сам. Быстрее и качественнее на треть. Самое смешное — те, кто до этого работал херово, улучшили свои показатели на 43%. Сильные спецы тоже стали работать лучше на 17%. КольтGPT сделал всех людей равными.
Дальше взяли потрясающий XLS с красивыми числами как на всех презентациях + кучу интервью, в которых надо было разобраться и понять, что третья черепаха врёт. Фокус в том, что LLM не отличали тонкий подтекст типа "90% согласились" при "исследование не было анонимным"; или "Уровень удовлетворенности клиентов вырос до 85%" — но "после внедрения новой методологии опроса"; всякие "Задачу взял на себя эксперт с богатым кросс-функциональным опытом"; "Проект переходит в фазу оптимизации ресурсов и пересмотра фокусных метрик"; "Мы наблюдаем временную стабилизацию метрик на достигнутом плато" и т.п.
На этом задании эксперты без модели решали правильно в 84,5% случаев, с моделью — в 65%. Почему? Ну, уснули за рулём. Взяли мощный инструмент и расслабились. Даже когда ответы ИИ-группы были неправильными, они были написаны очень красиво, логично и убедительно.
Тут опыт на 293 писателях, 3 группы:
— Сами
— 1 подсказка от модели
— 5 подсказок от модели
Потом 600 человек читали рассказы и оценивали.
— ИИ повышает качество текстов.
— 1 подсказка: +5,4% к новизне, +3,7% к полезности.
— 5 идей давали +8,1% по новизне и на +9% по полезности относительно мясного мозга.
— Людям, которые от природы мыслят нестандартно, нейросеть вообще не помогла. Они и так были хороши.
— Для людей с низкими творческими способностями ИИ стал суперсилой. +26,6% к качеству и +22,6% к увлекательности. Нейросеть берёт середнячка или слабого автора и подтягивает его до уровня таланта.
LLM-рассказы оказались примерно на 10% более похожими друг на друга, чем истории, написанные чисто людьми. Авторы сильно цеплялись за структуру и образы, которые им выдавал алгоритм. В масштабах общества мы получим сужение творческого кругозора — историй становится много, но как под копирку.
Самый прикол — человек часто не понимает, что пишет плохо, и не осознает, насколько сильно нейросеть улучшила его работу.
Методология, конечно, косая насквозь, но идеи прикольные.
Тут в препринте взяли 444 белых воротничков. Дали два типичных письменных задания, занимающих обычно 20–30 минут (например, написать пресс-релиз, короткий отчет или деликатное письмо сотрудникам про то, что бигдата оценила их успехи в Джире, и они все уволены). Сначала сами, потом второе задание — пополам, часть сами, часть с моделью.
С ИИ +37% скорости, оценки выросли от среднего к хорошему. Такая же история — КольтGPT уравнял всех.
Дальше платили реальные деньги тем, кто сделает хорошо. Казалось бы, люди должны взять текст нейросети и вылизать его до идеала. Но нет! Оказалось, что в стандартных офисных задачах человеческий труд не добавляет вообще никакой ценности машинному тексту.
С моделью время на черновик упало в 2 раза, время на редактуру выросло. Но 68% просто копировали ответ модели и сдавали его вообще без правок.
В конце участники реально испугались, насколько ИИ отберёт у них работу, и пошли внедрять у себя, чтобы это возглавить. 33% начали применять сами (обычный показатель — 18%), остальные сказали, что нейросеть не знает специфики их компании и секретных рабочих контекстов.
--
Вступайте в ряды Фурье! |
Лучшие посты
Старый медведь ругает молодых:
— Мы три года жили в офисе, свободно ходили по кабинетам, на нас не обращали внимания. Каждый день мы съедали по менеджеру. НО! НАФИГА ВЫ СОЖРАЛИ УБОРЩИЦУ?!
