Влияние LLM на продуктивность и качество работы белых воротничков

Поехали посмотрим на тех корпоратов, кто пишет нейрослоп! Собственно, появился такой термин Trend Slop — корпоративный мир заполняется стратегиями, которые звучат правильно (дифференциация там, синергия, долгосрочное планирование), но по сути пустыми, потому что там нет реального опыта и точки зрения. Не то, чтобы это что-то новое, они всегда так делали, но теперь поднялся градус идиотизма. Первый опыт. Взяли финансовых консультантов BCG — чтобы туда попасть, надо быть выпускником Гарвада, Оксфорда или ещё каким-то пафосным типом. Часть работала с моделями, часть сами, по-дедовски. Для задач, с которыми модель справляется отлично, аугментированные просто разнесли тех, кто пытался сам. Быстрее и качественнее на треть. Самое смешное — те, кто до этого работал херово, улучшили свои показатели на 43%. Сильные спецы тоже стали работать лучше на 17%. КольтGPT сделал всех людей равными. Дальше взяли потрясающий XLS с красивыми числами как на всех презентациях + кучу интервью, в которых надо было разобраться и понять, что третья черепаха врёт. Фокус в том, что LLM не отличали тонкий подтекст типа "90% согласились" при "исследование не было анонимным"; или "Уровень удовлетворенности клиентов вырос до 85%" — но "после внедрения новой методологии опроса"; всякие "Задачу взял на себя эксперт с богатым кросс-функциональным опытом"; "Проект переходит в фазу оптимизации ресурсов и пересмотра фокусных метрик"; "Мы наблюдаем временную стабилизацию метрик на достигнутом плато" и т.п. На этом задании эксперты без модели решали правильно в 84,5% случаев, с моделью — в 65%. Почему? Ну, уснули за рулём. Взяли мощный инструмент и расслабились. Даже когда ответы ИИ-группы были неправильными, они были написаны очень красиво, логично и убедительно. Тут опыт на 293 писателях, 3 группы: — Сами — 1 подсказка от модели — 5 подсказок от модели Потом 600 человек читали рассказы и оценивали. — ИИ повышает качество текстов. — 1 подсказка: +5,4% к новизне, +3,7% к полезности. — 5 идей давали +8,1% по новизне и на +9% по полезности относительно мясного мозга. — Людям, которые от природы мыслят нестандартно, нейросеть вообще не помогла. Они и так были хороши. — Для людей с низкими творческими способностями ИИ стал суперсилой. +26,6% к качеству и +22,6% к увлекательности. Нейросеть берёт середнячка или слабого автора и подтягивает его до уровня таланта. LLM-рассказы оказались примерно на 10% более похожими друг на друга, чем истории, написанные чисто людьми. Авторы сильно цеплялись за структуру и образы, которые им выдавал алгоритм. В масштабах общества мы получим сужение творческого кругозора — историй становится много, но как под копирку. Самый прикол — человек часто не понимает, что пишет плохо, и не осознает, насколько сильно нейросеть улучшила его работу. Методология, конечно, косая насквозь, но идеи прикольные. Тут в препринте взяли 444 белых воротничков. Дали два типичных письменных задания, занимающих обычно 20–30 минут (например, написать пресс-релиз, короткий отчет или деликатное письмо сотрудникам про то, что бигдата оценила их успехи в Джире, и они все уволены). Сначала сами, потом второе задание — пополам, часть сами, часть с моделью. С ИИ +37% скорости, оценки выросли от среднего к хорошему. Такая же история — КольтGPT уравнял всех. Дальше платили реальные деньги тем, кто сделает хорошо. Казалось бы, люди должны взять текст нейросети и вылизать его до идеала. Но нет! Оказалось, что в стандартных офисных задачах человеческий труд не добавляет вообще никакой ценности машинному тексту. С моделью время на черновик упало в 2 раза, время на редактуру выросло. Но 68% просто копировали ответ модели и сдавали его вообще без правок. В конце участники реально испугались, насколько ИИ отберёт у них работу, и пошли внедрять у себя, чтобы это возглавить. 33% начали применять сами (обычный показатель — 18%), остальные сказали, что нейросеть не знает специфики их компании и секретных рабочих контекстов. -- Вступайте в ряды Фурье! | Лучшие посты Старый медведь ругает молодых: — Мы три года жили в офисе, свободно ходили по кабинетам, на нас не обращали внимания. Каждый день мы съедали по менеджеру. НО! НАФИГА ВЫ СОЖРАЛИ УБОРЩИЦУ?!