Оценка эффективности внедрения искусственного интеллекта
Заканчивается 2025 год, повсюду цели и лозунги о внедрении ИИ. Каждый месяц мы видим очередную новость о том, что AI технологии совершили прорыв и наша жизнь уже не станет прежней. Но действительно ли ИИ повышает производительность IT-специалистов? Без объективных метрик сложно понять - приносит ИИ пользу и сокращает трудоемкость, или создает новые проблемы - усложняет процесс, увеличивает технический долг и снижает качества кода.
Разработали кастомный модуль Битрикс24, чтобы С-Маркетинг узнал реальный вклад каждого из 1300+ сотрудников
Цели в блокнотах, Excel и «в голове» превращают стратегию компании в пазл без картинки. Для С-Маркетинга команда Далее собрала этот пазл в единое решение — специальный модуль на смарт-процессах Битрикс24. Но реализовали мы его со своими интерфейсом и логикой на bx.vue.Узнайте о функциональных возможностях системы для бизнеса, где больше тысячи сотрудников.О целяхУ более тысячи специалистов С-Маркетинга — десятки тысяч целей, которые определяют эффективность компании. Все они должны работать на достижение общих стратегических целей.
Как влияет ИИ на производительность опытных разработчиков: исследование
TL;DR Провели РКИ на реальных задачах в крупных OSS-репозиториях: 16 опытных контрибьюторов, 246 задач (исправления, фичи, рефакторинг), на каждую задачу случайно разрешали/запрещали ИИ.Инструменты при «разрешено»: в основном Cursor Pro + Claude 3.5/3.7; при «запрещено» — обычная работа без генеративного ИИ.Главный итог: с ИИ задачи выполнялись в среднем на 19% дольше; качество PR сопоставимо между условиями.Перцепция расходится с данными: разработчики ожидали ускорение (~24%) и постфактум тоже считали, что ускорились (~20%).
Cursor делает разработчиков менее эффективными?
Одно любопытное исследование опубликовала некоммерческая организация Model Evaluation and Threat Research (METR). Они пригласили 16 опытных разработчиков, работающих над крупными open-source репозиториями, чтобы те исправили 136 реальных багов. Оплата составила 150 долларов в час. Части разработчиков выдали для работы AI-инструменты, другим — нет. Исследователи записывали экраны участников, а затем изучили и проанализировали 146 часов видеозаписей. Вывод оказался следующим:
