LLM Evals: движущая сила новой эры ИИ в бизнесе
На днях OpenAI опубликовали в своем блоге небольшую статью с достаточно громким названием «How evals drive the next chapter in AI for businesses». Я сделал ее перевод, чуть адаптировав для лучшей читабельности, очень уж бюрократический язык в оригинале.Статью авторы называют «руководством для бизнес-лидеров». Внутри — про оценку недетерминированных систем, как к этому подходить, немного про A/B тесты и почему не стоит пытаться решить все сразу. Классический цикл фиксации метрики и постепенного ее улучшения, но с LLM спецификой.
Развитие бенчмарка MERA: от текстовых задач к мультимодальному тестированию ИИ
Всем привет, с вами команда MERA! Этот год стал для нас по-настоящему прорывным. Мы запустили MERA Industrial, MERA Code и SWE-MERA
Бенчмарки для теста телефона на производительность
Привет, Хабр! Производительность мобильного устройства
Pov-real: непопулярные мнения об индустрии genAI
Привет, Хабр! На связи Just AI, и сегодня мы собрали для вас непопулярные мнения экспертов индустрии на тему genAI. Зачем? Потому что новости о прорывных технологиях, многомиллиардных инвестициях и стартапах появляются почти каждый день – сложно не утонуть в этом потоке и понять, где реальная ценность, а где просто хайп. Критическое мышление – наше все!В нашем телеграм-канале мы устроили челлендж «pov/real»
Pov-real: развеиваем мифы об индустрии genAI и делимся непопулярными мнениями экспертов
Привет, Хабр! На связи Just AI, и сегодня мы собрали для вас непопулярные мнения экспертов индустрии на тему genAI. Зачем? Потому что новости о прорывных технологиях, многомиллиардных инвестициях и стартапах появляются почти каждый день – сложно не утонуть в этом потоке и понять, где реальная ценность, а где просто хайп. Критическое мышление – наше все!В нашем телеграм-канале мы устроили челлендж «pov/real»
Как влияет ИИ на производительность опытных разработчиков: исследование
TL;DR Провели РКИ на реальных задачах в крупных OSS-репозиториях: 16 опытных контрибьюторов, 246 задач (исправления, фичи, рефакторинг), на каждую задачу случайно разрешали/запрещали ИИ.Инструменты при «разрешено»: в основном Cursor Pro + Claude 3.5/3.7; при «запрещено» — обычная работа без генеративного ИИ.Главный итог: с ИИ задачи выполнялись в среднем на 19% дольше; качество PR сопоставимо между условиями.Перцепция расходится с данными: разработчики ожидали ускорение (~24%) и постфактум тоже считали, что ускорились (~20%).
HeroBench: проверяем, как LLM справляются со сложным планированием в виртуальных RPG-мирах
Привет! Меня зовут Петр Анохин, я руковожу группой «Нейрокогнитивные архитектуры» в Институте AIRI. Недавно мы выложили в открытый доступ новый бенчмарк для долгосрочного планирования LLM под названием HeroBench. Основанный на MMORPG‑песочнице для программистов, HeroBench проверяет способность современных моделей обрабатывать комплексный контекст, выполнять декомпозицию задач и формировать детализированные многошаговые планы достижения целей.
Часть 5. Обзор техник оценки качества систем RAG
Предисловие переводчикаПродолжаю адаптированный перевод статьи китайских исследователей Retrieval-Augmented Generation for Large Language Models: A Survey (ссылка на первую часть — здесь, на вторую часть — здесь, третью часть — здесь, четвёртую часть — здесь). Перевод этой части мы выполняли в тандеме с коллегой — Мариной Хазиевой. К некоторым терминам, как и в прошлых частях, добавлены переводы и пояснения для удобства начинающих ИТ-переводчиков.
SWE-MERA — новый динамический бенчмарк для моделей агентной генерации кода
Всем привет! Пару месяцев назад Альянс в сфере искусственного интеллекта, в который MWS AI тоже входит, запустил
