llm. - страница 82

llm.

GuardRate: метрики, бенчмарки и инсайты из первого аудита (часть 2)

В первой части мы верхнеуровнево рассмотрели результаты оценки 37 моделей, обсудили проблему оценки и сравнения guardrail моделей, рассказали, как лидерборд помогает с ней справиться, а также поделились инсайтами и руководством по использованию.  Теперь пришло время заглянуть во внутреннюю кухню: в этой статье мы подробно разберем устройство GuardRate Tool и GuardRate Leaderboard, ответим на вопрос, почему выбрали именно такие бенчмарки и метрики, опишем методологию и расскажем о том, как проводились эксперименты.Архитектура: как устроен прогон

продолжить чтение

AGI Benchmark. If ARC-AGI-3 is solved, do we have AGI?

Benchmarks exist so that engineers can test their projects, observe competitors, and compare their performance. Each benchmark serves a specific purpose.ARC-AGI-3 was created by the ARC Prize Foundation, founded by François Chollet, to evaluate general intelligence and the learning capabilities of AI agents. The premise behind its complex, game-like interactive tasks was that they could only be solved by an artificial intelligence capable of exploring an unfamiliar environment, grasping rules on the fly, planning actions, and adapting to new conditions. In other words, an AI that truly knows how to learn.A number of projects claim a 100% success rate on this benchmark. But this is not a victory. In this article, I will explain why.What is ARC-AGI-3

продолжить чтение

Excel, 3 маркетплейса и 170 часов рутины — как я автоматизировал работу e-commerce команды

Автоматизацию бизнеса часто обсуждают в контексте замены сотрудников: вот сейчас подключим AI, сократим отдел поддержки в три раза и получим экономический эффект.На практике мне гораздо интереснее другой класс задач.Есть сотрудники, которые умеют анализировать продажи, работать с ассортиментом, рекламой и клиентами. Но несколько часов каждого рабочего дня они тратят на то, чтобы переносить данные из одной системы в другую или в сотый раз писать почти одинаковый ответ покупателю.Один из проектов, над которым я работал, как раз оказался таким.

продолжить чтение

А зачем искусственному интеллекту душа? Филологический разбор манифеста Никиты Михалкова

Недавно Никита Михалков, помимо обычного «гона Бесов» — пусть будут с большой буквы, как у Достоевского, — высказался ещё и об искусственном интеллекте. С мыслью, которую он, как всегда, талантливо и красочно преподнёс, спорить трудно. Михалков заявил, что, если искусственный интеллект заменит естественный, искусство потеряет всякий смысл, ведь у «машины», как он по инерции окрестил ИИ, нет «ни совести, ни души, ни сострадания, ни страха, ни любви». С первой частью этого утверждения я готов согласиться почти безоговорочно, но переход ко второй кажется мне далеко не столь очевидным.

продолжить чтение

Если ваши разработчики используют Claude Code, вы еще не автоматизировали разработку

Вдохновлено творчеством художника DDees

продолжить чтение

RAG, поиск и LongContext: почему сложные пайплайны не всегда нужны

В 2023 году RAG был единственным способом засунуть знания в LLM — контекстное окно было маленьким, часто были галлюцинации. RAG постепенно стал одной из самых популярных технологий, чтобы получить базу знаний, по которой можно искать данные через натуральный язык.Но с другой стороны — RAG-пайплайн тяжёлый и трудозатратный. Компания хочет чат по своей документации. Разработчик говорит: нужен пайплайн — чанкинг, эмбеддинги, векторная база, реранкер. Два-три месяца работы плюс сервис, который надо вечно поддерживать, ради 400-страничной документации. И всё это занимает месяцы, тратит ресурсы ради не такой уж и большой выгоды.

продолжить чтение

Долговременная память для ИИ-ассистента: как превратить переписку в Telegram в структурированную базу знаний

продолжить чтение

Правда ли, что медицинский ИИ точнее врачей? Наш фреймворк помогает это выяснить

Привет, Хабр! Меня зовут Илья Копаничук, я старший научный сотрудник лаборатории «Сильный ИИ в медицине» AIRI. Мы с коллегами создаём ИИ‑инструменты, задача которых сделать качественную медицину доступнее. Например, основанное на нашей технологии приложение «Помощник по здоровью» стало лучшим ИИ‑решением в клиентском сервисе по версии Generation AI Awards 2025. Но речь сегодня не об этом.

продолжить чтение

Параллельные AI-агенты: что проверил на практике и когда они действительно полезны

Когда в работе появляется несколько независимых задач, возникает очевидная идея - "почему бы не поручить их разным AI-агентам одновременно, вместо того чтобы ждать, пока один агент закончит все по очереди?"И у этой идеи сразу два преимущества: работа завершится быстрее, каждая задача получит отдельный контекст и не будет перегружена результатами предыдущих этапов. Но у такого подхода есть обратная сторона - несколько агентов могут потреблять больше токенов, стоить дороже и оставлять после себя результаты, которые еще нужно правильно собрать и проверить.

продолжить чтение

Собрал мониторинг упоминаний бренда в ChatGPT: три способа сбора данных показали три разные картины

Для одного из клиентов собрал упоминания бренда в ответах ChatGPT. Как обычно — на 20 вопросов, но теперь тремя разными способами. Бренд без подсказки прозвучал на одном вопросе из 19 в первом съёме и ни разу в двух других. А теперь к деталям.Что я измерял и на каких вопросах

продолжить чтение