llm.
«Ты senior Python-разработчик» сделал агента хуже: проверил 7 популярных приписок к промптам
Есть набор приписок, которые кочуют из чата в чат: «пожалуйста», «дам 200 долларов чаевых», «если ошибёшься, меня уволят», «ты senior-разработчик с 20-летним опытом», «подумай как следует». Год назад на Хабре вышла большая статья про такие суеверия, и вывод там был осторожный: доказательств мало, всё зависит от модели. Модели с тех пор сменились, а приписки остались. Я сам пишу «пожалуйста» чуть ли не в каждом втором запросе. Стало интересно, что они делают с кодинг-агентом сейчас. Проверять решил на скрытых тестах, ощущениям тут веры мало.Что мерил
Ошибки RAG: 6 причин, почему лагает память ИИ-агента, и как провести диагностику retrieval
RAG (Retrieval-Augmented Generation или генерация с дополненной выборкой) — это технология, которая объединяет большую языковую модель (LLM) с внешней базой знаний. Вместо того чтобы полагаться только на заученные во время обучения данные, ИИ сначала ищет точную информацию в корпоративных документах, справочниках или интернете, а затем пишет ответ на её основе.
Какие ответы LLM стоит перепроверять? Как мы искали ошибки в ответах модели по logprobs
Привет, Хабр!Меня зовут Лёша, я разработчик из команды перспективных технологий Центра развития искусственного интеллекта СПАО «Ингосстрах». Мы занимаемся интеллектуальной обработкой документов (Intelligent Document Processing, IDP) и для извлечения структурированных данных из входящих документов используем мультимодальные LLM, минуя отдельный этап распознавания текста (OCR).
AI-агент сказал «готово». Как проверить, что он действительно сделал работу
Привет 👋Самая неприятная ошибка рабочего AI-агента — не странный ответ. Это убедительное «готово», после которого кто-то идёт проверять, переделывать и извиняться перед коллегами.Ассистенту, который предлагает формулировки, можно простить неудачный абзац. Агенту, который меняет рабочие данные, этого уже мало. Мне интереснее обсуждать его приёмку: что именно должно произойти, чтобы задачу можно было считать закрытой.
Haiku поставила PASS и указала существенную ошибку: как мы разбирали отчет ревью
Проверка замечаний в отчете ревьюПри вычитке десяти статей для блога мы получили от Haiku такой отчет. Фрагмент сокращен:{ "verdict": "PASS", "meaning_preserved": true, "issues": }
Так ли нужны интерфейсы?
Когда компьютеры только появились, вопроса о том, удобен ли у них интерфейс, по большому счёту не существовало. Чтобы заставить машину что-то сделать, человеку приходилось говорить на её языке: сначала переключателями и перфокартами, потом командами в терминале. Нужно было знать, что именно написать, в каком порядке передать параметры и что означает ответ системы. Ошибка в одном символе могла привести к тому, что ничего не происходило.
На арене PlyLoom — Qwen против DeepSeek
Приступим. Постановка задачиНачало началСуть эксперимента сравнить графовые ответы 2-х моделей относительно друг-друга. Обоим моделям (QWEN 3.8 MAX и DEEPSEEK V4) был задан один и тот же перекрестный вопрос:
Как я поставил дешёвую модель-фильтр перед Claude и что показали первые две недели
У меня есть небольшой конвейер, который я называю Лабораторией. Всё интересное за день (рилсы, посты, ссылки на репозитории) я сохраняю в Telegram. Раз в сутки скрипт забирает новое, и Claude Sonnet пишет по каждому материалу разбор-инструкцию. Потом второй проход в роли редактора решает, публиковать разбор или отправить в архив.Беда в том, что сохраняю я всё подряд. В Избранном вперемешку лежат полезные гайды, мои рабочие сообщения, личное и картинки без единого слова. Когда я разметил 67 материалов, лишними для блога оказались 28. И на каждый такой Sonnet честно писал полный разбор, который редактор потом выкидывал.

