llm. - страница 44

llm.

Регрессионное тестирование промптов: ИИ‑модель в роли читателя пропустила три из четырёх текстов, которые я правил

Я правлю промпты агентов, которые пишут и проверяют тексты. Чтобы правка не сломала то, что раньше работало, я собрал набор примеров с известным ответом и прогнал по нему проверку, где ИИ‑модель играет читателя. Сильно правленые тексты она чаще пропускала, чем возвращала.В набор вошли тексты двух видов: одни я потом сильно переписывал руками, другие почти не тронул. Если принять правку промпта по такой проверке, брак уйдёт дальше, а проверка будет гореть зелёным.Из чего собрать набор для тестирования LLM

продолжить чтение

Сначала пилот, потом стратегия: как крупный бизнес внедряет LLM

За последние два года отношение крупного бизнеса к большим языковым моделям изменилось. Спор о том, нужны ли LLM бизнесу, закончился, а технология перешла из разряда забавных игрушек в категорию стратегических инструментов.Мы в Content AI провели более 50 глубинных интервью с представителями ИТ- и ИБ-служб среднего и крупного бизнеса в отраслях ритейла, банков, нефтегаза, ТЭК, телекома и др. Разговор шел о готовности к внедрению, передаче данных, инициаторах и стоп-факторах LLM-проектов, экономике пилотов и требованиях к поставщикам.Результатами и выявленными трендами на ближайшие 1-2 года поделимся в этой статье.

продолжить чтение

70 токенов в секунду в qwen3.8–27b на RTX 3090

На текущий момент qwen3.8–27b, без сомнений, лучшая модель для программирования, которую можно запускать на потребительских видеокартах. К сожалению, прямой путь — скачать модель с официального аккаунта qwen на huggingface → запустить в своем любимом инференс‑движке может не привести к хорошему результату, поэтому я решил написать эту статью.План действий такой:Установить необходимые пакеты для сборки llamAmpere (https://github.com/JakeATX/llamAmpere) — это форк llama.cpp, оптимизированный для запуска на поколении графических адаптеров Ampere.Скомпилировать llamAmpere.Установить huggingface client.

продолжить чтение

Выносила за девять месяцев: гайдлайн по вайб-кодингу для девочек (и мальчиков)

Для тех, кто только открыл Claude Code и уже чувствует, что что-то идет не такДевять месяцев я пишу свои проекты с Claude Code. Я не разработчик и руками за это время не написала ни строчки кода. За девять месяцев можно выносить ребёнка, но их у меня уже 5, поэтому в этот раз я выносила гайдлайн по вайб-кодингу.Токсикоз тоже был, про него писала тут Вайб-кодинг без розовых очков: как я писала свой продукт с Claude

продолжить чтение

Первый RAG комом: как мы учились анализировать ошибки автотестов с помощью LLM

Привет! Меня зовут Алексей, я автотестер в hh.ru

продолжить чтение

Комнатный RAG: бесплатный ИИ-помощник-консультант по содержимому сайта

Про умных чат-ботов, которые помогают операторам контакт-центров, разбирают обращения и автоматизируют процессы, слышали, кажется, все. Помимо автоматизации целых служб есть и задача поменьше, с которой можно начать на обычном сайте.Вот обычный сайт небольшой компании. На нём описаны услуги, проекты, условия работы, иногда цены и клиенты. Посетитель приходит с конкретным вопросом: «Вы можете помочь с моей задачей?», «У вас было что-то похожее?», «А это можно установить у нас?» Чтобы разобраться, ему нужно прочитать несколько разделов и самому связать информацию.

продолжить чтение

Такого нет даже у OpenAI Dots, Grok Bot и Muse: NIKA — личные ИИ-агенты с on-device LLM (я доверила ИИ банковскую карту)

Сегодня мы публикуем десктопную macOS версию NIKA – личного ИИ-агента. Ее можно использовать как универсального автономного агента, а еще в ней можно завести личных агентов (как у Grok и OpenAI) и запускать LLM прямо на своём компьютере (а такого у них нет!). On-device здесь означает полноценный локальный инференс самой LLM-модели: после загрузки модели для диалога с ней не нужны ни облачный API, ни интернет. Это бесплатно и безопасно – в локальном режиме LLM обрабатывает запросы прямо на вашем устройстве, без обращения к облачному API. Здесь доступны диалог с моделью и память на компьютере.

продолжить чтение

Я не хочу читать то, чего вы не писали

Люди, которые раньше почти ничего не писали сами, вдруг начали выдавать развёрнутые дизайн-доки, бизнес-планы, документацию, презентации, тикеты, пулл-реквесты, статьи в блог и протоколы встреч. Всё это сгенерировано ИИ, и читать это невозможно. Мне самому ИИ помогает писать лучше и быстрее, но читать почти всё, что написал ИИ, я уже не могу. Здесь я хочу немного выпустить пар, а заодно рассказать, где ИИ мне в письме действительно помогает.ИИ ужасно пишет

продолжить чтение

Как сделать RAG-чат для сайта, который не выдумывает цены: пять решений из моего бота

С июня я делаю AI-чат для сайтов, который не выдумывает цены и не соглашается с клиентом во всём подряд. К пяти решениям из статьи я пришёл через ошибки.Зачем вообще ещё один чат-ботПо

продолжить чтение

Зачем мы жжём сутки машинного времени, если лидерборд уже есть

У нас внутри периметра работают открытые модели на ИИ-песочнице: свои видеокарты, свои сервисы, данные наружу не уходят. Регулярно появляется что-то новое, и надо решить, ставить это в контур или нет.Первое, что приходит в голову: открыть публичный лидерборд и посмотреть, у кого цифра выше. Мы так и попробовали. Не сработало, и в этой статье я расскажу почему, а заодно что мы намерили за полгода собственных прогонов.Почему чужие цифры не подошлиПричин набралось четыре, и все они выяснились не сразу.Наших моделей там почти нет.

продолжить чтение