llm. - страница 298

llm.

Топовая китайская модель для агентных задач Kimi K2–Thinking уже доступна бесплатно в Koda для VS Code и CLI

Буквально несколько дней назад китайский стартап Moonshot AI выпустил "думающую" версию своей модели K2 – K2-thinking.Kimi K2 Thinking устанавливает новые рекорды на бенчмарках (на некоторых даже опережает GPT-5!), оценивающих логическое мышление, кодинг и агентные способности.

продолжить чтение

AI против рутинной оценки чатов: как мы заменили ручную аналитику чатов LLM

Онлайн‑чат — одна из главных точек контакта клиента с банком. От того, каким будет диалог, зависит не только пользовательский опыт, но и ключевые показатели. Системная работа над качеством поддержки — реальный рычаг влияния на эффективность бизнеса. Необходимо регулярно оценивать диалоги: отмечать, где специалист справился хорошо, а где упустил важные моменты. Своевременная обратная связь даёт возможность поддерживать единый стандарт коммуникации на высоком уровне.

продолжить чтение

Почему LLM не волшебная таблетка: баланс между скоростью, качеством и достоверностью в NLP & LLM

продолжить чтение

Как я сделал аудиогид с ИИ без опыта мобильной разработки

Это рассказ о том, как я в свободное время реализовал свою старую идею, и как мне в этом помог ИИ. Я решил сделать приложение, которое превращает Википедию в говорящий аудиогид и полностью написал его с помощью ИИ, хотя никогда раньше не занимался мобильной разработкой. ИИ использовался для создания аудио рассказов и для написания приложения.

продолжить чтение

Prompt Caching в Claude: Как мы снизили затраты на AI в 2 раза

Prompt Caching в Claude: Как мы снизили затраты на AI в 2 разаКейс по оптимизации затрат на Claude API в проекте по автоматизации поиска работы. AI анализировал вакансии и генерировал сопроводительные письма. При 100 пользователях затраты достигали $180/месяц. Решение: Prompt Caching от Anthropic. Экономия 52% ($0.51 → $0.245 за batch из 50 вакансий). Теперь можно делать в 2 раза больше AI-вызовов с тем же бюджетом.Кому полезно: всем, кто работает с LLM API и хочет оптимизировать затраты.История: Когда AI начал съедать бюджет

продолжить чтение

Мне 17, завтра отчисление. Пытаюсь понять, не совершаю ли я ошибку, копаясь в AI

Привет, Хабр.Меня зовут Леонид. Этот пост попытка разложить мысли по полкам, потому что завтра я, скорее всего, перестану быть студентом. Последние пару недель я не ходил на пары, и дело не в лени. Дело в том, что я, кажется, нашел что-то более важное, и теперь пытаюсь понять, не самообман ли это.

продолжить чтение

Почему современные LLM пока не отберут работу у программистов

Целая отрасль замерла в ожидании. Заменит ли LLM программистов? Выпускники школ прямо говорят — зачем поступать на программистов, придёт ИИ и я останусь без работы. В новостях регулярно сообщается о массовых сокращениях в ИТ компаниях. Работодатели пытаются внедрить ИИ и если не уволить, то снизить зарплаты айтишников.

продолжить чтение

Как мы сделали аналитику контакт-центра на LLM в 7 раз дешевле

ВведениеМы устали слушать звонки.Не из-за любопытства - просто это занимало слишком много времени.Из 5 минут разговора рождались 20 минут отчёта в Excel, где человек вручную отмечал:«вежлив ли оператор», «упомянул ли цену», «отработал ли возражение».Мы построили систему, которая делает это автоматически:Whisper → QLoRA → отчёт → BI.Она оценивает звонки, считает метрики и не жалуется на переработки.Анализ стоит $0.0003 за звонок, и работает это лучше, чем ожидалось.Но не идеально.вот обновлённый фрагмент раздела 1. “От Excel к первому прототипу”

продолжить чтение

Что такое маршрутизатор LLM?

Большие языковые модели (LLM) стали основой современных ИИ-продуктов, обеспечивая работу всего – от чат-ботов и виртуальных ассистентов до исследовательских инструментов и корпоративных решений. Но LLM различаются по сильным сторонам, ограничениям и стоимости: одни лучше в рассуждениях, другие - в креативе, коде или работе со структурированными запросами. Здесь и нужен маршрутизатор LLM.

продолжить чтение

Как мы перестали использовать Python в production LLM-системах — и почему это было необходимо

Введение: от демо IDP-системы к production-р��ализацииВ 2023 году мы начали перерабатывать enterprise-продукт для интеллектуальной обработки документов (IDP). В его основе был зрелый, но устаревающий NLP-движок на Java — точный, надёжный, но не способный извлекать сложные сущности или рассуждать над контекстом. Решение казалось очевидным: добавить LLM.

продолжить чтение