llm. - страница 210

llm.

Как получать эффект от ИИ, когда нет железа

Вы уверены, что для внедрения корпоративного ИИ в закрытом контуре нужны суперкомпьютеры? Мы решили проверить и добиться вменяемого качества от крошечной модели в максимально жестких условиях:CPU вместо GPU;закрытый контур.Кейс – научить крошечную модель LLM отвечать на вопросы по программе газификации РФ.В статье: пошаговый разбор, код LLLaMBA для автоматизации бенчмарка и готовые конфиги. Повторите эксперимент на своих данных!

продолжить чтение

Экономика LLM-инференса: почему ваш финдир должен знать разницу между Prefill и Decode

В 2025 году рынок корпоративного ИИ-инференса составил  ~100 миллиардов долларов. Но парадокс в том, что успех автоматизации бизнес-процессов с помощью LLM зависит не только от выбора модели, а от глубокого понимания двух принципиально разных этапов работы нейросети: Prefill и Decode. Игнорирование их различий — самая дорогая ошибка в AI-инфраструктуре, которая может исказить реальную стоимость запроса в 10-50 раз.Два подхода для обработки одного запроса

продолжить чтение

Зачем нужна система мониторинга СМИ, если можно спросить ChatGPT?

продолжить чтение

Mythos и реальность

Недавно все мы услышали громкое заявление Anthropic «наша модель Mythos очень опасна из-за своих хакерских способностей». Когда (пока) к модели нет массового доступа, человечеству сложно проверить, как все обстоит на самом деле, а хайп разгонял ряд событий:в США и Великобритании прошли экстренные совещания в банковском секторе о том, как действовать в новых реалиях;OpenAI представили свой «вариант для кибербезопасности» GPT‑5.4‑Cyber;а сервис cal.com заявил, что из опенсорсного станет закрытым, потому что обеспечивать безопасность открытого кода теперь слишком сложно.

продолжить чтение

Как научить Claude Code работать с вебом и не сжигать на этом лимиты

Попросить LLM-агента типа Claude Code "сходи в интернет и собери мне данные" - это как играть в казино. Иногда везет, и ты получаешь то что искал. А иногда сжигаешь половину дневного лимита на двух сайтах, упираешься в антибот защиту и в итоге получаешь кашу из тегов вперемешку с куском нужного контента.

продолжить чтение

Коммодитизация LLM

Об авторе: Джеффри Мур (Geoffrey Moore) — легенда в мире технологий, тот самый автор “Пересекая пропасть” (Crossing the Chasm), книги, которая десятилетиями учит стартапы переходить от энтузиастов к массовому рынку.

продолжить чтение

Cloudflare подвела итоги Agents Week 2026: что выкатили для агентных систем

Cloudflare опубликовала сводный анонс по итогам Agents Week 2026 — недели, целиком посвящённой инфраструктуре для ИИ-агентов. В центре внимания оказался не один продукт, а целый набор компонентов: среда выполнения, безопасность, инструменты для памяти и поиска, средства вывода в прод и задел под так называемый agentic web — веб, в котором заметную долю трафика и действий создают уже не люди, а агенты.

продолжить чтение

LLM как декодер в ASR: опыт адаптации SOTA архитектуры для спонтанной русскоязычной речи

Привет, Хабр! Меня зовут Коля, я разработчик машинного обучения в команде речевых технологий Контура. Мы разрабатываем собственную систему распознавания речи (ASR), которая ежедневно переваривает миллионы звонков и записей видеоконференций, чтобы потом использовать их для речевой аналитики качества коммуникаций с клиентами и для создания протоколов и резюме встреч в Контур.Толке.Мы постоянно работаем над тем, чтобы дать пользователям лучшее качество и опыт взаимодействия с нашими продуктами: борьба уже давно идет за десятые доли процента WER (Word Error Rate) – особенно сложные и трудные для распознавания случаи.

продолжить чтение

Как я экономлю 80% контекста нейросетей при работе с логами

ПроблемаЯ разрабатываю приложение KeyRay - кроссплатформенный аналог Punto Switcher, имеющий на порядок лучшую стабильность переключения раскладки. При разработке активно использую нейросети для отладки багов. И столкнулся с неприятной проблемой: при копировании логов в чат огромная часть контекстного окна уходит впустую. Работа с логами во время разработки в паре с ИИ занимает львиную долю времени и контекста чата.

продолжить чтение

Клинический профиль Gemini: синдром дефицита внимания, пикацизм и психопатия по Ганнушкину

Gemini (Google)

продолжить чтение