llm. - страница 34

llm.

Один скилл, четыре модели — что может пойти не так

На GitHub лежат сотни AI-скиллов. Скилл для code review, скилл для дебага, скилл для обработки PDF, скилл для анализа безопасности. Установил в Cursor или Claude Code — и твой AI-ассистент стал умнее. Звучит как npm install: поставил пакет, он работает.Но скилл — не пакет. Это текстовый файл с инструкциями, который читает языковая модель. А модели читают по-разному.

продолжить чтение

DRAматургия GPU в Kubernetes: зачем нужен DRA, если Device Plugin работает? Разбираем грабли AI-инфраструктуры

Device Plugin честно отработал свою эпоху: он научил Kubernetes видеть GPU и выдавать их подам. Но с AI‑бумом GPU превратились в общий ресурс для десятков команд. Тут уже не «лишь бы запустилось», а нужны жёсткая изоляция, топология и утилизация. Старая модель упёрлась в потолок. Чтобы обойти её ограничения, команды вынуждены городить поверх «второй Kubernetes». А это дорого, часто ломается и плохо масштабируется.

продолжить чтение

Как работают ИИ-агенты для разработки

Как и в случае с любым инструментом, понимание того, как ИИ-агенты для разработки устроены изнутри, помогает принимать более взвешенные решения о том, как именно их применять.Агент для разработки — это программа, которая служит оболочкой для LLM, расширяя возможности этой модели за счет дополнительных функций, задаваемых скрытыми промптами и реализованных в виде вызываемых инструментов.Большие языковые модели В основе любого агента для разработки лежит большая языковая модель, или LLM. Это модели вроде GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro или Qwen3.5-35B-A3B.

продолжить чтение

«Сожжение за ересь» в цифровую эпоху: почему ИИ не новый римский папа, а просто очень большая Википедия

Дисклеймер для модераторов и читателей. Да, мы продолжаем тему на стыке веры и технологий. Нет, автор не планирует основывать новую техноцерковь или заменять Святого Духа GPU-кластером. Просто далеко не везде об этом можно поговорить, а техничный Хабр позволяет обсуждать столь сложные вещи. Хорошо, что мы живём не в XVI веке (хотя у нас и своих забот хватает), и за оценку новых технологических возможностей максимум грозит, что какая-то добрая душа из местных охранителей заботливо принесёт горящий уголёк в карму минусов. Как видно, и на такое можно реагировать без негатива, а скорее с долей юмора.

продолжить чтение

В DeepPavlov добавят модули для борьбы с галлюцинациями и избыточным поиском

продолжить чтение

Как мы запустили 35B LLM на видеокарте за $500: внутри ZINC inference engine

Год назад запуск модели на 35 миллиардов параметров подразумевал облако, очередь на GPU, и счёт от провайдера в конце месяца. Сегодня я покажу, как мы сделали это на одной потребительской видеокарте AMD за $500 — без ROCm, без CUDA, без MLX, одним бинарником на Zig.Это пост про ZINC — inference engine, который мы строим с нуля под железо, которое люди реально покупают. Не как proof of concept, а как рабочий инструмент с OpenAI-совместимым API, потоковой генерацией и встроенным чатом.

продолжить чтение

VoxCPM2: открытая 2B TTS-модель на 30 языках

VoxCPM2 - крупное обновление открытой системы синтеза речи VoxCPM. Модель обучена на более 2 млн. часов мультиязычных аудиоданных и поддерживает 30 языков, включая русский, китайский, английский, японский, корейский, арабский и хинди (плюс 9 диалектов китайского).

продолжить чтение

И всё-таки она вертится…

продолжить чтение

LLM «шаблонно» креативны — подтверждено исследованием

В издательстве Oxford University Press вышло интересное исследование - они дали разным ИИ моделям выполнить задачи на креативность в заданных рамках, чтобы узнать, насколько уникальные решения они предоставят.

продолжить чтение

Телефонный звонок → структурированный JSON: строим STT + LLM пайплайн на Python

Каждый день в российском бизнесе происходят миллионы телефонных звонков. Колл-центры, клиники, юридические конторы, отделы продаж — везде, где есть телефон, есть поток неструктурированных данных, который никто не обрабатывает. Менеджер повесил трубку, записал в CRM «клиент интересовался» — и 80% информации из разговора потерялось.Я потратил полгода на то, чтобы построить пайплайн, который берёт аудиозапись телефонного звонка и выдаёт структурированный JSON: кто звонил, чего хотел, какие суммы называл, что договорились делать дальше. В процессе набил достаточно шишек, чтобы написать эту статью.

продолжить чтение