llm. - страница 47

llm.

Диктовка без «ну» и «вот»: Whisper на своём компьютере и маленький посредник к LLM

Я пишу книги, и кроме самих книг за день набирается много другого текста: сообщения, письма, задания нейросетям. Говорить быстрее, чем печатать, поэтому большую часть этого я диктую. Только живая речь, записанная слово в слово, читается плохо. Вот фраза, которую Whisper распознал без единой ошибки:Ну вот, короче, я, это самое, хотел сказать, что, ну, завтра... завтра созвон переносится, ну, на три часа, не, на четыре.А отправить я хотел вот это:Я хотел сказать, что завтра созвон переносится на четыре.

продолжить чтение

Нашёл и проверил 6 сервисов с бесплатным доступом к GPT-6, Claude и API: лимиты, бонусы и результаты тестов

Здесь есть разные варианты: бесплатные чаты с большими квотами, доступ через командную строку, стартовые кредиты на API и временные акции. Некоторые сервисы дают миллионы токенов ежедневно, другие начисляют от $10 до $25 после регистрации или подтверждения аккаунта.Vani AI - бесплатный доступ к GPT-6.1 Sol, Claude Opus 5.5 и генерации изображенийСайт: https://c.vani.ai/chatVani AI - сервис с бесплатным доступом к десяткам языковых моделей, включая GPT-6.1 Sol, GPT-6 Astra, Claude Opus 5.5, Gemini 3.8 Flash, DeepSeek V4.1 Flash и Grok 4.7. Также доступны генерация изображений, видео, речи и музыки.

продолжить чтение

Локально ≠ безопасно: как скачанные ИИ-модели и LoRA-адаптеры крадут пароли, ключи и деньги

ПредисловиеСейчас я работаю с локальными моделями и пишу мультимодальную ИИ-студию с распределённой сетью вычислений. В процессе я всё чаще сталкиваюсь с вопросами безопасности: чем больше моделей, адаптеров и узлов оказывается в контуре, тем меньше хочется доверять им «по умолчанию». Некоторые вещи, которые я увидел и о которых читал в исследованиях, касаются не абстрактных угроз, а вполне конкретных сценариев — кражи паролей, ключей, денег и данных. Я не претендую на исчерпывающий анализ, но хочу поделиться своими мыслями и напомнить, почему локальный запуск без изоляции — это риск.

продолжить чтение

HTTP-запрос закончился, а LLM ещё работает: как проектировать AI-задачи на Go

Когда пишешь обычный HTTP API на Go, использование context.Context быстро становится привычкой.Пришёл запрос, получили r.Context(), передали его в сервис, затем в репозиторий и во все внешние вызовы. Если клиент отключился или истёк таймаут, связанные операции отменяются.Для большинства backend-задач это именно то поведение, которого мы хотим.Зачем продолжать выполнять SQL-запрос, если результат уже некому возвращать? Зачем держать соединение с внешним API, если пользователь закрыл страницу?Но когда в систему добавляется LLM, эта привычная логика начинает работать не всегда так, как ожидается.

продолжить чтение

Как устроен агент: архитектура поверх LLM

Про архитектуру трансформеров написано уже немало, поэтому опишу работу LLM с прикладной точки зрения.КонтекстНа вход LLM подаётся блок текста, который называется контекстом. Размер контекста ограничен: когда всё начиналось, прорывом считались 32К, сейчас 1М — индустриальный стандарт.На основе этого текста LLM генерирует его продолжение. Современные модели выдают логически законченный фрагмент (на уровне модели он завершается специальным токеном <stop>).Контекст таким образом увеличивается: к нему можно дописать новый фрагмент — и всё повторяется заново.Вызов инструментов

продолжить чтение

ИИ-агент почти без ИИ: в моём сметчике нейросеть не посчитала ни рубля

В продукте, который называется «ИИ-сметчик», нейросеть пока не посчитала ни рубля.Компания по ремонту и отделке квартир в Москве дала мне пять рабочих смет. По ним система выдала 310 замечаний (прогоны 16–21.08.2026). Самая дорогая находка — общий итог одной сметы занижен на 515 786 ₽. Это занижение нашлось ещё при обследовании смет перед ТЗ, а правило под него я написал потом, так что здесь заслуга внимательного чтения, а не кода. Код интереснее другим: 51 подтверждённое замечание он выдал сверх эталонного списка ошибок, составленного при том обследовании. В списке их не было.

продолжить чтение

ИИ-секретарь за $77 в месяц: 88% ответов даёт DeepSeek, а три четверти денег съедают 7% запросов к Opus

Я делаю ИИ-секретаря Лизу Петровну. Это бот в Telegram и MAX: пишешь ему как человеку, текстом, голосом или фото, а он решает задачу сам или отдаёт её одному из внутренних агентов. С 30 мая ей написали 8568 запросов 118 человек.За последние 30 дней языковые модели для всех агентов обошлись в $77 (это только LLM, без генерации картинок и видео). Расскажу, как устроен выбор модели, почему почти все ответы даёт дешёвая модель, как работает память, что люди на самом деле просят у ИИ-секретаря и где он до сих пор ошибается. Всё с цифрами с прода.Задача

продолжить чтение

Квестоша: ИИ-помощник в контакт-центре агрегатора квестов

Мир Квестов — агрегатор квестов в реальности. На сайте собраны квесты разных организаторов во многих городах России, клиент выбирает игру и пишет в чат, чтобы подобрать и забронировать. С третьего квартала 2026 года первым в чате отвечает бот, которого мы назвали Квестошей. Он подбирает квест, отвечает фактами из каталога, объясняет правила площадки, собирает данные для брони и зовёт живого оператора, когда вопрос выходит за его полномочия.

продолжить чтение

Одна RTX 5070 Ti и российское облако: качество, рубли и свой бенч (часть 1)

В локальном прогоне на RTX 5070 Ti Qwen3.8-27B IQ3 получил успех на моих задачах в 91.1%, индекс 82.3 и 68.3 tok/s. Это один поток при контексте 131K, а не характеристика команды или очереди.Читал и лично слышал очень много мнений, что 131К контекста - мало, IQ3 - глупый, но у меня есть что вам рассказать.Метод и границы

продолжить чтение

Мы научили агента писать тесты так, как их пишет наша команда

продолжить чтение