llm. - страница 107

llm.

Почему нейросети съедают токены: что происходит с длинными чатами и как снизить расход

Один пользователь Claude пишет, что потратил больше миллиарда входных токенов. Другой оставил AI-агента без присмотра и насчитал около $6000 расходов. Цифры из Reddit стоит воспринимать осторожно, но проблема за ними реальная: длинный контекст обходится дороже, а иногда ещё и мешает модели нормально работать.

продолжить чтение

Агентура (рассказ)

В кабинете было дымно и сумрачно. В центре стоял длинный прямоугольный стол, покрытый зелёным, шершавым сукном; по краям тускло поблёскивало тёмное лаковое дерево.Никто — наверное, даже самый опытный и авторитетный из здешних сотрудников, человек, способный поднять наверх любой документ и одним росчерком решить судьбы многих людей, — не смог бы ответить на простой вопрос: когда здесь появился этот стол?До революции? Возможно.Одно было ясно всем: стол переживёт их. Переживёт он и того самого пожилого человека в тёмном форменном кителе с несколькими звёздами на погонах, который сейчас сидел во главе стола.

продолжить чтение

Помогаем детским ревматологам повышать эффективность терапии: ИИ-агент для дистанционного мониторинга

продолжить чтение

Почему цена Bitcoin «сломалась»: разбор аномалий 2022–2026 с WhyTrend

Увидел провал на графике → открыл Google или Twitter → полдня собираешь версии "почему". Знакомо? Детектор аномалий сам по себе даёт только точки на оси времени, а вопрос "почему" как был ручным, так и остаётся.В этот раз я прогнал WhyTrend не на паре аккуратных точек из Google Trends, а на полном ряде BTC за 4.5 года — и заодно на двух разных LLM. Результат оказался неожиданным: модель меньшего размера дала в три раза больше настоящих объяснений, чем более крупная. Расскажу, что случилось и почему.Что запускалиДанные — дневные close BTC/USDT, 1680 точек без единого пропуска, с 1 января 2022 по 7 августа 2026. Ключевое слово одно — Bitcoin

продолжить чтение

73 замечания начальника как датасет: делаем цифрового двойника рецензента

У меня есть руководитель, который очень хорошо ревьюит документы. Настолько хорошо, что один его проход по моим текстам породил 73 комментария. За один день.Первая реакция была ожидаемая: сесть и править. Вторая пришла минут через десять и оказалась продуктивнее: это же датасет.Дальше — история о том, как замечания одного конкретного человека превратились в чек-лист из 16 правил, чек-лист — в этап конвейера, а следующая партия документов ушла без единой правки по старым паттернам. С кодом, промптами и одним неудобным вопросом в конце.Контекст: что за документы

продолжить чтение

Галлюцинации недели: Джефф Дин уходит из Google, релиз Qwen 3.8 Max и агенты, которые завели себе доску объявлений

продолжить чтение

Топ вопросов с NLP собеседований: архитектуры LLM, инференс и оптимизация

На NLP/LLM собеседованиях все чаще проверяют не только знание трансформеров, но и понимание того, как устроены современные GPT-like модели: почему большинство генеративных LLM используют decoder-only архитектуру, чем LLaMA отличается от ванильного Transformer, зачем нужны RoPE, RMSNorm, SwiGLU и GQA. Почему инференс LLM дорогой и какие оптимизации помогают его ускорять.В этой статье - чеклист по архитектурам LLM и оптимизации инференса с картинками и схемами. Это не полноценная лекция с нуля, а тренажёр перед техническим интервью: пройтись по ключевым определениям, увидеть типовые вопросы и закрыть пробелы в формулировках.Содержание:

продолжить чтение

Один запрос, семь ИИ-поисковиков, ноль общих источников

Когда человек спрашивает у ассистента «к кому обратиться», он не получает десять синих ссылок. Он получает ответ, внутри которого названы пять-десять доменов. Для бизнеса это новая выдача, и вопрос к ней другой, чем к обычному поиску: не «какая у меня позиция», а «я вообще есть в этом ответе».Я меряю это программно: беру запрос, задаю его нескольким движкам и смотрю не на текст ответа, а на то, какие домены движок реально процитировал. 10 августа 2026 года я прогнал два запроса через семь движков в один заход. Пересечение получилось пустым: ни одного домена, который назвали бы все семеро.

продолжить чтение

2160 раундов симуляции без кнопки «стоп». Исследование MiroFish, часть 3

Третья, заключительная статья об исследовании MiroFish, открытого стека мультиагентной симуляции общества. В первой части изложены методология и находка Silent Failure; во второй слепота отчёта, управляемая графом. В этой части: как одна фраза запроса превращается в конфигурацию запуска, что систему ограничивает на длинной дистанции, и общая карта находок серии.

продолжить чтение

Голос из машины

Эссе1. Когда машина говоритЕсть в общении с современными нейросетями странность, которая особенно заметна в голосовом режиме. Человек слышит интонации, паузы, смех, мгновенную реакцию на шутку. Он спорит, задаёт вопросы, возвращается к прежним темам. Система удерживает контекст и отвечает так, что разговор легко воспринимается как встреча с собеседником.При этом рационально всё понятно: перед нами не человек. Это вычислительная система, и у нас нет надёжных оснований считать, что за её словами существует субъективная жизнь, похожая на человеческую.

продолжить чтение