llm. - страница 159

llm.

Что такое контекстное окно и почему модели забывают

Ты час разговариваешь с ChatGPT. Даёшь контекст, объясняешь задачу, уточняешь детали. А потом модель вдруг начинает противоречить тому, что говорила раньше. Забывает имя персонажа которое ты указал в самом начале. Спрашивает то, о чём вы уже договорились.Первая реакция - что-то сломалось. Но это не баг. Это фундаментальное ограничение архитектуры, у которого есть название и объяснение.Модель не помнит - она читаетГлавное заблуждение про языковые модели - что у них есть память. Что где-то внутри хранится история ваших разговоров, и модель к ней обращается.Это не так.

продолжить чтение

Пять LLM-провайдеров через один openai-клиент

У нас почти каждая заметная операция в продукте идёт через LLM: генерация follow-up, сборка КП, скоринг, саммари звонков. Пока провайдер один — это бомба замедленного действия. Он ложится по 503, упирается в рейт-лимит, или цена улетает, потому что дешёвый разбор команды почему-то крутится через флагманскую модель.Поэтому мы сделали тонкий роутер. Не фреймворк, не «оркестратор агентов» — примерно 500 строк на NestJS, которые переезжают между нашими продуктами без правок. Расскажу, что внутри и на чём набили шишки.Один клиент вместо зоопарка SDK

продолжить чтение

Cколько железа нужно ИИ-агенту? Как мы считали ресурсы для on-premise LLM и почему калькуляторы ошиблись в 5 раз

Сколько железа нужно ИИ-агенту? Как мы считали ресурсы для on-premise LLMМы в LLMStart.ru

продолжить чтение

Вайб-кодеры пришли на биржу. Что стало с фрилансом к середине 2026

Привет, Хабр!Я фрилансер! Последние годы зарабатываю только на бирже: ТГ-боты, бэкенды, AI-интеграции, с недавних пор — embedded. В начале года я писал, что разработка с LLM неизбежно станет нормой, и собирал в комментариях привычный скепсис. Так вот — она стала, по крайней мере на том же фрилансе.

продолжить чтение

Создаем автономный анализатор логов на локальных ИИ-моделях

продолжить чтение

Claude Fable 5: разработчикам важны не только бенчмарки, но и цена, лимиты и границы задач

лимиты и границы задачСначала короткий вывод: Claude Fable 5 выглядит как одна из самых сильных универсальных моделей Anthropic на текущий момент, но её не стоит использовать как модель по умолчанию для всех задач.Скорее это модель для дорогих и сложных задач: миграции кода, длительного reasoning, архитектурного анализа, продуктового проектирования, анализа данных и многошаговых инженерных сценариев. Но вместе с этим появляются три практических ограничения: высокая цена, медленная работа и очень быстрый расход лимитов.

продолжить чтение

Рождение LLM: история, которую мало кто знает

Когда люди слышат "языковая модель", у большинства сразу всплывает ChatGPT, Gemini, ну или на худой конец что-то связанное с Яндексом. Но мало кто задумывается - а с чего вообще всё началось? Кто первым решил, что машина может понимать текст не по шаблону, а по-настоящему?Я попробую рассказать эту историю без лишнего академизма - просто, но честно.До нейросетей была статистикаКонец 1980-х. Никаких тебе трансформеров, никакого обучения с подкреплением. Тогда языковые модели строились на банальной статистике - модель просто смотрела, какое слово чаще всего следует за предыдущим. Это называлось n-граммными моделями.

продолжить чтение

LLM написала, человек одобрил, никто не понял: откуда на самом деле берётся нечитаемый код

«Она написала мне идеальную документацию. Триста страниц. Теперь я не понимаю не только код, но и документацию»1. Знакомое ощущениеКод работает. Тесты проходят. А читать его невозможно. «Я бы написал это иначе» — думает каждый, кто открывал результат работы LLM-агента. Или другая сторона той же монеты: модель выдала исчерпывающий документ, в нём есть всё — а в голове после прочтения не остаётся ничего.Мы привычно называем это «низким качеством». Плохо обучили. Недотюнили. Промпт кривой. Но давайте присмотримся: качество ли это?

продолжить чтение

Модели почти год, а она всё ещё №1 по цене-качеству. Прогнал свежий батл-тест — и опять не сдвинул

Собрал четыре модели в один батч — одна сессия, один судья, те же пять тем. Сравнивать баллы из разных тестов нельзя: разница в пару баллов между сессиями — это шум, а не сигнал.qwen/qwen3-235b-a22b-2507 снова №1 по цене/качеству (value 91.6). Модель вышла 21 июля 2025 — почти год назад. Рынок несколько раз перетряхнуло, а она с трона не сдвинулась.DeepSeek V4 Flash был недооценён на 6 баллов. В апреле у меня стоял 83, в честном батче — 89, сильнейший по качеству из четырёх. Аутсайдер оказался лидером.Мнимый сюрприз развеялся.

продолжить чтение

Промпт — это творчество? Нет, это 10 блоков в жёстком порядке

Меня зовут Максим Никитин, я фаундер небольшой, но гордой студии разработки сложных и нетиповых проектов ITSalt. Большую часть прошлого года мы переводили разработку на агентов и по дороге собрали собственный фреймворк

продолжить чтение