llm. - страница 29

llm.

Миллион в config.toml, 828 тысяч в Codex и 890 тысяч на входе: что на самом деле значит окно контекста

В ~/.codex/config.toml у меня стоит model_context_window = 1000000. Codex на GPT-6.1 Sol в каждой задаче сообщает окно 828 400. Я разобрал, откуда берётся это число, поднял его до 900 000 своим каталогом моделей и прогнал синтетический вход на 890 547 токенов с контрольными метками.Контрольный запуск показал больше основного: тот же вход на 888 330 токенов прошёл и без моей правки, при окне 828 400. Ниже - как устроены эти числа, как я мерил и чего мерить не стал.Замеры сделаны 27.10.2026 на Codex CLI 0.163.0, вход через подписку ChatGPT. Часть данных - из сентябрьских проб на GPT-6 Astra, это помечено.Откуда 828 400

продолжить чтение

Как мы строим безопасную on-prem AI-платформу для корпоративных AI-агентов

Привет, Хабр! Меня зовут Назар Башинский, я разработчик в AGIMA.Персональный AI-ассистент может быть удобен для работы с текстом, но корпоративная инфраструктура требует другого уровня контроля. Пользователь может случайно передать модели пароль или токен, а агент — получить слишком широкие права и изменить данные не там, где нужно. В AGIMA мы строим безопасный on-prem-контур для AI-агентов: с проверкой прав, контролируемым доступом к внутренним системам, разделением языкового и инфраструктурного слоев и аудитом действий.

продолжить чтение

Проходим тесты hh.ru с помощью локального ИИ

На сайте Хэдхантер можно пройти тесты навыков, результаты которых должны выделять успешных кандидатов среди «основной массы». Эти же тесты входят в национальную систему подтверждения ИТ‑компетенций, а на Госуслугах за них можно получить электронный сертификат. Звучит солидно и крайне полезно, но насколько вообще репрезентативны эти тесты в современных условиях бума ИИ? Давайте разберемся.

продолжить чтение

125 токенов в секунду на RTX 4070 Ti SUPER: как я заставил локальную LLM работать полноценным кодинг-агентом

По статистике, среди рядовых пользователей настольных компов самая распространенная видеокарта имеет 16 ГБ видеопамяти. По опросам GaugeDB, такие карты занимают 27,21% рынка. У меня как раз видеокарта NVIDIA GeForce RTX 4070 Ti SUPER с 16 ГБ видеопамяти GDDR6X, которая на текущий момент стоит 900$. До сего момента главной проблемой было то, что на видеокарте такого класса невозможно было запустить LLM-агента, который будет достаточно умным и достаточно быстрым. Если запускаешь умную модель типа Qwen 3.8 27B (Dense архитектура), то на выходе получаешь 10-20 токенов в секунду. А для комфортной работы кодинг-агента надо 100-150 токенов в секунду.

продолжить чтение

5 необычных мини-ПК осени 2026 года: мощная графика, ARM-процессоры и 192 ГБ ОЗУ

продолжить чтение

Выбираем кодинг-агента для Дельфи

Котик тестирует агентовТак уж исторически сложилось, что весь научный и лабораторный софт — от программы рентгеновской рефлектометрии X-Ray Calc до нашего электронного лабораторного журнала

продолжить чтение

AI-менеджер для WB, Ozon и Маркета: почему мы начали с регулярок, а не с агента

Селлер на маркетплейсах — это человек с тремя личными кабинетами и вечным долгом перед отзывами. Утром посмотреть заказы за ночь. Проверить, что ничего не кончилось на складе. Ответить на вопросы покупателей, пока их не увидел конкурент. Поднять цену на то, что уходит слишком быстро, и понять, почему реклама съела дневной бюджет к обеду. На Wildberries, Ozon и Яндекс Маркете это одна и та же работа в трёх разных интерфейсах.Мы делаем AI-сотрудников для бизнеса, и менеджер маркетплейсов среди них самый «рукастый». Ему мало написать текст: он лезет в кабинет продавца, где лежат цены, остатки и рекламные бюджеты, то есть чужие деньги.

продолжить чтение

SEO умер? Нет, изменился до неузнаваемости

Если вы работаете в SEO хотя бы несколько лет, имя Эрика Энжа вам наверняка знакомо. Его книга «SEO — искусство раскрутки сайтов

продолжить чтение

Робот с LLM, который меня подстрелил. Часть 3

Робот с LLM, который меня подстрелил. Часть 3Содержание0. Пара слов в своё оправдание1. Принципиальная осуществимость. Langfuse2. Взаимодействие хост-ардуино3. Моторы4. Датчики5. Датчики. Магнитометр, гироскоп и комплементарный фильтр6. Датчики. Дальномер - обнаружение препятствий7. Движение. ПИД-регулятор и альфа-бета фильтр8. Камера9. Агентный цикл

продолжить чтение

LLM-беседы: эпистемный класс элементов и форм в исследованиях пространств активаций

Аннотация. В рамках теории LLM-бесед как лумановских операционных систем нового типа рассматриваются экспериментальные свидетельства из литературы о существовании элементов и форм из эпистемного класса среды развертывания таких систем – и-слоя LLM. Проанализированы результаты сторонних исследований пространств активаций, связанных с LLM-беседами, которые затрагивали элементы/формы: знакомо, незнакомо, истинно, ответ известен, не могу ответить, а также правдивость порождаемых ответов, угодливость LLM и семантическую энтропию

продолжить чтение