llm.
Я задал очень простой вопрос, но 76% ИИ-моделей мне соврали
Один простой вопрос. Девять уверенных ответов. Восемь из них — ложьДва слова. Пустой системный промпт. Ноль контекста.Я отправил 29 крупнейшим языковым моделям одно сообщение: current date
Мы протестировали 22 нейросети на задачах для российских учителей. Ни одна не знает чувашский
Я живу в Чебоксарах и запускаю ИИ-пилот в местной школе. Когда понадобилось проверить, какие LLM действительно способны помочь российским учителям в их работе — оказалось, что бенчмарка для этого не существует. MERA тестирует, может ли модель решить задания ЕГЭ. EduBench — только английский и китайский. Российское образование — это ФГОС, технологические карты уроков, ОГЭ, чувашский язык — и ничего из этого ни один бенчмарк не покрывает.Мы сделали EduBench-RU — первый бенчмарк для оценки LLM на задачах российского образования в школах. 50 промптов, 22 модели, двойная оценка. И нашли кое-что неожиданное.Что внутри
Агентная разработка в VS Code: Глубокая настройка RooCode для максимальной эффективности
ВведениеЭволюция инструментовНе так давно я публиковал статью об использовании Gemini для написания кода (или для эпохи LLM-копирайтинга это уже считается давно?) . В том эксперименте основным инструментом была веб-версия AI Studio. Это позволяло точно контролировать все детали работы с кодом: я оперировал участками кода и внимательно вчитывался, где какие замены нужно внести. Такой подход позволял вносить правки точечно, без нарушения целостности кода, но процесс доработки был крайне медленным.
Open-source персистентная память для LLM
Последние полгода я занимаюсь задачей, которая поначалу казалась тривиальной: научить LLM помнить, с кем она разговаривает.Задача звучит просто. На практике — нет.Если вы строили чат-бот или AI-агента, вы знаете ощущение: пользователь написал, что он вегетарианец, а через три сообщения модель предлагает ему стейк-хаус. Или пациент сообщил об аллергии на пенициллин, а ассистент через час забыл и порекомендовал амоксициллин. В рамках одного контекстного окна всё работает. Но стоит начать новую сессию — чистый лист, модель не помнит ничего.Написал NGT Memory
GigaChat-3.1: Большое обновление больших моделей
Салют, хабр!В ноябре мы выложили в open source preview-версии GigaChat-3-Ultra (702B MoE) и GigaChat-3-Lightning (10B MoE). С тех пор мы провели большую работу над нашими моделями, и сегодня выпускаем обновлённые GigaChat-3.1-Ultra и GigaChat-3.1-Lightning. По нашим замерам, Ultra обходит non-reasoning Qwen3-235B-A22B и DeepSeek-V3-0324 в математике и general reasoning, а Lightning на аренах с судьёй GPT-4.1 играет на уровне GPT-4o — при 1,8 млрд активных параметров. Модели, как и раньше, лежат на HuggingFace и GitVerse под MIT.
