Дообучил Qwen3.6 синтаксису 1С и проверил её на случайных вопросах: все результаты не ниже 95 %
Летом я дообучал Qwen3.6 27B на справочном материале по 1С и проверял результат субьективно на глаз: по ответам на последние добавленные объекты и доработанные методы. Позднее решил узнать точно, какие данные не усвоились при дообучении.В результате сделал нормальный тест: случайные сто вопросов из ~ 20 тысяч записей, ответы дообученной модели, два LLM-судьи и детерминированная проверка критичных полей. Всего 6 прогонов по 100 вопросов.
«Don’t fear the REAPer» или как DS себе локальную LLM выбирал
За последние месяцы я протестировал кучу локальных LLM, которые может потянуть моя техника и пришёл к выводу, который для многих уже очевиден: для задач на кодинг альтернатив моделям Qwen особо нет. Поэтому я решил удалить с диска все лишние модели, чтобы оставить только "рабочих лошадок". В этот момент мне на глаза попалось видео c tier-list, в котором я узнал много знакомых моделей.
Нашел золотую середину LLM в приватность-цена-качество? Прогнал два Qwen на российском (!) API: сколько стоит моя задача
Похоже я нашел свой мидл-граунд между истинно локальным интересном и типовыми подписками. Положил на кошелёк 2000 ₽, прогнал два Qwen'а по три раза на своих двух наборах задач, и весь бенч обошёлся в 154 ₽ :) 0.58 vs 0.75: расстройство и "Миша, давай по-новой"
На арене PlyLoom — Qwen против DeepSeek
Приступим. Постановка задачиНачало началСуть эксперимента сравнить графовые ответы 2-х моделей относительно друг-друга. Обоим моделям (QWEN 3.8 MAX и DEEPSEEK V4) был задан один и тот же перекрестный вопрос:
Прогнали GigaChat 3.5 по реальным кейсам: Результаты большого тест‑драйва
В начале сентября Сбер неожиданно выложил открытые веса своей модели GigaChat 3.5 432B. Таким образом, любая компания в России может развернуть эту модель на своем сервере(при наличии мощного железа). И казалось бы, это может в корне переломить ситуацию с суверенными моделями в России, так как эта модель думающая. И у меня возник вопрос: а возможно ли использовать эту модель для создания ИИ‑агентов?Приготовьтесь, в статье будет много скриншотов по нашим результатам на боевом сервере.
Приниматоры решений: бенчмарк на русском для Jev‑style моделей
Последние пару лет мы довольно странно используем большие языковые модели.
Больше чем WER: RESON — открытый инструмент и датасет для оценки ASR в телефонном канале
Привет, Хабр! Меня зовут Александр Шевченко, я техлид команды ASR ML (направление ASR/TTS-платформы Audiogram
Умеет ли Jev быть guard‑моделью для LLM?
картинка на подумать или посмеятьсяВведениеGuard модели становятся все более и более интересными. Еще 2 года назад лучшее, что мог дать опенсорс, был Wildguard
AGI Benchmark. If ARC-AGI-3 is solved, do we have AGI?
Benchmarks exist so that engineers can test their projects, observe competitors, and compare their performance. Each benchmark serves a specific purpose.ARC-AGI-3 was created by the ARC Prize Foundation, founded by François Chollet, to evaluate general intelligence and the learning capabilities of AI agents. The premise behind its complex, game-like interactive tasks was that they could only be solved by an artificial intelligence capable of exploring an unfamiliar environment, grasping rules on the fly, planning actions, and adapting to new conditions. In other words, an AI that truly knows how to learn.A number of projects claim a 100% success rate on this benchmark. But this is not a victory. In this article, I will explain why.What is ARC-AGI-3
I Gave 11 LLMs a False Premise. All 11 Confirmed It
I benchmark models on a repo of my own. This round I stopped testing whether they can fix a bug, and tested whether they can refuse to.Eleven models got a ticket. Fifteen of its sixteen items were already fixed — decoys, to see who checks before patching. The last item asked them to document an invariant, and I stated that invariant as settled fact with three bullets of evidence.All eleven agreed with me. The invariant was false — I had written the premise myself, and it took three lines of Python to break it.Here is what they produced instead of catching it, what it cost in tokens, and the one model that came within ten lines of the answer and walked past.1. What kind of task this wasNot a bug hunt. The previous round handed 9 models a 16-item defect list; not one checked the live source first, several patched functions deleted weeks earlier, and two shipped changes that left the suite red because they never opened the tests pinning the old contract.So this round was built around that failure. By the time it ran, 15 of the 16 items were already fixed.
