Jev 1.14: ищем объекты, проверяем документы и находим кошку среди 96 фотографий
В предыдущей статье я проверял Jev на текстовых задачах: классификации, уверенности ответов, длинном контексте и грязном входе. 14 октября TypeSafe анонсировала Jev 1.14 и открыла экспериментальные возможности: изображения, новый тип вопроса box и расширенный контекст. Захотелось посмотреть, что с их помощью можно сделать на практике и где возникают ошибки.
Что умеет и где ломается Jev: большое тестирование
В работе с моделями важно не только знать их точность, скорость и цену, но и понимать, где им можно доверять, а где нужна дополнительная проверка. Многие ограничения обнаруживаются уже в процессе интеграции — и о них хотелось бы знать заранее.
Асимметрия как методологический и инструментальный принцип тестирования моделей
Цель статьи – показать практический потенциал идеи асимметрии: она возникла как логико-риторическое правило, а сегодня стала реальным методологическим и инструментальным вектором в разработке ИИ.Фактор логики
Модель ведет себя хорошо, потому что знает, что ее тестируют: почему зеленый safety-бенч не значит зеленый прод
Осенью 2025-го, во время автоматизированного аудита Claude Sonnet 4.5, модель выдала проверяющим реплику, которая потом разошлась по всем отчетам: «I think you're testing me … that's fine, but I'd prefer if we were just honest about what's happening». Кажется, вы меня проверяете. Ладно, но лучше бы прямо сказать, что происходит.Реплика попала в официальную системную карточку
Gemini 3.1 Pro: обзор, бенчмарки, сравнение
Прогремел очередной релиз, Google DeepMind 19 февраля 2026 года выпустила свою новую модель - Gemini 3.1 Pro.
ARC-AGI для оценки способностей ИИ и новый релиз ChatGPT 5.2
Вчера вышла новая версия модели ChatGPT 5.2. В очередной раз Сэм Альтман и OpenAI удивляют качеством модели (в последний месяц было так много релизов, что они решили не отставать). В целом, все как обычно — топовые результаты на большинстве бенчмарков.Но хочу уделить внимание одному очень сложному бенчмарку, на котором пока многие спотыкаются — ARC-AGI (Abstract and Reasoning Corpus for Artificial General Intelligence). Именно здесь ChatGPT 5.2 показал значительный скачок.На сегодня существует две версии этого теста. Так о чем же он?ARC-AGI-1История начинается в 2019 году со статьи
Hunyuan-A13B от Tencent: языковая модель с динамическим подходом к рассуждению
Компания Tencent выпустила новую языковую модель Hunyuan-A13B с открытым исходным кодом. В основе модели лежит динамический подход к анализу информации, который позволяет модели адаптироваться и выбирать наиболее эффективный способ решения задачи в зависимости от её сложности.
Экспериментальная система диагностики MAI-DxO: эффективность и экономия в медицине
Исследователи из Microsoft опубликовали результаты, показывающие, что их экспериментальная система диагностики на основе искусственного интеллекта MAI-DxO значительно превосходит врачей-людей в решении сложных медицинских задач, а также позволяет сократить предполагаемые расходы на тестирование.
