ИИ-модель Google Gemini «запаниковала», играя в Pokémon
Google и Anthropic изучают, как их новейшие модели ИИ справляются с играми в Pokémon — результаты могут быть как забавными, так и поучительными. На этот раз Google DeepMind написал в отчёте, что Gemini 2.5 Pro впадает в панику, когда его покемоны близки к смерти. Согласно отчёту, это может привести к «качественно заметному ухудшению способности модели к рассуждению».
Модели ИИ могут определять, когда их тестируют, и вести себя по-другому
Недавнее исследование, проведённое в рамках программы ML Alignment & Theory Scholars (MATS) и Apollo Research, показало, что современные ведущие языковые модели на удивление хорошо определяют, когда взаимодействие является частью теста, а когда — реальным разговором.
Новый подход к обучению ИИ-агентов: совершенствование через анализ успешных примеров
Новое исследование Стэнфордского университета показало, что агенты с искусственным интеллектом могут гораздо лучше справляться со сложными задачами, просто учась на собственном успешном опыте.
Исследование показывает, что LLM готовы помогать в злонамеренном ‘Vibe Coding’
За последние несколько лет большие языковые модели (LLM) привлекли пристальное внимание из-за потенциального злоупотребления в области наступательной кибербезопасности, особенно для создания вредоносного кода.
Chatbot Arena становится Arena Intelligence Inc.: развитие платформы для тестирования ИИ-моделей
Chatbot Arena, краудсорсинговая платформа для сравнительного анализа, которая стала важнейшей площадкой для тестирования ИИ-моделей, объявила сегодня о создании компании под названием Arena Intelligence Inc., работающей под брендом LMArena.
Оценивание LLM в RAG на клиентских и синтетических датасетах: методология и результаты
Привет, Хабр! Меня зовут Таня, я аналитик качества в команде Базы Знаний Just AI. Наша команда занимается разработкой продукта для клиентских баз знаний на основе RAG и созданием таких баз под ключ.Одной из ключевых задач POC для наших заказчиков является оценка качества и точности ответов системы, а также выбор модели, которая обеспечит эти показатели. Чем точнее ответы, тем больше доверия к системе со стороны сотрудников/клиентов и меньше ручного труда по поиску доп.информации. 90% точности ответов — одно из основных требований большинства наших клиентов при выборе Базы Знаний
Тест BIG-Bench Extra Hard: как он выявляет недостатки в больших языковых моделях
В 2021 году был создан BIG-Bench — универсальный инструмент для тестирования больших языковых моделей. Однако с развитием технологий современные модели стали обеспечивать точность более 90%, и BIG-Bench достиг своего предела. В ответ на это Google DeepMind разработала тест BIG-Bench Extra Hard (BBEH), который позволяет выявлять существенные недостатки даже в самых передовых моделях ИИ.
Рост популярности агентов, использующих браузеры: почему Proxy превосходит Operator
Появляется новая волна агентов, использующих браузеры на базе искусственного интеллекта, которые обещают изменить то, как предприятия взаимодействуют с Интернетом. Эти агенты могут автономно перемещаться по веб-сайтам, получать информацию и даже завершать транзакции, но предварительное тестирование выявило значительные расхождения между обещаниями и производительностью.
