Основные метрики DeepEval для тестирования AI. Возможности и способы применения
Всем привет!DeepEval - фреймворк для оценки работы AI с открытым исходным кодом.Содержит в себе множество метрик и бенчмарков для оценки качества работы AI моделей, а также предоставляет инструменты для аналитики изменений качества работы в течение разных периодов времени.В предыдущей статье мы уже частично осветили имеющиеся у DeepEval метрики (метрики для оценки RAG).В этой статье постараемся объяснить, какой еще функционал предлагается DeepEval для работы с AI.Помимо указанных ранее в DeepEval присутствуют следующие метрики:Agentic- Task Completion- Tool Correctness- Argument Correctness
Сервер MCP Figma начал поддерживать удалённый доступ и конструктор приложений Figma Make AI
Figma выпускает обновления, которые позволяют моделям ИИ напрямую взаимодействовать с инструментом для разработки приложений и получать удалённый доступ к проектам. Сервер протокола контекста моделей (MCP) теперь поддерживает инструмент Figma Make, предназначенный для программирования приложений с помощью ИИ.
ChatGPT научили работать с внешними MCP-серверами
OpenAI расширяет функциональность своего чат-бота. Теперь ChatGPT поддерживает подключение сторонних MCP-серверов. Это открывает путь к глубокой интеграции с внешними приложениями и сервисами — от корпоративных систем до специализированных инструментов.
Explyt 4.1: поддержка Python и MCP, пользовательские Rules и Workflows
Привет, Хабр! Отправив детей в школы и детские сады (а кто-то из нас сам идет преподавать в ИТМО и СПбГУ), делимся первым релизом этой осени. Теперь вы можете использовать возможности ассистента в PyCharm. С поддержкой MCP серверов больше не нужно реализовывать отдельные интеграции для каждого инструмента. Пользовательские Rules и Workflkows помогут сделать работу агента более удобной и корректной.Другие улучшения и багфиксыповышение стабильности работы агента: уменьшилось количество ошибок при использовании агентом встроенных инструментов
Я собрал «команду мечты» из AI-агентов, чтобы заменить продакт-менеджера и консультанта. И знаете что? Это работает
AI Продакт менеджер устраивается на работу
Пишем свой MCP-сервер на Go
Пока ML- и AI-специалисты усиленно создают агентские системы, разработчики тоже хотят приобщиться к созданию нового мира. Так компания Anthropic — создатели Claude Sonnet, разработали открытый протокол MCP (Model Context Protocol), который позволяет LLM взаимодействовать с любой информационной системой. Это открыло новые возможности не только для построения более сложных и продвинутых агентских AI-систем, но и для активного участия во всём этом процессе и backend-разработчиков.Я Евгений Клецов — Go-разработчик из Cloud.ru
MCP — новый кирпичик в фундаменте AI-разработки
Model Context Protocol, расширяющий возможности AI в IDE, стремительно набирает популярность. Почему это происходит — и почему разработчикам стоит обратить на него внимание?Одна из горячих тем в области AI-кодинг-тулов и developer tooling — протокол MCP (Model Context Protocol), представленный Anthropic в ноябре 2024 года. Он стремительно набирает популярность: AI-модели и инструменты для разработчиков активно внедряют его.
Как научить нейросеть работать руками: создание полноценного ИИ-агента с MCP и LangGraph за час
Друзья, приветствую! Надеюсь, успели соскучиться.Последние пару месяцев я с головой ушёл в исследование интеграции ИИ-агентов в собственные Python-проекты. В процессе накопилось немало практических знаний и наблюдений, которыми просто грех не поделиться. Поэтому сегодня я возвращаюсь на Хабр — с новой темой, свежим взглядом и с намерением писать чаще.На повестке дня — LangGraph и MCP: инструменты, с помощью которых можно создавать действительно полезных ИИ-агентов.
MCP: новая игра на рынке искусственного интеллекта
Всё, что нужно знать о Model Context Protocol (MCP)«Даже самые продвинутые модели ограничены своей изоляцией от данных — они заперты в информационных силосах и легаси-системах». — Anthropic о важности интеграции контекста
