Укрощаем зоопарк API: универсальный Python-клиент для GigaChat, YandexGPT и локальных моделей (v0.5.0)
Привет, Хабр! 👋Если вы пробовали внедрять российские LLM в свои проекты, то наверняка сталкивались с "зоопарком" API. У GigaChat — OAuth2 и свои эндпоинты, у YandexGPT — IAM-токены и gRPC/REST, у локальных моделей через Ollama — третий формат.В какой-то момент мне надоело писать бесконечные if provider == 'gigachat': ... elif provider == 'yandex': ..., и я решил создать универсальный слой абстракции.Так появился Multi-LLM Orchestrator — open-source библиотека, которая позволяет работать с разными LLM через единый интерфейс, поддерживает умный роутинг и автоматический fallback (переключение на другую модель при ошибке).
Протестировал 8 брендов LLM на честность, логику и креатив. Claude победил, но Алиса неожиданно в топ-3
Бенчмарки LLM множатся как грибы после дождя, но обычному пользователю от них мало толку. Оценки программирования, математики, этики — всё это важно для разработчиков, но что, если вы просто хотите получить помощь в повседневных задачах?Я решил проверить популярные модели на том, что действительно важно:- Креативность без потери здравого смысла - Логика без галлюцинаций - Внимание к деталям без педантизма Все промпты — в статье. Можете повторить и проверить мои выводы.
Как мы искали лучшие способы классификации
Всем привет!В предыдущих статьях мы уже рассказывали о том, какими метриками можно пользоваться для оценки ответов AI-продуктов.В большом количестве метрик для решения такой задачи предварительно надо оценить, к какой категории относится тот или иной ответ.В этой статье мы преследовали две цели:На примере показать, как применяются такие метрики и как с помощью них можно оценить качество работы модели.
ReVu — Open Source AI-ревьюер для ваших Pull Request
Всем привет!Недавно мы с приятелем обсуждали, как устроены рабочие процессы в бигтех-компаниях и какую роль в них уже играет ИИ. Речь в основном шла о зарубежных компаниях — у него там есть знакомые, которые делились опытом изнутри. Один из самых любопытных моментов — использование искусственного интеллекта для предварительного код-ревью в Pull Request: прежде чем коллеги возьмутся проверять изменения, PR уже анализирует ИИ и указывает на потенциальные проблемы.
Как ContentCapture и LLM автоматизируют обработку судебных приказов, определений и постановлений ФССП
Ранее мы уже делились опытом использования LLM для обработки юридических документов и доверенностей. Сегодня расскажем о другом подходе, который применил наш технологический партнер ООО «ЕСМ-Консалтинг». При реализации нескольких показательных кейсов для крупных российских энергосбытовых компаний мы автоматизировали в них обработку судебных документов с помощью платформы ContentCapture и больших языковых моделей (LLM).
YandexGPT 5.1 Pro: открыли доступ к флагманской модели в облаке
Yandex B2B Tech открыла доступ к новой генеративной модели YandexGPT 5.1 Pro на платформе Yandex Cloud AI Studio. Новая модель лучше справляется с выполнением стандартизированных тестов (бенчмарков), по сравнению с сопоставимыми по мощности моделями с открытыми весами. YandexGPT 5.1 Pro в 58% случаев превосходит предыдущую версию, а в сравнении с GPT-4.1 от OpenAI выигрывает в 56% случаев.
