LLM в роли «судьи» vs. человеческая оценка: почему вместе — лучше
В гонке за следующей волной «умных» систем большие языковые модели берут на себя неожиданные роли. Одна из самых интересных — использовать такие модели как «судей» для оценки других моделей. Подход уже экономит командам массу ручной работы, но остаются вопросы: способен ли LLM уловить каждую тонкую ошибку? Что происходит в ситуациях, где критичны человеческая интуиция или глубокая предметная экспертиза?
Как оценить качество машинного перевода
Работая в области машинного перевода в компании Lingvanex, я постоянно читаю статьи в которых сравнивается качество разных переводчиков. Иногда отличие между ними составляет от 0.3 до 1% по какой-либо из метрик, но и это уже повод заявить, что их переводчик - лучший.При оценке качества машинного перевода важно не только сравнить результаты различных систем перевода, но и проверить, являются ли обнаруженные различия статистически значимыми. Это позволяет оценить, насколько полученные результаты достоверны и могут ли они быть применимы к другим наборам данных.
Почему «больше токенов ≠ лучше» или Как научить LLM работать с длинным контекстом
Всем привет! Меня зовут Наталья Бруй, я промпт-инженер в MWS AI. Вместе с моей коллегой Анастасией Тищенковой мы решили ответить на вопрос, который мучает нашего пиарщика
OpenAI сотрудничает с Broadcom для производства собственных ИИ-чипов
OpenAI объединилась с Broadcom, чтобы разработать и начать производство собственных чипов искусственного интеллекта для центров обработки данных. В рамках этой сделки OpenAI постарается снизить зависимость от Nvidia и обеспечить достаточную вычислительную мощность для работы ChatGPT, Sora и других продуктов. Также этим путём OpenAI стремится реализовать миссию по разработке искусственного сверхинтеллекта.
LLM уже может все! Или еще нет?
ВведениеЗдравствуйте! Я - автор портала текстовых игр в жанре "квест" https://questio.ru.Основная идея на страте проекта состояла в том, чтобы дать LLM максимально полное описание игровой ситуации и попросить придумать реакцию или дополнительные данные. Любая игра начинается с подготовки - создания и настройки игрового мира. Поэтому и на этом этапе казалось, что будет достаточно подробно описать требования к результату. Буквально так, как это рассказывают на всех курсах: главное - правильно составить запрос (промпт) и ИИ все сделает!
