Исследователи Яндекса представили RATE — новый метод для оценки и улучшения машинного перевода
Наши исследователи разработали новый метод оценки качества машинного перевода. Эту разработку можно использовать для совершенствования моделей, которые уже переводят тексты довольно точно, но делают это не всегда естественно. Например, в неформальном диалоге модель может перевести «sorry, my bad» как «приношу извинения, это моя вина» вместо «извини, ошиблась». Пользователь заметит, что нейросеть выбрала излишне официальный тон, но существующие системы оценки перевода такие ошибки игнорируют. Новый метод помогает обращать внимание нейросетей на такие недочёты.Новая система оценки Яндекса называется
«Яндекс» и Институт востоковедения РАН разработали ИИ‑помощника для работы с научной информацией на восточных языках
Компания «Яндекс» и Институт востоковедения РАН создали ИИ‑помощника, который в сотни раз ускоряет анализ данных на восточных языках. Помощник обрабатывает до 1 тысячи источников в день вместо 8–10 и помогает исследователям быстрее работать с первоисточниками стран Азии, Африки и Ближнего Востока. Инструмент проходит тестирование и доступен для сотрудников Института востоковедения РАН. После тестирования помощник будет размещён для всех исследователей в открытом доступе.
Amazon предлагает перевод с помощью ИИ для книг, самостоятельно опубликованных в Kindle Store
Amazon упрощает выпуск электронных книг на нескольких языках при помощи переводчика на базе искусственного интеллекта Kindle Translate. Запущенная в бета-версии функции позволяет авторам переводить книги, самостоятельно опубликованные в Kindle Store.
Как оценить качество машинного перевода
Работая в области машинного перевода в компании Lingvanex, я постоянно читаю статьи в которых сравнивается качество разных переводчиков. Иногда отличие между ними составляет от 0.3 до 1% по какой-либо из метрик, но и это уже повод заявить, что их переводчик - лучший.При оценке качества машинного перевода важно не только сравнить результаты различных систем перевода, но и проверить, являются ли обнаруженные различия статистически значимыми. Это позволяет оценить, насколько полученные результаты достоверны и могут ли они быть применимы к другим наборам данных.
Как протестировать машинный переводчик
Машинный перевод уже стал привычной частью жизни — от деловой переписки до общения с людьми из других стран. Но за простотой нажатия кнопки «перевести» стоит сложная технология, которая требует постоянного контроля качества.В компании Lingvanex мы применяем собственный подход к выбору тестовых данных, ориентируясь на максимальную репрезентативность и адаптацию к реальным запросам клиентов. Цель состоит в том, чтобы создавать модели, которые могут точно переводить тексты как с лексической, так и с грамматической точностью, сохраняя контекст и стиль.
Офлайн переводчик на скорости 1000000 символов в секунду
Привет, Хабр!Сегодня хочу рассказать о нашем самом главном продукте офлайн решении для машинного перевода — инструменте, который позволяет компаниям переводить тексты, документы и веб-контент локально, безопасно и на скорости 1 000 000 символов в секунду (на сервере аналогичном 8 x RTX 5090)Почему мы решили сделать это решение
Перевод текста с помощью нейросетей и сервисов
Доброго времени суток, «Хабр»!Сегодня мы рассмотрим искусственный интеллект в роли переводчика. Наша цель — оценить, насколько хорошо нейросети справляются с переводом, и подвести небольшой итог: какая модель покажет лучший результат.Приступим, расставим буквы в строчку и отправим алгоритмы в бой.
Вычисление функции потерь и градиентов в AI переводчике
Привет, Хабр!Меня зовут Алексей Рудак, я основатель компании Lingvanex, которая разрабатывает решения в области машинного перевода и транскрипции речи. Продолжаю цикл статей о том, как устроен переводчик на нейронных сетях изнутри. И сейчас хочу рассказать про работу функции потерь. Для тренировки модели используется opensource фреймворк OpenNMT-tf.
