Стирая языковые границы для NLP-датасетов
Всем привет. В этом посте расскажем, как мы тестировали БЯМ для переноса англоязычных датасетов на русский. «Мы» — это ваш покорный слуга и ребята из ФИЦ ИУ РАН. Пост по факту перевод нашей научной статьи, которая была опубликована еще в апреле, но вот руки до поста дошли только сейчас.
ML Q & AI. Глава 5. Уменьшение переобучения при помощи данных
← Предыдущая глава |Предположим, что мы обучаем классификатор при помощи обучения с учителем и замечаем, что он страдает от переобучения. Какие существуют основные подходы для уменьшения переобучения путем модификации или дополнения данных?Переобучение
Qwen3-MT — Alibaba выпускает еще одну модель для машинного перевода
Это обновление основано на мощной модели Qwen3, использующей триллионы многоязычных токенов и токенов для перевода, что позволяет значительно улучшить многоязычное понимание и возможности перевода модели. Благодаря интеграции методов обучения с подкреплением модель значительно повышает точность перевода и беглость речи.
ML Q & AI. Глава 4. Гипотеза о лотерейном билете
← Предыдущая глава |О чем говорит гипотеза о лотерейном билете, и чем она полезна на практике, если оказывается верной?Гипотеза о лотерейном билете — это идея, которая появилась в 2018 году в контексте обучения нейронных сетей. Она утверждает, что в случайно инициализированной нейронной сети существует подсеть (или «выигрышный билет»), которая, если ее обучить независимо, сможет достичь такой же точности на тестовом датасете, как и полная сеть после такого же количества шагов обучения. Авторы гипотезы — Джонатан Франкл и Майкл Карбин.
Перевод текста с помощью нейросетей и сервисов
Доброго времени суток, «Хабр»!Сегодня мы рассмотрим искусственный интеллект в роли переводчика. Наша цель — оценить, насколько хорошо нейросети справляются с переводом, и подвести небольшой итог: какая модель покажет лучший результат.Приступим, расставим буквы в строчку и отправим алгоритмы в бой.
ML Q & AI. Глава 3. Few-Shot Learning
Что такое few-shot learning (обучение, FSL)? Чем оно отличается от традиционной процедуры обучения с учителем?
Language Dove: разбираем китайскую и не только грамоту
Я довольно давно живу в Армении и изучаю армянский язык для получения гражданства (“вы должны уметь читать любой документ” - сказали мне в миграционном центре). Армянский язык очень сложен, и у меня возникла идея написать приложение для иммерсивного (dove - нырнул, погрузился) чтения на иностранном языке с пословным контекстуальным переводом, которое способно работать с любыми языками, даже с самыми редкими и сложными.Сегодня я хочу вам рассказать о том, что у меня получилось - о проекте Language Dove, над которым я работаю уже полгода.Описание приложения
ML Q & AI. Глава 2. Self-Supervised Learning
Предыдущая главаЧто такое self-supervised learning (обучение) (SSL), чем оно полезно и какие существуют подходы к его реализации?Self-supervised обучение - это процедура предварительного обучения, которая позволяет нейронным сетям использовать большие объемы неразмеченных данных в
ML Q & AI. Глава 1. Эмбеддинги, латентные пространства и представления
Известный эксперт в области машинного обучения и ИИ Себастьян Рашка был добр бесплатно поделиться с миром своей уникальной книгой о фундаментальных вопросах в области современного машинного обучения. В ней он рассматривает вопросы создания эффективных архитектур для глубинного обучения. Книга охватывает 30 важных аспектов этой сферы в максимально доступной и понятной форме: каждый вопрос рассмотрен как небольшая, но интересная статья, подобно тем, что мы читаем здесь, на Хабре. Отсутствие такой книги в русскоязычном сегменте - большое упущение, поэтому верю, что серия переводов этой книги будет полезна сообществу Хабра.
