Мы добавили поддержку ещё 19 языков России и СНГ в проект silero-stress

Мы недавно писали на Хабр о нашей библиотеке ^[1]silero-stress для простановки ударения в обычных словах и омографах. Теперь у нашего проекта silero-stress вышла версия v1.2, в которую вошло следующее:

• Добавили акцентор для украинского языка на основе словаря в 3M слов;

• Выложили в открытый доступ словари ударений ещё для 18 языков России и СНГ;

• Если слова нет в словаре, ударение ставится алгоритмом (подробности в табличке под спойлером ниже);

• Обновили пакет.

Для русского и украинского языков размеры словарей позволили обучить акценторы, которые работают со 100%-й точностью на исходном словаре, а так же имеют какую-то ненулевую генерализацию на неизвестные слова (ещё акцентор занимает примерно на два порядка меньше места, чем словарь).

Для остальных языков мы выложили в открытый доступ собранные нами словари и указали алгоритм простановки ударения в неизвестных словах.

Почти для всех языков получилось вручную разметить небольшого размера словари. В ходе разметки выяснилось, что для подавляющего большинства языков в первом приближении работает эвристика “ставить ударение на первый/последний слог”, которой можно заменить полноценный акцентор, обученный на большом словаре.

Для остальных языков мы выложили в открытый доступ собранные нами словари и указали алгоритм простановки ударения в неизвестных словах.

Словари на все языки, кроме русского и украинского получились довольно небольшими. Чтобы не смущать пользователей, мы вынесли функционал расстановки ударений в малоресурных языках в отдельный модуль. Если будет запрос и помощь от комьюнити, то по мере развития проекта мы будем добавлять языки “на основу”. С омографами меньше верится, что мы когда-либо до них добежим, но никогда не говори никогда.

Также было бы неплохо сделать акцентор для белорусского языка, но тут в идеале нужен словарь ударений на несколько миллионов слов.

Ссылки:

• Репозиторий проекта тут ^[2]

• Как пользоваться почитать тут ^[3]

Работа над проектом ведётся при поддержке Фонда содействия инновациям в рамках федерального проекта «Искусственный интеллект» национальной программы «Цифровая экономика Российской Федерации».