Переводим книги нейронками для себя: год спустя. Словари, скорости и почему переводчики всё ещё нужны
Год назад я написал статью «Переводим fb2 книжки, с нейронками, для себя» — про то, как собрал на паре Tesla P40 в гараже программу Sunny Narrator («Солнечный сказочник»), которая переводит художественные книги через локальные и облачные LLM. Тогда это был скорее прототип «доказать себе, что так можно»: черновики читались с головной болью, книга в тысячу страниц переводилась два дня, а электричество, отключённое посреди процесса, стоило ещё двух.За год программа доехала до версии 2.1, я перевёл достаточно книг, чтобы набить руку, и понял главное:
Словарь «Колобок» и идея перевода словарей
TL:DR версияЕсли поработать с промптами и гейтами, то можно перевести большущий японо-английский словарь к виду японо-русского с очень неплохим качеством. Идея применима к другим языкам. Сделал пайплайн, запускал 100 Sol-воркеров-переводчиков одновременно через CLI. Вышло недорого. Тут словарь, тут гитхаб с пайплайном, тут примеры статей. Почему нужен новый словарь
