Минификация кода для повышения эффективности LLM: влияние на лингвистику, генерацию и анализ программ
ВВЕДЕНИЕБольшие языковые модели (LLM) становятся неотъемлемой частью инструментов генерации, анализа и автоматизации программирования. Их возможности позволяют автоматизировать разработку, искать ошибки, генерировать тесты, осуществлять перевод между языками программирования. Однако одно из ключевых ограничений – контекстное окно, то есть максимально возможная длина входных данных. С ростом объема современных программ эффективность работы LLM с длинным кодом становится всё более актуальной задачей, особенно учитывая вычислительные и финансовые издержки обработки длинных последовательностей.
Language Dove: разбираем китайскую и не только грамоту
Я довольно давно живу в Армении и изучаю армянский язык для получения гражданства (“вы должны уметь читать любой документ” - сказали мне в миграционном центре). Армянский язык очень сложен, и у меня возникла идея написать приложение для иммерсивного (dove - нырнул, погрузился) чтения на иностранном языке с пословным контекстуальным переводом, которое способно работать с любыми языками, даже с самыми редкими и сложными.Сегодня я хочу вам рассказать о том, что у меня получилось - о проекте Language Dove, над которым я работаю уже полгода.Описание приложения
«Натягивая сову лингвистики на глобус архитектуры ПО: Что я нашел на стыке»
Давно думаю над моделью, в которой есть всего две формулы: State = Static + Dynamic и State = Fact + Delay. Казалось бы – пора звонить в Спортлото, не стыковались они у меня, хотя по отдельности каждая формула вроде работает. Но заявить, что на все вопросы я готов ответить по этим формулам – такого ощущения не было. И вот... Сидел я как-то над пиццей, подумал, что прикольно раскидали начинки. «Четыре вкуса» и всё такое. И как бы мысленно (а потом и физически) ее ни резал – всё равно что-то влезет на соседний кусок. Итогом стало это...
Способны ли нейросети реконструировать древние языки?
В настоящее время нейросети успешно используются для языкового перевода. По сравнению со старыми программами и онлайн переводчиками, прогресс на лицо. Алгоритмы демонстрируют более тонкое понимание речи, владение контекстом, они способны к стилизации.И если с современными языками нейросети справляются довольно толково, возникает вопрос: как насчет древних? До сих пор работа с ними представляла существенное затруднение. Скажем, тот же Google Translate из рук вон плохо работает с латынью.
Про аудирование, или Из чего состоит знание иностранного языка
В изучении языка есть стандартные этапы отчаяния: - «Мне поможет только погружение в языковую среду»; - «Что-то идёт не так, нужен какой-то особый подход».На самом деле это один и тот же этап: в какой-то момент застрявшая в голове рекламная демагогия неизбежно начинает конфликтовать с реальностью.
Мифы об изучении иностранных языков
Когда-то поспособствовало расширению лично моих представлений:Одна московская знакомая росла в Нью-Йорке в 70-х: её отец был советским специалистом в ООН. Смотрят как-то юмористическую передачу на американском TV: она, подросток, ухохатывается — отец ничего не понимает, хотя прошёл какие-то немыслимые тесты и языком владел отлично.
Про «лайфхаки» в изучении языков
На Хабре публикуют какое-то запредельное количество статей вокруг тем «как учить языки» и «как учить язык самостоятельно», постоянно ломаются копья в комментариях. Обсуждения эти, в общем, ни на что не влияют и продолжаться могут сколь угодно долго, потому что перепутано там примерно всё: что такое «знать язык», что такое «говорить», «воспринимать на слух» и т.д. и т.п. Попробую пораспутывать.
Про способности к изучению языков
В репетиторские времена я почти случайно придумал тест из 3-4 простых вопросов на русском, который с аккуратностью >90% определял способности человека к иностранным языкам. Особой необходимости в этом тесте нет: толковый преподаватель и без него всё понимает после одного-двух занятий. Но, во-первых, это красиво. Во-вторых, даже я сам лишь годы спустя понял, как именно тест работает и что скрывается за этой простотой.
Как я выучил английский
Знакомые говорят, что история мотивирующая.Сколько себя помню, всегда хотел знать иностранные языки, особенно английский, но видел перед собой огромную глухую стену, к которой не знаешь, как подступиться. На курсы денег нет. Припадки заучивания слов глохнут уже через несколько дней из-за ощущения бесперспективности, да и забываются эти слова моментально.15 мешков картошки.
