Эволюция внимания в LLM: от квадратичной сложности к эффективным оптимизациям
Мы живём в эпоху больших языковых моделей — инструментов вроде ChatGPT, Gemini, Claude, которые поражают своими способностями: они пишут тексты, отвечают на сложные вопросы, генерируют код и даже ведут осмысленные диалоги. Но задумывались ли вы, как им удаётся не просто понимать отдельные фразы, но и удерживать смысл длинных документов, многочасовых бесед или даже целых книг?В статье разберём путь от понимания человеческого восприятия до современных оптимизаций механизма внимания в LLM. Сложность человеческой речиПрежде чем погружаться в технические детали, сначала — про масштаб задачи.
Как научиться программированию разрабатывая игры
Если вы учились программировать в конце 80x-начале 90х, то наверняка делали это на ZX Spectrum, БК-0010 или MSX. Во всех этих компьютерах был встроенный язык програмирования. Кто-то начинал сразу с машинных кодов Радио-86РК. В любом случае первыми программами скорее всего были игры.Но любительское программирование началось задолго до 90х. Посмотрим, какие игры предлагались раньше для начинающих программстов и что из этого мы могли бы извлечь для себя сегодня.
Российский ИИ для распознавания доступен на всех отечественных платформах. Завершено портирование на RISC-V
Ученые Smart Engines первыми в России перенесли передовые технологии распознавания штрихкодов, паспортов и других документов на микропроцессоры архитектуры RISC-V. Теперь системы компьютерного зрения доступны на всех без исключения отечественных и основных международных аппаратных платформах: Elbrus, RISC-V, MIPS (КОМДИВ), SPARC, х86, ARM. Это позволяет внедрить распознавание в различных областях – от интернета вещей до ракетостроения – и осуществлять его фактически на любом микроконтроллере, без необходимости в видеокартах и мощных процессорах.
Semantic Error Correction Loop (SECL): самоисправляющиеся LLM-пайплайны с понятием доверия к контексту
В последние годы большие языковые модели кардинально изменили ландшафт искусственного интеллекта, открывая невероятные возможности для автоматизации текстовых задач. Однако, несмотря на впечатляющие успехи, одна из ключевых проблем остаётся нерешённой — модели часто допускают логические ошибки, создают неясные или избыточные формулировки, а также генерируют тексты с низкой степенью доверия к собственным ответам.В своей практике я столкнулся с необходимостью повышения качества генерации без постоянного ручного контроля и затратных этапов дообучения. Это подтолкнуло меня к идее нового подхода —
Кому нужна математика?
Я часто рассказываю математику тем, кто сам ею не занимается. Это непросто — и не только потому, что математика сложна сама по себеОбычно математики интересуются тем, что связано с другими разделами самой математики, и людям «снаружи» непросто понять их мотивацию. Современная математика чаще всего развивается изнутри — из собственных понятий, задач и связей. Тем ценнее случаи, когда удаётся выстроить рассказ вокруг содержательных приложений
Самый обобщённый живучий алгоритм
Простая архитектура для осознанных интеллектуальных решенийВведение
Азимов, Лем и современный ИИ: как фантастика предсказала проблемы, с которыми мы столкнулись сейчас
Тема ИИ уже давно обсуждается, но толковые статьи об этической стороне вопроса можно пересчитать по пальцам. Поэтому я решил заново вникнуть в законы робототехники Айзека Азимова, а потом прикинуть: как бы они работали в реальном мире и смогли бы работать вообще? В статье расскажу про:Предвестники ИИ: как Азимов, Лем и другие визионеры предсказали появление ИИПозитронный мозг Азимова и ИИ: где попали, а где промахнулисьТри Закона Робототехники: что это такое и зачемПочему Три Закона не работают для современного ИИ
Я выяснил, что скрывают алгоритмы ИИ. Спойлер: нас не защитят даже законы Азимова
Тема ИИ уже давно обсуждается, но толковые статьи об этической стороне вопроса можно пересчитать по пальцам. Поэтому я решил заново вникнуть в законы робототехники Айзека Азимова, а потом прикинуть: как бы они работали в реальном мире и смогли бы работать вообще? В статье расскажу про:Предвестники ИИ: как Азимов, Лем и другие визионеры предсказали появление ИИПозитронный мозг Азимова и ИИ: где попали, а где промахнулисьТри Закона Робототехники: что это такое и зачемПочему Три Закона не работают для современного ИИ
Об ошибках округления и способах борьбы с ними
Современные алгоритмы машинного обучения и искусственного интеллекта обсчитывают огромные массивы чисел, интенсивно используя параллельные аппаратные ускорители. Одним из побочных эффектов параллельных вычислений является то, что порядок, в котором обрабатываются элементы данных, неочевиден и часто плохо предсказуем.Многие алгоритмы быстрых вычислений, к примеру, матричного умножения, намеренно "портят", изменяют порядок действий, за счет этого добиваясь существенного сокращения количества необходимых операций.
