Можно ли ускорить обучение небольшой языковой модели на длинных последовательностях, если заменить полное внимание разреженным графом, а веса связей определять расстояниями между обучаемыми координатами?Для проверки появился SpatialLM-Mini — прототип на Python и PyTorch с тремя архитектурами: пространственным вниманием, обычным Transformer и гибридом. На RTX 3050 с 8 ГБ VRAM пространственный вариант обучался в 2,47 раза быстрее нашего Transformer при контексте 16 384 токена. Но он использовал больше выделенной памяти, а отдельную пользу геометрии этот опыт пока не доказывает.
продолжить чтение
(При подготовке настоящего рассказа использовались длинные тире. Все они поставлены умышленно и в соответствии с правилами русского языка. Ответственность за их появление несёт автор, кем бы он ни являлся.)После истории с театром Аркадий Семёнович долго не мог вернуться к литературной работе.Каждый раз, когда писатель садился писать новый рассказ, он вспоминал металлическую конструкцию на сцене, потом вспоминал премию за молчание и откладывал ручку.
продолжить чтение
Я делаю свою линейку маленьких языковых моделей dpp-gpt. Не файнтюн чужой модели, а всё с нуля: токенизатор, претрейн, SFT, RL, бенчмарки. Всё это на одной домашней видеокарте RTX 4060 с 8 ГБ памяти. Недавно вышла версия 2.2 Pro на 260 миллионов параметров. В статье расскажу, как она устроена, что получилось, что нет, и какие неожиданные вещи всплыли по дороге.Сразу честно: это не конкурент моделям, обученным большими командами на триллионах токенов. На общепринятых английских бенчмарках она отстаёт даже от самых маленьких из них (бенчмарки ниже). Интересна она другим: тем, сколько можно выжать из одной видеокарты, и тем, что видно изнутри.
продолжить чтение
В экспериментальной сборке Telegram для macOS появился AI Assistant: ему можно поручить найти вопросы без ответа в переписках, подготовить сообщения, собрать Excel‑таблицу или создать калькулятор прямо внутри чата. Редакция
продолжить чтение
(При подготовке настоящего рассказа использовались длинные тире. Все они поставлены умышленно и в соответствии с правилами русского языка. Ответственность за их появление несёт автор, кем бы он ни являлся.)Писатель Аркадий Семёнович закончил рассказ во вторник, в половине третьего ночи, и остался им доволен. Это случалось редко, поэтому он даже позволил себе вторую чашку кофе.
продолжить чтение
Сеансы магии с разоблачениями нейросетевого мышления Что происходит, когда искусственный интеллект берётся за русскую классику? Он переписывает стихи, объясняет метафоры, уточняет контекст, даёт непрошеные советы, составляет таблицы и делает выводы, которых никто не просил.Серия литературных пародий на характерные языковые и поведенческие шаблоны ИИ.Соблюдение рифмы и ритма не гарантируется. Смысл тоже.1. ИИ в роли поэта:А. С. Пушкин «У лукоморья»У лукоморья дуб зелёный – Но это больше, чем объект.Он не просто символ вечной жизни,А многослойный архетипический концепт.
продолжить чтение
Автор оригинала: Ben BrubakerИсследователи внедряют «мысли» прямо в большие языковые модели, чтобы выяснить, способен ли ИИ к интроспекции и в какой мере.Интроспекция языковых моделейИллюстрация: Kristina Armitage / Quanta Magazine
продолжить чтение
(Сказка ложь, да в ней намек)Широко известный в узком кругу писатель Огурцов-Забулдыгин сидел за своим компьютером и тупо смотрел на счетчик посещений сайта своих произведений.Сегодня было очень мало приходов. Вчера была пара случайных забредших душ. Позавчера – стыд и позор.Количеством лайков Огурцов-Забулдыгин даже не интересовался, лишь бы просто заглядывали и читали.– Удивительно, – бормотал он. – У других по сотне посещений в день, хотя их писанина вообще ниже плинтуса. Накрутка! Сплошная накрутка!! Жаль, знакомого программиста нет.
продолжить чтение
От божественного откровения до искусственного интеллекта(Сборник старых и новых литературных анекдотов)От составителяЭтот сборник объединяет старые анекдоты, литературные легенды, исторические курьёзы, современные шутки и новые сатирические миниатюры, посвящённые одной теме: как стать автором книги, не написав её.Некоторые сюжеты восходят к известным литературным и политическим анекдотам, другие представляют собой их свободные переработки. Исторические лица здесь нередко произносят слова, которые в действительности могли и не принадлежать им.
продолжить чтение
