ml.
Смысловой Embedding, или как доставать смысл из слов
Всем привет. В этой статье мы рассмотрим идею, которая даст возможность нейросетям строить не только эмбеддинги токенов, но и «смысловые» эмбеддинги. Итак, план:Рассмотрим основную проблему нынешних LLM-моделей.Рассмотрим идею «смыслового» эмбеддинга и то, как эта идея теоретически может помочь в обучении нейросетей.Подведем итоги.Ну что, приступим!Проблема современных LLM-моделейСовременные LLM-модели являются очень сложной и огромной вероятностной машиной, которая предсказывает следующий токен на основе контекста.
LSWM 2.0 is all you need
Снова всем привет!Прошло всего несколько дней с того момента как я выложил LSWM .В общем я протестировал и поэкспериментировал эту сеть ещё раз и нашёл СТОЛЬКО проблем, сколько даже ванильный RNN не видел.В этой статье я попытаюсь их исправить.Содержание.В этой статье будет:Теория.Бенчмарки.Плюсы и минусы.Вывод.Теория.Начнем с теории.Хочу сказать - тут будут те же softsign и scaled softsign .И так... Начнём с первой формулы:Что такое
AMD поглощает World Labs: к команде присоединится «крестная мать ИИ»
AMD покупает стартап World Labs
Зачем нейросети «обвязка»: как превратить LLM в рабочий AI-сервис
Большую языковую модель можно скачать с Hugging Face, развернуть на сервере с GPU и отправить ей первый запрос. Технически LLM уже работает: получает текст на вход и генерирует ответ. Но до готового бизнес-сервиса еще далеко.
Как запустить Gemma на сервере: сравниваем Ollama и llama.cpp
Откройте любую статью-инструкцию по установке LLM, в которой фигурирует Ollama. Уверен, в комментариях к ней автору уже объяснили, насколько он неправ и что единственное верное решение — использовать llama.cpp.
Моя собственная Gated RNN: как работает? (и бенчмарки, конечно же)
Всем привет!Не давно сделал свою Gated RNN, то есть с другой математикой, ни как у LSTM, GRU и подобного.Я хочу (для вас) разобрать её теоретически, практически, замерить (я не умею замерять так что буду замерять как могу), ну и конечно же расскажу плюсы и минусы.То, что будет в статье.Э-э-э, плохое название для заголовка, но вот те заголовки которые вы сейчас будете встречать (в правильном порядке):Теория.Практика (без замеров).Бенчмаркинг.Плюсы и минусы моей сети.Вывод.Это моя первая статья похожая на реально научную, так что могут быть недочёты.Теория.
Google дала AI-агентам лицо. Gemini 3.8 Live создаёт говорящих аватаров в реальном времени
Google представила Gemini 3.8 Live with Live Avatar. Модель принимает голос, изображение, видео и текст, а отвечает через анимированного персонажа с синхронизацией губ, мимикой и голосом.Это не отдельный генератор говорящих голов, приклеенный к чат-боту. Аватар встроен непосредственно в разговорную модель и может видеть собеседника, слушать его, отвечать и обращаться к внешним сервисам во время беседы.Что умеет Live Avatar
Метрика стала хуже на 20%, и вот почему так правильно
Мы прогнозируем загруженность московских парковок на сутки вперёд. В скрипте, который обучает модель, лежал такой список:# --- Список аномальных парковок (замороженные > 24ч, exclude from training) --- ANOMALOUS_PARKING_IDS = [7, 8, 11, 12, 14, 21, 24, 31, 32, 37, 47, 49, 50, 51, 52, 53, 54, 56, 58, 61, 66, 70, 72, 81, 82, 84, 95, 100, 106, 113, 121, 122, 128, 133, 134, 136, 146, 149, 162] Тридцать девять парковок, которые год назад отдавали одно и то же значение сутками. Логика понятная: на замороженном ряде модель учится предсказывать константу, поэтому такие парковки из обучения убрали.
300 классов, 400 сэмплов и никакого промптинга: ЛЛМ как энкодер для классификации
Когда речь заходит о ЛЛМ и классификации, первая мысль — попросить модель сгенерировать класс через промптирование модели с описанием правил и добавлением примеров. Для небольшого количества классов это работает. Но для 100+ классов (или даже 20-30) — уже нет: контекст раздувается, модель галлюцинирует, а инференс может занимать десятки секунд. Мы решили использовать ЛЛМ иначе: не как генератор текста, а как энкодер, прикрутив сверху обычную классификационную голову.
Автоматизируем разбор резюме с помощью LLM, Python и FMC
Когда в день вам присылают 400 резюме на одну вакансию, «посмотреть всех» физически не получится. Зато это выглядит прямо как задача под автоматизацию!
