NoProp: Реальный опыт обучения без Backprop – от провала к 99% на MNIST
Всем привет! Обучение нейронных сетей с помощью обратного распространения ошибки (backpropagation) — это стандарт де‑факто. Но у него есть ограничения: память, последовательные вычисления, биологическая неправдоподобность. Недавно я наткнулся на интересную статью «NOPROP: TRAINING NEURAL NETWORKS WITHOUT BACK‑PROPAGATION OR FORWARD‑PROPAGATION» (Li, Teh, Pascanu, arXiv:2403.13 502), которая обещает обучение вообще без сквозного backprop и даже без полного прямого прохода во время обучения! Идея показалась захватывающей, и мы (я и ИИ‑ассистент Gemini) решили попробовать ее реализовать на PyTorch для MNIST.
КОНФИДЕНЦИАЛЬНОСТЬ МЁРТВА: ЯНДЕКС И ВК ОБУЧАЮТ ИИ НА ВАШИХ ЛИЧНЫХ ДАННЫХ?
Счёт производства индусов идёт на секунды по мнению Алисы ПРОНедавно Яндекс "подарил" мне месячную подпись
Буря в стакане ИИ
Из каждого утюга трубят про то, что ИИ, AGI и т.д. изменит все, и мои уши устали от этого.Поэтому решил на цифрах разобраться так ли это. Нынешний хайп является пузырём, или новой трансформирующей волной. И сопоставимо ли появление LLM с появлением ПК, интернета и переходом на мобильные устройства. Доводы будем подкреплять расчетом. И начнем мы с анализа текущих инвестиций в ИИ (не люблю это слово, но ML здесь меньше подходит).В статье
Код, теория и практика: подборка книг по NLP
Привет! Это Никита Малыхин, Tech Lead в команде AdTech в Центре Big Data МТС. В прошлый раз я поделился
Я работал в продуктовой команде 7 лет, а потом пришла нейросеть
Эту историю для моего блога рассказал Леонид Шашков и Илья Головко, CPO в крупном финтехе. Еще пару лет назад моя работа продакт-менеджера выглядела как бесконечное жонглирование задачами: исследования пользователей, анализ конкурентов, документация, постановка задач, презентации... И так по кругу. Большую часть времени съедали рутинные задачи, которые требовали механической работы, но не давали простора для творчества. А теперь...
Google Cloud представляет мультиагентные возможности в Vertex AI
Google хочет сделать многоагентные системы искусственного интеллекта не просто возможными, но и практичными для предприятий, и обновления Vertex AI подтверждают это. Представленные на Google Cloud Next, эти усовершенствования превращают Vertex в полнофункциональную платформу для создания, подключения и развёртывания ИИ-агентов, которые анализируют, планируют и взаимодействуют в рамках корпоративных систем.
Генеральный директор DeepMind заявил, что Google объединит свои модели ИИ Gemini и Veo
В недавнем выпуске подкаста Possible, который ведёт соучредитель LinkedIn Рид Хоффман, генеральный директор Google DeepMind Демис Хассабис заявил, что Google планирует в конечном итоге объединить свои модели ИИ Gemini с моделями Veo, генерирующими видео, чтобы улучшить понимание физического мира.
Знакомьтесь, HIGGS — новый метод сжатия LLM от исследователей из Яндекса и ведущих научно-технологических вузов
Исследователи из Yandex Research, НИУ ВШЭ, MIT, KAUST и ISTA разработали новый метод HIGGS для сжатия больших языковых моделей. Его особенность — высокая производительность даже на слабых устройствах без существенной потери качества. Например, это первый метод квантизации, с помощью которого удалось сжать DeepSeek R1 размером 671 млрд параметров без значительного ухудшения модели.
RAG: борьба с низким качеством ответов в условиях экономии памяти на GPU
Привет, Хабр! Меня зовут Саприн Семён. Я занимаюсь анализом данных и машинным обучением в компании ПГК Диджитал. Сегодня мы начинаем серию статей, в которой я расскажу о том, как мы с командой разрабатывали ИИ-помощника, а также приведу практические кейсы по улучшению точности ответов с минимальными затратами памяти графических процессоров. Как вы уже могли догадаться, наш ИИ-помощник разработан на основе RAG (Retrieval-Augmented Generation) системы. Хотя принцип работы RAG многим уже знаком и не вызывает того самого «вау», я всё же кратко напомню, как эта система работает, почему она так популярна и почему её ответам можно доверять.
