Я выяснил, что Яндекс Музыка на треть состоит из нейрослопа
Теория Практика мёртвого интернетаВозможно вы уже знаете, что в чарт «Яндекс Музыки» залетают треки, сгенерированные ИИ. Например, перепевка стихотворения Есенина
Чат-бот Grok заявил пользователю, что его хотят убить
Чат-бот Grok довёл пользователя до нервного срыва, заявив, что мужчине грозит смертельная опасность. Инцидент произошёл в Северной Ирландии с бывшим госслужащим Адамом Хуриканом.
Как связывание эмбеддингов душит трансформеры и уничтожает градиенты
Если вы когда-нибудь собирали языковую модель с нуля, вы наверняка знаете про Weight Tying (Связывание весов). Этот трюк был предложен в 2016 году в статье "Using the Output Embedding to Improve Language Models" и популяризован OpenAI в архитектуре GPT-2.Суть предельно проста и математически изящна: мы берем матрицу входных эмбеддингов Win (размером Vocab_Size × Hidden_Dim) и используем её же транспонированную версию как выходной слой классификатора Wout
Как я загрузил компактную открытую LLM в робота и сказал ему ходить (и хватать)
Без лишних предисловий приступаем. Все артефакты: веса на Hugging Face и исходники на Codeberg, как обычно будет приложены в конце статьи. О чем статья?
Папа Римский создал рабочую группу по ИИ. В Ватикане сравнивают технологию с новой промышленной революцией
Папа Лев XIV создал внутреннюю рабочую группу по искусственному интеллекту — об этом
Тихий убийца Трансформеров: как Weight Decay уничтожает эмбеддинги и нормализацию
У каждого из нас есть "мышечная память" при написании кода обучения нейросетей. Мы собираем архитектуру, а затем пишем примерно такую строчку, даже не задумываясь: optimizer = torch.optim.AdamW(model.parameters(), lr=1e-4, weight_decay=0.1)Weight Decay (L2-регуляризация) это база. Мы знаем, что он тянет веса к нулю, не дает отдельным нейронам "зазвездиться" и предотвращает переобучение. Для линейных слоев (W * X) это работает великолепно. Но Трансформер состоит не только из матриц W. В нем есть специфические слои, для которых Weight Decay это не лекарство от переобучения, а тихий убийца
Кастомный пайплайн BERTopic: как кластеризовать тексты и получить интерпретируемые темы с помощью LLM
Привет, Хабр! Меня зовут Антон и я занимаюсь задачами NLP в компании Ростелеком Информационные технологии.
Питер Штайнбергер рассказал, на что тратит по 600 млрд токенов в месяц
Автор проекта OpenClaw Питер Штайнбергер в одном из твитов продемонстрировал

