Машинное обучение. - страница 154

Я выяснил, что Яндекс Музыка на треть состоит из нейрослопа

Теория Практика мёртвого интернетаВозможно вы уже знаете, что в чарт «Яндекс Музыки» залетают треки, сгенерированные ИИ. Например, перепевка стихотворения Есенина

продолжить чтение

RAG в enterprise: 70-80% проблем не в модели, а в данных

Жемал Хамидун, Head of AI Alpina Digital, CPO AlpinaGPT

продолжить чтение

Чат-бот Grok заявил пользователю, что его хотят убить

Чат-бот Grok довёл пользователя до нервного срыва, заявив, что мужчине грозит смертельная опасность. Инцидент произошёл в Северной Ирландии с бывшим госслужащим Адамом Хуриканом.

продолжить чтение

Как связывание эмбеддингов душит трансформеры и уничтожает градиенты

Если вы когда-нибудь собирали языковую модель с нуля, вы наверняка знаете про Weight Tying (Связывание весов). Этот трюк был предложен в 2016 году в статье "Using the Output Embedding to Improve Language Models" и популяризован OpenAI в архитектуре GPT-2.Суть предельно проста и математически изящна: мы берем матрицу входных эмбеддингов Win (размером Vocab_Size × Hidden_Dim) и используем её же транспонированную версию как выходной слой классификатора Wout

продолжить чтение

Как я загрузил компактную открытую LLM в робота и сказал ему ходить (и хватать)

Без лишних предисловий приступаем. Все артефакты: веса на Hugging Face и исходники на Codeberg, как обычно будет приложены в конце статьи. О чем статья?

продолжить чтение

Папа Римский создал рабочую группу по ИИ. В Ватикане сравнивают технологию с новой промышленной революцией

Папа Лев XIV создал внутреннюю рабочую группу по искусственному интеллекту — об этом 

продолжить чтение

Тихий убийца Трансформеров: как Weight Decay уничтожает эмбеддинги и нормализацию

У каждого из нас есть "мышечная память" при написании кода обучения нейросетей. Мы собираем архитектуру, а затем пишем примерно такую строчку, даже не задумываясь: optimizer = torch.optim.AdamW(model.parameters(), lr=1e-4, weight_decay=0.1)Weight Decay (L2-регуляризация) это база. Мы знаем, что он тянет веса к нулю, не дает отдельным нейронам "зазвездиться" и предотвращает переобучение. Для линейных слоев (W * X) это работает великолепно. Но Трансформер состоит не только из матриц W. В нем есть специфические слои, для которых Weight Decay это не лекарство от переобучения, а тихий убийца

продолжить чтение

Агенты, которые играют в игры: как MMORPG обучают ИИ кооперации, предательству и дипломатии

продолжить чтение

Кастомный пайплайн BERTopic: как кластеризовать тексты и получить интерпретируемые темы с помощью LLM

Привет, Хабр! Меня зовут Антон и я занимаюсь задачами NLP в компании Ростелеком Информационные технологии.

продолжить чтение

Питер Штайнбергер рассказал, на что тратит по 600 млрд токенов в месяц

Автор проекта OpenClaw Питер Штайнбергер в одном из твитов продемонстрировал

продолжить чтение