Стипендии SECAI на AI-магистратуры в TU Dresden и Лейпциге: открыт приём на 2026-2027
Школа Konrad Zuse в области искусственного интеллекта SECAI объявила приём заявок на стипендии для студентов магистратуры, чья программа связана с AI, в TU Dresden и Лейпцигском университете.SECAI — совместный проект TU Dresden и Leipzig University в рамках сети Konrad Zuse Schools of Excellence in AI. Он поддерживает студентов и молодых исследователей в областях, связанных с искусственным интеллектом: от Computer Science и Data Science до Bioinformatics, Medical Informatics и Nanoelectronic Systems.Стипендия составляет 934 евро в месяц
Я выяснил, что Яндекс Музыка на треть состоит из нейрослопа
Теория Практика мёртвого интернетаВозможно вы уже знаете, что в чарт «Яндекс Музыки» залетают треки, сгенерированные ИИ. Например, перепевка стихотворения Есенина
Чат-бот Grok заявил пользователю, что его хотят убить
Чат-бот Grok довёл пользователя до нервного срыва, заявив, что мужчине грозит смертельная опасность. Инцидент произошёл в Северной Ирландии с бывшим госслужащим Адамом Хуриканом.
Как связывание эмбеддингов душит трансформеры и уничтожает градиенты
Если вы когда-нибудь собирали языковую модель с нуля, вы наверняка знаете про Weight Tying (Связывание весов). Этот трюк был предложен в 2016 году в статье "Using the Output Embedding to Improve Language Models" и популяризован OpenAI в архитектуре GPT-2.Суть предельно проста и математически изящна: мы берем матрицу входных эмбеддингов Win (размером Vocab_Size × Hidden_Dim) и используем её же транспонированную версию как выходной слой классификатора Wout
Как я загрузил компактную открытую LLM в робота и сказал ему ходить (и хватать)
Без лишних предисловий приступаем. Все артефакты: веса на Hugging Face и исходники на Codeberg, как обычно будет приложены в конце статьи. О чем статья?
Папа Римский создал рабочую группу по ИИ. В Ватикане сравнивают технологию с новой промышленной революцией
Папа Лев XIV создал внутреннюю рабочую группу по искусственному интеллекту — об этом
Тихий убийца Трансформеров: как Weight Decay уничтожает эмбеддинги и нормализацию
У каждого из нас есть "мышечная память" при написании кода обучения нейросетей. Мы собираем архитектуру, а затем пишем примерно такую строчку, даже не задумываясь: optimizer = torch.optim.AdamW(model.parameters(), lr=1e-4, weight_decay=0.1)Weight Decay (L2-регуляризация) это база. Мы знаем, что он тянет веса к нулю, не дает отдельным нейронам "зазвездиться" и предотвращает переобучение. Для линейных слоев (W * X) это работает великолепно. Но Трансформер состоит не только из матриц W. В нем есть специфические слои, для которых Weight Decay это не лекарство от переобучения, а тихий убийца
