llm.
Ego is your limit или как мы сопротивляемся собственному развитию в контексте AI-революции
Автор заявляет об отсутствии конфликта интересов. Автор не является сотрудником AI-стартапа, не зарабатывает на исследованиях/разработках/внедрениях в области AI и не является наивным оптимистом, считающим, что AI решит все проблемы человечества.В последнее время я всё чаще попадаю в дискуссии на тему AI. Раньше эти инструменты умели слишком мало, чтобы по наитию вызывать что-то кроме раздражения. Сейчас же многие восхитились, задумались, насторожились или вовсе испугались. Но игнорировать эту тему всерьёз больше не получается.
Как связывание эмбеддингов душит трансформеры и уничтожает градиенты
Если вы когда-нибудь собирали языковую модель с нуля, вы наверняка знаете про Weight Tying (Связывание весов). Этот трюк был предложен в 2016 году в статье "Using the Output Embedding to Improve Language Models" и популяризован OpenAI в архитектуре GPT-2.Суть предельно проста и математически изящна: мы берем матрицу входных эмбеддингов Win (размером Vocab_Size × Hidden_Dim) и используем её же транспонированную версию как выходной слой классификатора Wout
Как я загрузил компактную открытую LLM в робота и сказал ему ходить (и хватать)
Без лишних предисловий приступаем. Все артефакты: веса на Hugging Face и исходники на Codeberg, как обычно будет приложены в конце статьи. О чем статья?
Тихий убийца Трансформеров: как Weight Decay уничтожает эмбеддинги и нормализацию
У каждого из нас есть "мышечная память" при написании кода обучения нейросетей. Мы собираем архитектуру, а затем пишем примерно такую строчку, даже не задумываясь: optimizer = torch.optim.AdamW(model.parameters(), lr=1e-4, weight_decay=0.1)Weight Decay (L2-регуляризация) это база. Мы знаем, что он тянет веса к нулю, не дает отдельным нейронам "зазвездиться" и предотвращает переобучение. Для линейных слоев (W * X) это работает великолепно. Но Трансформер состоит не только из матриц W. В нем есть специфические слои, для которых Weight Decay это не лекарство от переобучения, а тихий убийца
Подружитесь со своим ассистентом
В последнее время мне довольно часто приходится отвечать на вопросы, как я добиваюсь такой эффективности работы с ИИ-ассистентом, хотя коллеги гораздо тщательнее относятся к промптам, пишут километровые преамбулы на каждый чих и увещевают своих помощников мантрами наподобие «ты аналитик-архитектор с трехсотлетним стажем».Записал вот и даже перевел на русский свои рецепты, чтобы каждый раз не вставать. Типографика
Did Dawkins Find Consciousness in Claude? And If Not, What Did He Find?
Renowned biologist Richard Dawkins recently published an essay exploring the possibility of LLM consciousness following a two-day conversation with Claude AI.Let’s first look at why an essay by this particular author caused such a stir in scientific circles, while thousands of ordinary users fail to turn heads when they claim their AI companions are sentient. The latter constantly post endless walls of text from their chats with LLMs, where the density of words like "consciousness," "soul," "reflection," "recursion," "emptiness," "warmth," "love," and "pain" exceeds all reasonable limits. It is worth noting that the semantic density of these dialogues is practically zero—but we will return to that later.
Кастомный пайплайн BERTopic: как кластеризовать тексты и получить интерпретируемые темы с помощью LLM
Привет, Хабр! Меня зовут Антон и я занимаюсь задачами NLP в компании Ростелеком Информационные технологии.
Анатомия production AI агента: разбор двух открытых промптов Anthropic
Год назад, в мае 2025, инженеры Anthropic вышли на Code w/ Claude с докладом «Prompting for Agents». Семь принципов промптинга, публичный workbench в браузере, пара примеров системных инструкций — этого было достаточно, чтобы собрать рабочего агента. Через месяц, 15 июня 2026, Anthropic выводит из эксплуатации модели claude-sonnet-4-0 и claude-opus-4-0 — те самые, на которых строился публичный workbench из того доклада.
Нашёл ли Докинз сознание в Claude? А если нет, то что он нашёл?
Знаменитый ученый-биолог Ричард Докинз (Richard Dawkins) опубликовал эссе о возможности наличия сознания у LLM после двухдневной беседы с Claude AI. К сожалению, само эссе в платном доступе, но вы можете ознакомиться с переводом от @SLY_G здесь на Хабре.
