llm. - страница 185

llm.

Тихий убийца Трансформеров: как Weight Decay уничтожает эмбеддинги и нормализацию

У каждого из нас есть "мышечная память" при написании кода обучения нейросетей. Мы собираем архитектуру, а затем пишем примерно такую строчку, даже не задумываясь: optimizer = torch.optim.AdamW(model.parameters(), lr=1e-4, weight_decay=0.1)Weight Decay (L2-регуляризация) это база. Мы знаем, что он тянет веса к нулю, не дает отдельным нейронам "зазвездиться" и предотвращает переобучение. Для линейных слоев (W * X) это работает великолепно. Но Трансформер состоит не только из матриц W. В нем есть специфические слои, для которых Weight Decay это не лекарство от переобучения, а тихий убийца

продолжить чтение

Подружитесь со своим ассистентом

В последнее время мне довольно часто приходится отвечать на вопросы, как я добиваюсь такой эффективности работы с ИИ-ассистентом, хотя коллеги гораздо тщательнее относятся к промптам, пишут километровые преамбулы на каждый чих и увещевают своих помощников мантрами наподобие «ты аналитик-архитектор с трехсотлетним стажем».Записал вот и даже перевел на русский свои рецепты, чтобы каждый раз не вставать. Типографика

продолжить чтение

Did Dawkins Find Consciousness in Claude? And If Not, What Did He Find?

Renowned biologist Richard Dawkins recently published an essay exploring the possibility of LLM consciousness following a two-day conversation with Claude AI.Let’s first look at why an essay by this particular author caused such a stir in scientific circles, while thousands of ordinary users fail to turn heads when they claim their AI companions are sentient. The latter constantly post endless walls of text from their chats with LLMs, where the density of words like "consciousness," "soul," "reflection," "recursion," "emptiness," "warmth," "love," and "pain" exceeds all reasonable limits. It is worth noting that the semantic density of these dialogues is practically zero—but we will return to that later.

продолжить чтение

Кастомный пайплайн BERTopic: как кластеризовать тексты и получить интерпретируемые темы с помощью LLM

Привет, Хабр! Меня зовут Антон и я занимаюсь задачами NLP в компании Ростелеком Информационные технологии.

продолжить чтение

Анатомия production AI агента: разбор двух открытых промптов Anthropic

Год назад, в мае 2025, инженеры Anthropic вышли на Code w/ Claude с докладом «Prompting for Agents». Семь принципов промптинга, публичный workbench в браузере, пара примеров системных инструкций — этого было достаточно, чтобы собрать рабочего агента. Через месяц, 15 июня 2026, Anthropic выводит из эксплуатации модели claude-sonnet-4-0 и claude-opus-4-0 — те самые, на которых строился публичный workbench из того доклада.

продолжить чтение

Нашёл ли Докинз сознание в Claude? А если нет, то что он нашёл?

Знаменитый ученый-биолог Ричард Докинз (Richard Dawkins) опубликовал эссе о возможности наличия сознания у LLM после двухдневной беседы с Claude AI. К сожалению, само эссе в платном доступе, но вы можете ознакомиться с переводом от @SLY_G здесь на Хабре.

продолжить чтение

Робот-поводырь: как ИИ пришел туда, где раньше были только собаки и благотворительность

продолжить чтение

Калькулятор VRAM для локальных LLM: Какие модели ИИ запустятся у вас на компьютере?

Сравнил предсказания калькулятора с реальными запусками llama.cpp на RTX 4060 Ti, 3090 и Apple M2 Pro. Спойлер: где-то точно, где-то мимо на 30%Когда я начал ковыряться с локальными LLM полгода назад, главная боль была не в установке моделей, а в понимании, что вообще влезет в моё железо. Документация Hugging Face говорит «Llama 3.1 8B». Что это значит для моей видеокарты с 16 GB VRAM? А если я хочу 32k контекст? А с квантованием Q4_K_M? Цифры в README часто не учитывают KV cache, который при больших контекстах ест VRAM сильнее, чем сама модель.Несколько недель назад мне попался простой open-source калькулятор — whatmodelscanirun.ru (русскоязычный форк оригинального проекта

продолжить чтение

ArXiv на год заблокирует исследователей за публикацию статей с участием ИИ

Платформа с препринтами научных работ ArXiv заявляет, что будет блокировать авторов на один год, если они представят статьи, содержащие сгенерированный ИИ контент, такой как вымышленные цитаты, текстовые филлеры или метакомментарии.

продолжить чтение

Нейросеть — не второй программист. Как правильно разделить работу. Помощь для начинающих

продолжить чтение