llm.
Масштабирование LLM: от одного чипа до ЦОДа. Глава 4. Тренировка трансформера
Предыдущая главаНаконец-то мы добрались непосредственно до того, как тренировать трансформер, и не просто тренировать, а делать это эффективно и масштабируемо.
LLMs haven’t learned to lie. They only speak
LLMs hallucinate — everyone has seen what it looks like. The model reports, confidently and coherently, with the right intonation and terminology, something that isn't there. Engineers treat this as a bug: one being fixed, one about to be fixed.It won't be. This is not a technical fault but an inherent property of language, which the machine has made visible.Language does not need realityLanguage is a unique system precisely in this: it emerges from reality, yet needs no reality for its own coherence.The word-as-gesture and the word-about-a-gesture are built the same way. From inside language they are indistinguishable. "I lifted a stone" and "I lifted the sky" are grammatically equal; what tells them apart is the consequence — the response of whatever doesn't care how it is described: the stone, the hand, the weight. Inside language there is no filter and never was; the check against reality is always performed from outside.
Покажи мне свой харнесс — и я спрошу у Клода, кто ты
Я продолжаю пилить по вечерам и ночам локальный заметочник Nitinol. Это третья статья цикла: в первой я рассказывал, как десять лет терял заметки, во второй — про хранение и поиск без RAG. В этот раз — про кухню разработки: стек, модели и процесс, о которых спрашивали в комментариях.
Как у нас в проекте на самом деле пишется код
После прошлого поста в комментариях несколько раз возникал вопрос: а кто вообще пишет весь этот код и насколько здесь участвуют нейросети? Вопрос, в общем, закономерный. Объём того, что небольшая команда успевает одновременно разрабатывать и поддерживать, действительно довольно большой.Масштаб, о котором обычно не пишутВ прошлой статье речь шла в основном про транспортный уровень - uTLS, decoy-трафик, pacing и всё, что связано с прохождением DPI. Это удобно рассматривать как отдельную техническую задачу, но внутри проекта это только один слой.
LLM не научились врать. Они научились говорить
LLM галлюцинирует, впрочем, все видели, как это выглядит. Модель уверенно, связно, с правильной интонацией и терминологией сообщает то, чего нет. Инженеры считают это багом, который чинят и вот-вот починят.Не починят. Это не техническая ошибка, а неотъемлемое свойство языка, которое машина сделала видимым.Язык не нуждается в реальностиЯзык — уникальная система именно в том, что появляется из реальности, но для собственной связности в реальности не нуждается.
Auro-3D: как в обычном PCM прячет высотные каналы
Я давно интересуюсь звуком, писал обзоры по железу, писал про Dolby Atmos. Меня не оставлял в покое формат Auro 3D, который нам обещает многоканальный звук, а чтобы послушать нужно покупать дорогой AVR, который из 5.17.1 мог извлечь верха.Формат Auro 3D был представлен бельгийской компанией Galaxy Studios в 2006 году и тогда назывался Octopus. В 2011 стал доступен в потребительских устройствах, а в 2019 был представлен новый формат Auro-Cx, который кроме канального кодирования может использовать и объектное, как, например, в Dolby Atmos и DTS:X
Не отдавайте ИИ то, что должны придумать сами
Писать код стало дёшево, думать — дорого. ИИ надо отдавать реализацию, а не продумывание, и только после того, как всё зафиксировано, — иначе он закроет каждую недосказанность своей догадкой.Думаю, многие читатели Хабра уже видели перевод 8 уровней агентной инженерии — тот самый, где путь от автодополнения до автономных команд агентов разложен по восьми ступеням.
Anthropic сделает Auto mode режимом по умолчанию в Claude Code: люди пропустили 86,4% опасных команд
Anthropic объявили, что с 14 августа новые сессии Claude Code на тарифах Pro, Max и Team будут запускаться в Auto mode по умолчанию. В этом режиме агент не просит разрешение перед каждым действием: каждый вызов инструмента проверяет отдельный классификатор, который должен блокировать необратимые, разрушительные и выходящие за границы рабочего окружения операции.По данным Anthropic, пользователи одобряют 97% запросов Claude Code на выполнение команд, а автоматическая проверка в контролируемом эксперименте обнаружила значительно больше опасных действий, чем люди.
