Как я поймал Трансформер на читерстве: гроккинг, математика и Mechanistic Interpretability
Феномен Grokking и Mechanistic Interpretability — главные тренды в исследованиях лабораторий уровня OpenAI и Anthropic. Я решил потрогать эти концепции своими руками на уровне тензоров. Цель казалась тривиальной: заставить кастомный микро-Трансформер (всего 1М параметров) выучить базовую арифметику с нуля. Однако вместо математического гения я получил ленивого мошенника. Эта статья — инженерный детектив о том, как нейросети пытаются нас обмануть (Specification Gaming), и как вскрытие Attention-матриц помогает поймать их за руку.Глава 1. Полигон и экстремальный Weight Decay
Как за 22 часа я собрала полноценный UI-прототип корпоративной системы с помощью ИИ
Всем привет и приятно познакомиться! Меня зовут Азалия Мухаярова, я работаю системным аналитиком в «Технократии»
В Autodesk Flow Studio появились инструменты для генерации 3D-объектов
Autodesk добавила в сервис Flow Studio инструмент для генерации 3D-объектов — Wonder 3D. Он создаёт персонажей и предметы по текстовому описанию и референсному изображению. Кроме того, нейросеть может генерировать текстуры, перестраивать топологию мешей и точечно редактировать элементы.
Почему мы запретили нашему агенту работать 24-7
Сейчас индустрия бьется над тем, чтобы агентов работали быстрее, дольше и без пауз. Выкатывают таких, которые должны пахать 24/7. Итог часто один: через 90 дней в проде система сгнивает - контекст забивается мусором, RAG начинает галлюцинировать старыми документами, а модель выдает усредненную жвачку.Пытаются решить это костылями: очисткой базы по крону и хардкодом. Мы в архитектуре FSBIO ( ex. ENA) пошли другим путем. Мы поняли, что биология уже решила проблему «загрязнения контекста» миллионы лет назад.Это решение называется сон. И мы вшили его в ядро на уровне физики.
В 1985 году компания Maxell создала множество роботов в натуральную величину для своей неудачной рекламы дискет
Автор блога Such Bad Tech Ads вспоминает необычную рекламную кампанию 80-х гг., которую запустил производитель дискет Maxell. Для ролика создали целый парк роботов, а некоторые из них попали в Музей компьютеров.
От OCR до ADE: как машины научились не просто читать, а понимать документы
Представьте что вы получили 500 кредитных заявок. В каждой — паспорт, банковская выписка, справка о доходах, налоговая форма. Всё в PDF. Имена файлов: upload1.pdf, upload2.pdf... Чтобы обработать их вручную — нужна неделя и несколько сотрудников. Чтобы обработать автоматически старым способом — нужно написать отдельный парсер под каждый тип документа, и молиться чтобы шрифт не поменялся. Эта статья о том как индустрия шла к решению этой задачи — и к чему пришла.
Выручка крупнейших операторов связи выросла в 2025 году, но прибыль и инвестиции сократились
«Ъ» проанализировал
Skaro: Автопилот для выполнения задач
Хочу представить вам обновление Open Source проекта skaro, обзор на который я делал в этой статье, и автором которого я являюсь.Добавлен режим автопилота — теперь LLM может выполнять задачи самостоятельно.GitHub
Школьная математика против цифрового бессмертия сайдлоадинга
LLM никогда не станет вами.В студенчестве я думал, что если поступлю на мехмат, то научусь программировать на высшем уровне. Я заблуждался - всякий матан не помогает писать код. Бросил на 3-м курсе.Но кое-какие знания остались. И именно они ставят крест на мечтах фанатов "сайдлоадинга".сайдлоадинг это аппроксимация разума через входы и выходы мозга. Мы работаем с ним как с черным ящиком: записываем твои логи, тексты и реакции, а потом учим нейронку вести себя так жеглавная ценность — это страховка от информационного уничтожения.____© определение от фаната сайдлоадинга
