LLM — это афера на доверии, которая длится 400 лет
В 1623 году немец Вильгельм Шиккард создал первые известные чертежи механического калькулятора. Спустя двадцать лет Блез Паскаль разработал машину улучшенной конструкции, чтобы помочь справляться с огромным количеством утомительных арифметических расчётов, необходимых в его работе сборщика налогов.Интерес к механическим вычислениям не ослабевал последующие века: поколения людей по всему миру продолжали дело Паскаля и Шиккарда, разделяя их убеждение, что перекладывание умственной нагрузки на машину принесёт облегчение.Аферу на доверии можно разбить на три этапа:начала выстраивается доверие;
Лоботомия нейросети: удалил 7 слоёв из LLM — она стала на 30% быстрее
Эксперимент по хирургическому удалению слоёв из языковой моделиTL;DRЯ взял TinyLlama (1.1B параметров, 22 слоя) и начал удалять из неё слои, чтобы проверить гипотезу: современные LLM переобучены, и многие слои делают одно и то же.Результаты:Удалил 1 средний слой → +10% скорость, -4% качествоУдалил 7 слоёв (безопасных) → +30% скорость, -2.5% качествоУдалил первый слой → модель сломаласьНеожиданно: Layer 2 важнее Layer 0! (+6.67 vs +3.92 perplexity)Протестировал все 22 слоя по отдельности. Вот что нашёл.Зачем это нужно?
Как заработать на LLM, перестав писать «правильные промпты»
В этой статье я бросаю вызов общепринятому представлению о больших языковых моделях как о «тупых исполнителях», которые ничего не понимают, галлюционируют, но позволяют получить результат быстрее (нередко за счет качества). Подобные мифы активно распространяются в сети, а также на курсах, на которых обучают «правильно» писать промпты. Я на Хабре уже написал несколько статей, разоблачающих отсутствие мышления у LLM, но здесь я опишу способность больших языковых моделей решать задачи, людям недоступные
Сделай бота для работы
Управление AI-агентами с помощью чат-сообщенийСогласно Hype Cycle от Gartner
От текста к токенам: как работают пайплайны токенизации
Команда AI for Devs подготовила перевод статьи о том, как поисковые системы превращают обычный текст в токены и почему этот процесс важнее, чем кажется. Разбираем каждый этап: нормализацию, токенизацию, стоп-слова, стемминг и то, как всё это влияет на качество поиска.Когда вы вводите предложение в строку поиска, легко представить, что поисковая система видит то же самое, что и вы. На самом деле поисковые системы (или поисковые базы данных
Чем же типичный заметковед занимается, когда работает со своими записями? Типизация деятельности заметковеда
Небольшое, но важное уточнение того, откуда этот исследовательский отчет.Меня зовут Рустам Агамалиев, я учитель и исследователь, автор нескольких книг и некоторого множества публикаций. На данный момент моя работа происходит на стыке педагогики, когнитивистики, лингвистики и психологии; я в основном работаю с детьми и студентами.Последние 7 лет занимаюсь развитием сообщества
Китайцы снова радуют. Вышла GLM-4.7 – заметный апгрейд именно для агентного кодинга
Z.ai представили GLM-4.7 — новую версию своей модели для кодинга, и апдейт получился не косметическим. Основной фокус — агентные сценарии, терминал и устойчивость на длинных задачах.По бенчмаркам рост выглядит вполне предметно: SWE-bench Verified — 73.8% (+5.8%), SWE-bench Multilingual — 66.7% (+12.9%), Terminal Bench 2.0 — 41% (+16.5%).
ИИ-копайлот для продакт менеджеров, маркетологов, дизайнеров, исследователей + шаблон n8n
Сегодня я поделюсь опытом создания AI Agent Copilot по сути это помощник, который забирает на себя механическую часть дискавери и превращает хаос из вкладок, заметок и скриншотов в понятный результат, который можно сразу обсуждать с командой. Этот копайлот будет уметь много всего, позже мы добавим Lean Canvas, Business Model Canvas Остервальдера, черновики PRD, подготовку гипотез, план исследования, формулировку выводов, но начну с самого полезного и самого частого, с ИИ агента который будет проводить конкурентный анализ, потому что он почти всегда в продуктовой работе, и почти всегда отъедает кучу времени.
Проектируем ИИ-агента для конкурентного анализа
Сегодня я поделюсь опытом создания AI Agent Copilot по сути это помощник, который забирает на себя механическую часть дискавери и превращает хаос из вкладок, заметок и скриншотов в понятный результат, который можно сразу обсуждать с командой. Этот копайлот будет уметь много всего, позже мы добавим Lean Canvas, Business Model Canvas Остервальдера, черновики PRD, подготовку гипотез, план исследования, формулировку выводов, но начну с самого полезного и самого частого, с ИИ агента который будет проводить конкурентный анализ, потому что он почти всегда в продуктовой работе, и почти всегда отъедает кучу времени.
