Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё
Представьте, что вам дают 10 терабайт текста и говорят запихнуть это в файл на 70 гигабайт. Да так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко, и не побайтово, но чтобы по смыслу билось.Вы бы сказали: «так это же lossy-компрессия, часть данных неизбежно потеряется».И были бы правы, потому что именно это делает LLM.Предсказание = сжатие (и это не метафора)Тут нужно кое-что объяснить, и это самое важное в статье.Клод Шеннон доказал в 1948 году: предсказание следующего символа и сжатие данных — математически одно и то же
Microsoft опенсорснула семейство эмбеддингов Harrier
Компания Microsoft объявила о выпуске Harrier-OSS-v1 - семейства из трёх многоязычных моделей встраивания текста, предназначенных для создания высококачественных семантических представлений на широком спектре языков. В релиз вошли три модели с разным количеством параметров: модель с 270M параметрами, модель с 0,6B параметрами и модель с 27B параметрами.
LoRA не помогла: как мы дообучали Mistral 7B на русском и что в итоге сработало
Каждый раз после созвона происходит одно и то же самое: кто-то открывает чат и пишет «итак, что мы решили?». Дальше — пятнадцать минут на то, чтобы восстановить то, что только что обсуждали час.Я ML-инженер, и эта боль мне была знакома лично. Когда появилась идея автоматизировать протоколирование встреч, казалось, что задача решаемая: берешь Whisper для распознавания речи, хорошую LLM для суммаризации — и готово.
Компания Z.ai (создатели моделей GLM) выпустили AutoClaw
Z.ai (разработчик серии моделей GLM) опубликовала AutoClaw - оболочку для локального запуска агента OpenClaw. По данным компании, инструмент работает без интернета, без API (интерфейс программирования приложений) ключей и без передачи данных на внешние серверы.
Новый завод по производству человекоподобных роботов выпускает одну единицу каждые 30 минут
В Китае начала работу высокопроизводительная производственная линия человекоподобных роботов. Это предприятие стало первым в стране, способным выпускать до 10 000 таких роботов в год, что знаменует переход от экспериментальной сборки к промышленному масштабу.
Топ 13 инструментов для сбора саммари из видео, аудио, текстов и PDF
Как я уже не раз отмечал в своих предыдущих материалах, инструменты со встроенными нейросетевыми примочками развиваются быстро. Буквально за несколько месяцев одни сервисы успевают захватить новые, порой совсем неожиданные ниши, а другие – обрасти таким количеством функций, что их создатели сами путаются в настройках. Рынок кипит, и уследить за всем практически невозможно.Сегодня представлю очередную подборку, но уже с конкретным, довольно узким уклоном. В прошлый раз я пристально смотрел на генерацию кода и
Утекли исходники Claude Code
Весь исходный код Claude Code утёк через sourcemap в npm. Давайте разберёмся.Где найти?Выкладывание закрытых проприетарных исходников может жёстко караться GitHub. Поэтому я их мгновенно переложил на GitVerse в свою организацию Anarchic, пока то репо не забанили на GitHub по DMCA.
Экономика AI-инфраструктуры: как не разориться на ИИ-моделях, промптах, GPU и инференсе
Поработить-то, может, и не поработит. Но без штанов оставит – в этом сомнений нет
