Почему будущие ИТ-устройства должны работать без 0 и 1, если они хотят быть ИТ-устройствами будущего
Давно уже пришла пора выбросить на помойку идею арифметико-логических устройств (в просторечии АЛУ), на которых работают ваши и наши компьютеры (ибо именно из-за них все эти технологии перестали быть достаточно круты, чтобы делать действительно клевые штуки не только в фильмах Ридли Скотта), но воз и ныне там.
Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё
Представьте, что вам дают 10 терабайт текста и говорят запихнуть это в файл на 70 гигабайт. Да так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко, и не побайтово, но чтобы по смыслу билось.Вы бы сказали: «так это же lossy-компрессия, часть данных неизбежно потеряется».И были бы правы, потому что именно это делает LLM.Предсказание = сжатие (и это не метафора)Тут нужно кое-что объяснить, и это самое важное в статье.Клод Шеннон доказал в 1948 году: предсказание следующего символа и сжатие данных — математически одно и то же
Почему мы ненавидим AI с точки зрения науки (и моей)
На Хабре я 10+ лет как читатель. Проблема: друзья-айтишники которым есть что сказать, по моей агитации садились писать первые статьи, но из-за неопытности тексты выходили "слишком гладкими" — в комментариях прилетало "нейрослоп", минусы, и человек бросал писать навсегда. При этом в ленте полно отполированного нейрослопа с характерными маркерами, который спокойно живёт в плюсах. Система вознаграждает умеющих маскировать генерацию и наказывает пишущих самостоятельно новичков.
Почему текст и код от нейросетей вызывают отторжение
Осваивать Хабр я начал недавно. Мне понравилось, и я стал активно агитировать друзей-айтишников писать статьи. Первые возражения звучали примерно так:Он разве еще жив? Я думал, там уже только AI генерирует тексты.А те, кого я все же убедил опубликоваться, сразу получили дозу негатива:Отклонено. Причина: "Текст похож на сгенерированный, на данный момент мы не готовы принимать такие материалы к публикации".
От Шеннона до современного ИИ: применение теории информации в машинном обучении
Главная задача этой статьи — показать связь между теорией информации Шеннона и инструментами, которые можно встретить в современных системах машинного обучения. Здесь мы поговорим об энтропии (entropy) и о приросте информации (information gain), потом перейдём к кросс-энтропии (перекрёстная энтропия, cross-entropy), к KL-дивергенции (дивергенция или расхождение Кульбака–Лейблера, относительная энтропия, KL-divergence), рассмотрим методы, используемые в современных системах генеративного ИИ.
Атом смысла: Серфер на волнах реальности
Опыт предыдущей работы показал, что совмещение онтологии и математического формализма в едином изложении затрудняет восприятие обеих составляющих. Поэтому в данной статье я сосредоточусь исключительно на философских аспектах модели, оставив строгий математический аппарат для следующей публикации. Рассмотрим предельно простую замкнутую Вселенную, состоящую всего из двух частиц.Формально такая система описывается единой волновой функцией:
Атом смысла: как из ничего получить все
Я попробовал создать вселенную. Ночью, лежа в кровати, думая о том, что могло бы стать ее фундаментальной основой. Самым базовым кирпичиком, так что бы проще уже некуда. Может ли базовый строительный элемент быть онтологически сложным? Скажем, Теория Струн и ее развитие М‑теория, постулируют, что базовым кирпичиком лежащим в основе мироздания, является многомерная брана. Неужели все должно быть так сложно?Интуиция на бессознательном уровне устраивает протест, отказываясь принимать идею того, что базовый объект может представлять собой совокупность сложных отношений и характеристик. Почему сложных?
До нас дошло. Клод Шеннон — отец цифровой эпохи
Это видео создано из фотографии Клода Шеннона с помощью нейросети Алиса, основанной на Yandex GPT.На него наложен звук, скрэмблированный с помощью программы, написанной нейросетью Claude от Antropic, названной так в честь Шеннона, практиковавшего машинное обучение ещё 70 лет назад.Отец цифровой эпохиПереоценить роль Шеннона невозможно. Попробуйте назвать любой артефакт современности — и вы с вероятностью 99 из 100 попадёте в то, что существует благодаря нему.
Deus ex machina
Я рад приветствовать вас, уважаемые читатели!Всю свою жизнь, как и многие из тех, кто задумывается о природе бытия, я пребываю в поисках ответов на фундаментальные вопросы: Что такое мир? Что такое "Я"? Какова природа реальности? Как всё это возникло? и т.д.
Реверсивная энергия сознания: пульс вечного алгоритма
Современные ИИ-системы сохраняют лишь тени прошлых сигналов: они стирают детали опыта, не накапливая перманентной памяти, и расходуют энергию на обновление моделей. Ниже выдвигается гипотеза, что искусственное сознание требует другого подхода – вычислений, обратимых по времени, которые не стирают информацию, накапливают все сигналы в памяти, минимизируют внутреннюю энергию
