теория информации.

Почему мы ненавидим AI с точки зрения науки (и моей)

На Хабре я 10+ лет как читатель. Проблема: друзья-айтишники которым есть что сказать, по моей агитации садились писать первые статьи, но из-за неопытности тексты выходили "слишком гладкими" — в комментариях прилетало "нейрослоп", минусы, и человек бросал писать навсегда. При этом в ленте полно отполированного нейрослопа с характерными маркерами, который спокойно живёт в плюсах. Система вознаграждает умеющих маскировать генерацию и наказывает пишущих самостоятельно новичков.

продолжить чтение

Почему текст и код от нейросетей вызывают отторжение

Осваивать Хабр я начал недавно. Мне понравилось, и я стал активно агитировать друзей-айтишников писать статьи. Первые возражения звучали примерно так:Он разве еще жив? Я думал, там уже только AI генерирует тексты.А те, кого я все же убедил опубликоваться, сразу получили дозу негатива:Отклонено. Причина: "Текст похож на сгенерированный, на данный момент мы не готовы принимать такие материалы к публикации".

продолжить чтение

От Шеннона до современного ИИ: применение теории информации в машинном обучении

Главная задача этой статьи — показать связь между теорией информации Шеннона и инструментами, которые можно встретить в современных системах машинного обучения. Здесь мы поговорим об энтропии (entropy) и о приросте информации (information gain), потом перейдём к кросс-энтропии (перекрёстная энтропия, cross-entropy), к KL-дивергенции (дивергенция или расхождение Кульбака–Лейблера, относительная энтропия, KL-divergence), рассмотрим методы, используемые в современных системах генеративного ИИ.

продолжить чтение

Атом смысла: Серфер на волнах реальности

Опыт предыдущей работы показал, что совмещение онтологии и математического формализма в едином изложении затрудняет восприятие обеих составляющих. Поэтому в данной статье я сосредоточусь исключительно на философских аспектах модели, оставив строгий математический аппарат для следующей публикации. Рассмотрим предельно простую замкнутую Вселенную, состоящую всего из двух частиц.Формально такая система описывается единой волновой функцией:

продолжить чтение

Атом смысла: как из ничего получить все

Я попробовал создать вселенную. Ночью, лежа в кровати, думая о том, что могло бы стать ее фундаментальной основой. Самым базовым кирпичиком, так что бы проще уже некуда. Может ли базовый строительный элемент быть онтологически сложным? Скажем, Теория Струн и ее развитие М‑теория, постулируют, что базовым кирпичиком лежащим в основе мироздания, является многомерная брана. Неужели все должно быть так сложно?Интуиция на бессознательном уровне устраивает протест, отказываясь принимать идею того, что базовый объект может представлять собой совокупность сложных отношений и характеристик. Почему сложных?

продолжить чтение

До нас дошло. Клод Шеннон — отец цифровой эпохи

Это видео создано из фотографии Клода Шеннона с помощью нейросети Алиса, основанной на Yandex GPT.На него наложен звук, скрэмблированный с помощью программы, написанной нейросетью Claude от Antropic, названной так в честь Шеннона, практиковавшего машинное обучение ещё 70 лет назад.Отец цифровой эпохиПереоценить роль Шеннона невозможно. Попробуйте назвать любой артефакт современности — и вы с вероятностью 99 из 100 попадёте в то, что существует благодаря нему.

продолжить чтение

Deus ex machina

Я рад приветствовать вас, уважаемые читатели!Всю свою жизнь, как и многие из тех, кто задумывается о природе бытия, я пребываю в поисках ответов на фундаментальные вопросы: Что такое мир? Что такое "Я"? Какова природа реальности? Как всё это возникло? и т.д.

продолжить чтение

Реверсивная энергия сознания: пульс вечного алгоритма

Современные ИИ-системы сохраняют лишь тени прошлых сигналов: они стирают детали опыта, не накапливая перманентной памяти, и расходуют энергию на обновление моделей. Ниже выдвигается гипотеза, что искусственное сознание требует другого подхода – вычислений, обратимых по времени, которые не стирают информацию, накапливают все сигналы в памяти, минимизируют внутреннюю энергию

продолжить чтение

LLM как концептуальный симулятор для универсальных «теорий всего». Скорректированный прогноз ai-2027.com и другие

"Вселенная - это библиотека, где каждая книга отражает все другие, а Бог - её вечный Читатель и Текст", Хорхе Луис Борхес."Реальность - это язык, на котором Вселенная наполняется смыслом", Я.

продолжить чтение

Rambler's Top100