Демон Сциларда: Энтропия и информация
В предыдущей статье были рассмотрены взгляды Эдвина Джейнса, который обосновывал субъективность энтропии на базе субъективной интерпретации вероятности. В этой статье рассмотрим другую линию обсуждения, связанную с мысленным экспериментом Лео Сциларда, предложенном в 1929 году. Правильное произношение Leo Szilard (1898 - 1964) - это Лео Силард, но я буду использовать старую транскрипцию, которая использована во многих учебниках.
Несколько взглядов на кросс-энтропию
Всем привет! В этой статье я хотел бы попробовать осветить несколько взглядов на кросс-энтропию и попробовать сформировать некоторую интуицию с точки зрения теории информации.Кросс-энтропия - одна из центральных метрик машинного обучения. Любая задача классификации так или иначе сводится к оптимизации модели через эту метрику. Однако новички нередко задаются вопросом, откуда берётся эта метрика и почему имеет такой вид, так как нередко вне профильных курсов она преподносится как данность.Вывод через метод максимального правдоподобия
Клод Шеннон. Информатика на максималках
Вопрос на засыпку: кто придумал бит? Если вы ответите «Клод Шеннон», то будете неправы, бит он не придумывал. Но без Шеннона сухая концепция его коллеги по Bell Джона Тьюки вряд ли бы обрела такую популярность и легла в основу современного мира.А еще Шеннон не придумывал Булеву алгебру, энтропию и логарифмическую меру количества информации. Если честно, то изобретатель из него так себе.Зато в чем у отца современной информатики точно был талант: он умел находить отличные идеи и применять их в неожиданных формах. При этом на авторство он никогда не претендовал и никогда не пытался выдать что-то чужое за свое.
Когда ИИ не знает – но делает вид, что знает: ударим энтропией по LLM
Представьте: вы спрашиваете умного коллегу о дедлайне проекта, а он отвечает уверенно и детально – но на самом деле придумывает всё на ходу. Именно это постоянно делают большие языковые модели. Они не «знают», что не знают. И это не баг конкретной реализации – это фундаментальное свойство архитектуры.
Энтропия, которая измеряет порядок: IH-анализ находит закономерности в разнотипных данных
Обычно энтропия — мера хаоса. Но наш сегодняшний герой — IH-анализ (Information-Entropy analysis) — вычисляет информационную энтропию, чтобы измерить обратное: степень детерминированности связи между признаками и целевой переменной. Мы будем вычислять: насколько утверждение «если А, то Б, и, если не А, то и не Б» выполняется в наших данных устойчиво. Одновременная работа с категориальными и количественными признаками нас не затруднит.Вы спросите: и что, твоя энтропия может справиться с такими проблемами:одни признаки количественные, связь с Y явно нелинейная, и гипотезы о виде функции нет, другие категориальные;
Происхождение, часть 1. Самовоспроизводство и диссипативная адаптация
«В жизни нет ничего определённого, кроме смерти, налогов и второго закона термодинамики» (Сет Ллойд)«
Если попросить ИИ назвать случайное мужское имя, он скажет «Marcus». И будет говорить «Marcus» снова и снова
Разработчик Бенджи Смит провёл эксперимент с 37 500 запросами к пяти моделям Claude с одной задачей: выбрать случайное имя. Самый частый мужской ответ — Marcus, 23.6% от всех попыток. У женских имён фаворит — Amara, 14.3%. А Opus 4.5 при простом промпте возвращал «Marcus» в каждом из ~100 запросов подряд без единого отклонения. При том что каждый вызов API проходит заново через модель, без кеша.Всего за эксперимент модели выдали 1 680 уникальных имён, но если измерить энтропию по Шеннону, реальный выбор эквивалентен ~137 именам. У Sonnet 4.5 ещё меньше — около 22. Разброс между моделями хорошо виден в таблице.
Пользователь проверил способность Claude назвать 37 500 случайных имён
Разработчик Бенджи Смит провёл эксперимент, в ходе которого пытался выяснить, как языковые модели обрабатывают случайности. Он попросил модели Claude назвать 37 500 случайных имён, и ИИ не переставал повторять Marcus («Маркус»).
Новый класс Интернет-ресурсов: антисоцсети
Разработчики, занимающиеся стартапами, иногда сталкиваются с проблемами типизации своей разработки. Им зачастую самим хочется понять, что же именно они ваяют? Особенно эта проблема становится актуальной, если проект, так или иначе, подразумевает
Почему физики и программисты мыслят одинаково: законы симметрии кода и Вселенной
Иногда кажется, что физика и программирование живут в разных мирах. Но чем глубже смотришь, тем сильнее понимаешь — законы мышления, которыми мы руководствуемся, удивительно схожи. Симметрия, порядок, борьба с энтропией, поиск инвариантов — всё это объединяет инженеров, физиков и программистов в одном стремлении понять, как устроен мир. Я просто захотел порассуждать об этом и поделиться с вами своими мыслями.
