Дешево, но не точно: разбираем контроллер доверия к памяти LLM-агентов
В 2024 году мэрия Нью-Йорка запустила чат-бота MyCity — цифрового помощника для владельцев малого бизнеса. Он должен был стать удобным справочником по городским правилам и законам. Но на деле бот раздавал советы, за которые предпринимателям грозили штрафы и суды, например, не выплачивать до конца чаевые сотрудникам, уволить человека за жалобу на харассмент, и прочее в таком духе.Правильная информация при этом лежала в собственной базе знаний бота наравне с устаревшей. Как оказалось, он просто-напросто не смог выбрать между верным и неверным, когда оба варианта оказались под рукой.
Что и как меняется в ИТ-инфраструктуре при внедрении ИИ?
Отвечая на вопрос, заявленный в заголовке, напрашивается короткий ответ — «всё». Но попробуем немного его детализировать.Привет, Хабр!
Prediction-Powered Smoothing как главный метод оценки качества современных нейросетей
С развитием нейросетей неизбежно пришли две вещи: их интеграция во всё, куда можно (например, в телефон, робот-пылесос и холодильник), и связанный с этим вопрос контроля качества.
Бабушки были правы: ковыряние в земле полезно для здоровья
Когда мы погружаем руки в землю или прикасаемся к траве, деревьям и мху, это может приносить самую разную пользу здоровью, от состояния кожи до работы иммунной системы в целом
Шон Кэролл: существует ли время?
Новый год и новый юбилей: 300 выпусков Mindscape с обычной нумерацией! По традиции мы записываем сольный выпуск, и что может быть лучше темы природы времени? Физики и философы так часто предполагали, что время - своего рода иллюзия, что вера в его фундаментальность стала почти старомодной. Это вопрос, о котором, несмотря на его формулировку, физика может сказать кое-что важное, до чего большинство философов пока не добрались. Я расскажу об идеях из квантовой механики и квантовой гравитации, которые имеют отношение к вопросу о том, фундаментально ли время или оно эмерджентно, а также о последствиях каждого из этих вариантов.
Как я собрал винный бенчмарк на 3 266 вопросов руками LLM и где они меня подвели
В феврале я решил измерить, сколько языковые модели на самом деле знают про вино. Умеют ли они поддержать разговор о Бордо, мне было неинтересно. Меня интересовало, знают ли они, сколько месяцев Бароло обязано провести в бочке и в каком округе штата Вашингтон лежит AVA Beverly. К сентябрю из этого вышел бенчмарк OenoBench: 38 104 факта, собранных 35 скраперами из открытых источников, 3 266 вопросов с выбором ответа и прогон шестнадцати моделей. Почти всю работу сделали агенты: вопросы генерировали пять моделей, проверяли их десять агентов аудита. Я был единственным человеком в этой схеме и отвечал за то, что агенты проверить не могут: за вино.
Искусственный Интеллект манипулирует нашей памятью. И баг на нашей стороне
Созданные с помощью ИИ выводы о событиях, свидетелем которых вы были лично, порождают в сознании ложные воспоминания. Точность воспоминаний о событии снижается вдвое. А ложные воспоминания внедряются даже если вас напрямую предупредят о том, что именно ИИ подводил итоги.
Где на самом деле живут знания компании: 8 видов корпоративного знания
У любой компании как и у человека есть память. В бизнесе это называется корпоративным знанием. Однако неверно думать, что знания – это что-то зафиксированное в документах. На самом деле большая их часть скрыта в решениях, принятых интуитивно, негласных договоренностях команды, и понимании, когда правило лучше обойти.
