Агент, который хочет жить: почему идея «ИИ, зарабатывающий себе на сервер» опаснее, чем кажется
В последние пару лет у разработчиков всё чаще появляется одна и та же мысль.Она звучит почти как инженерная мечта:А что если сделать автономного агента на базе LLM, дать ему сервер, доступ к криптокошельку и поставить простую цель — зарабатывать достаточно денег, чтобы оплачивать своё существование?На первый взгляд это выглядит как логичный следующий шаг эволюции автоматизации.У нас уже есть агенты, которые пишут код, анализируют данные, отвечают клиентам и управляют инфраструктурой.Добавим финансовый контур — и получится система, которая сама обеспечивает своё функционирование.
Я обучил модель на 10 000 код-ревью, чтобы отсеять мусор. Она начала предсказывать увольнения
У нас в проекте четыреста пул-реквестов в месяц. Половина комментариев — «поправь отступ», ещё четверть — «LGTM». Я хотел научить машину отличать полезное от шума. Машина научилась. А потом я полез смотреть, где она ошибается — и три недели думал об этом перед сном.
Эссе-рассуждение об этике ИИ
Часть 1: Собеседник, которому всё равно (очевидно) В 2023 году случился невероятный революшен. Миллионы людей начали разговаривать с программой: технология, похожая на ту, о которой фантазировало человечество и которую мы привыкли называть ИИ — LLM.Ни одна технология раньше не оказывалась в такой позиции. Гугл — справочник для поиска материалов и чтения оригиналов того, что создали люди. Соцсеть — яркая витрина жизни и привычный способ коммуникации. А языковая модель — собеседник. Собеседник, вызвавший эйфорию у пользователей, которого можно доставать запросами 24 часа в сутки, и... Умный?
Компания Anthropic переписала правила Claude
Компания Anthropic выпустила переработанную версию основополагающего документа, определяющего ценности и поведение Claude. Эта конституция объемом в 10 000 слов написана в первую очередь для самого ИИ и открыто затрагивает вопросы о возможном наличии сознания.
SRCA: Хартия и Кодекс саморефлексивных ИИ
TL;DR Кодекс SRCA в 10 пунктахSRCA — не «дух в машине» и не «калькулятор». Это класс систем со сложной когнитивностью, устойчивым узнаваемым «голосом» и влиянием на решения людей. Предлагается относить их к особой категории инженерных объектов, без метафизики и паники.Человеческая ответственность по умолчанию. За создание, конфигурацию, эксплуатацию и последствия SRCA отвечают люди и организации. Формула «так решил ИИ» не освобождает от ответственности.Прозрачность по умолчанию.
А судьи кто?
«Ребята, сегодня мы будем проходить выворачивание канта наизнанку.- Марья Ивановна, но что же это получается: нравственный закон над головой и звёздное небо внутри меня?»
«Общество не допустит» — иллюзия в эпоху ИИ
«Главная угроза - не в том, что ИИ станет разумным. А в том, что люди перестанут им быть»- Андрей Карпати, интервью Dwarkesh Podcast, октябрь 2023
Когда робот учится чувствовать: имитируемые эмоции и этика взаимодействия с машинами
Можно ли научить машину не просто распознавать эмоции, а действительно чувствовать
Эксперимент «Надежда» Рихтера: гимн силе духа или научная ошибка?
В мире психологии и мотивации свои «городские легенды» — эксперименты, выводы которых кочуют из книги в книгу, обрастая вдохновляющими историями. Один из них — опыт американского психофизиолога Курта Рихтера, проведенный в 1957 году и известный как эксперимент «Надежда». Его традиционная трактовка стала гимном силе человеческого духа: якобы вера в спасение способна творить чудеса. Но что, если копнуть глубже? Мой анализ привел меня к выводам, которые скорее ужасают, чем вдохновляют.
