Кто остановит AGI: законы или мегаватты?
В последние месяцы снова активизировались призывы притормозить развитие наиболее мощных AI-систем. Причём теперь они исходят уже не только от политиков и сторонних экспертов. Руководители крупнейших AI-компаний сами обсуждают необходимость замедлить гонку, ввести независимый контроль и договориться о правилах, которые позволили бы остановиться, если дальнейшее развитие станет слишком опасным.
OpenAI нажала на газ и почти сразу заговорила о тормозах
Последние несколько дней смотрю, что происходит вокруг OpenAI, и есть во всём этом один моментик, который меня немного напрягает.Не потому, что вышла очередная мощная модель — к этому уже привыкли. А потому, что люди, которые последние годы эту гонку разгоняли, вдруг сами начали говорить, что неплохо было бы притормозить.3 сентября OpenAI выпустила GPT-6 Astra. Модель мощная, бенчмарков много — всё как обычно. Но меня больше зацепила одна строчка из материалов самой OpenAI.Astra стала первой моделью компании, которой присвоили уровень Critical по возможностям в кибербезопасности в рамках Preparedness Framework.
ИИ может уничтожить человечество с вероятностью выше 10%. Чего именно боятся исследователи
9 сентября руководитель Alignment Science в Anthropic Эван Хубингер написал довольно безумную для человека на такой должности вещь: лично он оценивает вероятность того, что AI убьёт всех людей в течение ближайших десяти лет, выше 10%.Поводом стало увольнение его коллеги Джейкоба Коксона. Тот три года занимался обучением моделей в OpenAI и Anthropic, а уход объяснил тем, что считает нынешнее направление развития AI слишком опасным.Через несколько дней похожее заявление сделал
О праве на следующий бюджет
Заметки для юных* продуктологов в эпоху АйАйПродолжение «Манифеста созидателя», «Лицензии на агентство» и «На трёх слонах». #profgames
Замедлить AI: разбираем шумиху в твитах и мемах
Последние недели моя лента в Твиттере выглядит примерно так: AI может выйти из-под контроля, нужно срочно замедляться; нет, замедляться нельзя из-за Китая; нет, пусть компании сами замедляются; нет, это должен контролировать государственный регулятор.А где-то между всем этим Сэм Альтман публично соглашается с Дарио Амодеи, что нужно утихомирить развитие ИИ, Илон Маск отвечает буквально "Dario is right", Трамп объясняет, что AI нужен не новый регулятор, а хороший президент, Цукерберг говорит, что компании и сами как-нибудь разберутся.В общем, вовсю разгорается новая волна всеобщей паники и срачей дебатов.
Почему LLM не могут овладеть человеческим языком в совершенстве
Даже идеальная модель с бесконечным объемом текста не восстановит ту часть смысла, которая никогда не была закодирована в языковой форме.
Вы достигли лимита использования, заплатите $20 или подождите до…
Мне повезло застать несколько совершенно разных технологических эпох.Первая: мир почти без связи. Домашний телефон был далеко не у всех, и если человек ушёл из дома, он исчезал до тех пор, пока не вернётся.Потом появились приставки. Dendy, Sega, PlayStation - каждая казалась настоящей революцией и была поводом собраться всем двором у одного лампового телека "Горизонт", пока кинескоп не сгорит.
Искусственный интеллект: смерть учителя — или рождение нового?
Что останется от профессии учителя, когда машина научилась объяснять, проверять и создавать учебные материалы быстрееДмитрий Полетаев
SKILL.state в coding-агентах: меньше истории, но не всегда меньше работы
О чём этот текстЭто рассказ о моём эксперименте: что захотелось попробовать, что получилось и где пришлось пересмотреть свои ожидания. Я не ставлю здесь задачу кого-то обучить или доказать, как правильно устраивать память агентов. Просто захотелось поделиться этим опытом — вместе с результатами, ошибками и вопросами, на которые у меня пока нет ответа.С чего всё началосьНедавно мне попалась статья SKILL.state: Scalable Long-Horizon Agent Skills
