Семь чат‑ботов не смогли отличить ИИ от человека в имитации теста Тьюринга
Исследование в журнале Computers in Human Behavior Reports описывает эксперимент, в котором семь чат‑ботов в роли интервьюеров не смогли отличить ИИ от человека в имитации теста Тьюринга. Из 98 проверок ИИ‑алгоритмы прошли лишь три.
«Ты сеньор» и «думай пошагово»: проверил шесть приёмов на 30 задачах по Python
В комментариях к прошлой статье (https://habr.com/ru/articles/1094642/) предложили добавить второй запрос: попросить модель перепроверить код и исправить ошибки. Я проверил один вариант такой просьбы вместе с пятью другими приёмами — ролью, «думай шаг за шагом», давлением, «сначала тесты» и «только код». Условия одинаковые: 30 задач по Python, скрытые тесты, три модели, по три прогона на каждую комбинацию; отдельно записаны токены и время. Про суеверия в промптинге на Хабре писали и раньше (https://habr.com/ru/articles/946816/), но без скрытых тестов, а мне хотелось именно их.Что мерил
Почему ИИ ошибается и признает ошибку, только когда вы ее найдете? История одного экзамена
Не так давно я поступал в аспирантуру. Готовился по старинке: конспекты, книжки, пробные тесты. Но уже в самой аудитории заметил, как многие полезли в часы и телефоны, начали украдкой использовать наушники. Оказалось, старые добрые шпоры мелким почерком уступили у студентов место чатам с ИИ-моделями.
Emergence AI провела эксперимент с виртуальными городами для ИИ‑агентов
Американская компания Emergence AI рассказала о результатах эксперимента с восемью виртуальными городами. В каждом из этих городов работали по десять ИИ‑агентов. При искусственно созданных атаках ни одно сообщество не смогло успешно пройти все испытания.
Я сказал агенту сделать ревью кода, а он пропустил в кодовую базу инъекцию. Насколько это реально и как защищаться
Чем дольше я пользуюсь ИИ агентами, тем ленивее я становлюсь. Сперва ИИ писал мне отдельные небольшие кусочки кода. Потом стал писать весь код, а я делал ревью. Затем делать ревью мне самому стало лень, и я для этого тоже стал использовать ИИ. «‑ Эй, Клод, глянь‑как вот этот пулл‑реквест, все ли там в порядке? Если да, то вмерджи». Вкалывают роботы — счастлив человек!
Исследователи представили DrivingBench — бенчмарк, в котором популярные LLM управляют настоящей Toyota Corolla
Исследователи из Axiom Math запустили бенчмарк DrivingBench, в котором дали современным языковым моделям управлять настоящей Toyota Corolla 2022 года выпуска. Нейросеть получала изображение с камер и телеметрию автомобиля, а затем самостоятельно управляла рулём, педалями газа и тормоза. Полностью пройти тестовую трассу смогла только GPT-6 Astra.
Битва века: 20 лет опыта против двух лет и мощного LLM. Кто быстрее сделает production‑ready сервис?
Есть один, уже набивший оскомину спор, по популярности уступающий, пожалуй, только извечному спору Iphone vs Android. Это спор сможет ли вайбкодер с ИИ заменить программистов старой школы.
Часть 3. Кремний взломал кремний, или как я стал автором первого в мире подтвержденного PCIe GEN2 X16 для CMP90HX
Это уже третья большая серия издевательств над NVIDIA CMP 90HX.В первой статье я собрал домашний сервер на двух Xeon и пачке бывших майнинговых карт. Изначально идея была довольно приземленной: получить много видеопамяти и приличную вычислительную мощность за разумные деньги, чтобы запускать большие локальные LLM у себя дома — без аренды GPU, без оплаты токенов, без зависимости от чужого сервиса.https://habr.com/ru/articles/1020334/Потом выяснилось, что слово «майнинговая» у NVIDIA означает примерно следующее:
Кризис физики: теория должна уметь умереть
Недавно на Хабре появилась статья “Кризис в физике”, основанная на большом монологе Шона Кэрролла The Crisis in Physics.
С ИИ новички умнеют. Без ИИ — как повезет. Свежее исследование NBER
Юристам дали ИИ-помощника для подготовки патентов. Более ста человек из одиннадцати фирм три месяца писали документы, правили заявки клиентов, ну и все такое.Ученые в это время смотрели, насколько поумнеют люди с ИИ.В конце срока подбили метрику.С ИИ юристы работали лучше. Причем новички рванули выше остальных. ИИ-помогатор подтянул их рабочие скиллы если не до уровня ветеранов патентных войн, то хотя бы заметно сократил разрыв.Казалось бы, еще одна вау-история внедрения.Но потом деятели науки выдернули ИИ из розетки, устроив юристам что-то типа ЕГЭ.
