Исследование: стартап Cluely для обмана на экзаменах выдаёт обычные ответы от ChatGPT через оверлей

Команда 404 Media провела ^[1] собеседование с помощью ИИ-помощника Cluely, который в реальном времени подсказывает ответы на вопросы собеседника прямо на экране. Выяснилось, что он часто повторяет стандартные формулировки чат-бота ChatGPT без учета специфики конкретной компании.

Сервис Interview Coder создал ^[2] бывший студент Колумбийского университета Чунгин «Рой» Ли. Инструмент позиционируется как помощник для разработчиков в прохождении технический собеседований на удаленке. Interview Coder анализирует текст и речь, а затем может сгенерировать код, предложить правки и дать объяснения для устных ответов. При этом пользователь видит данные в скрытом окне в браузере, которое не видно интервьюеру или экзаменатору. Это окно можно переместить в нужное место на экране.

В ходе теста журналисты издания 404 Media использовали инструмент для «интервью» с одним из сотрудников издания. Он задавал стандартные вопросы: «Каковы ваши сильные стороны?», «Над чем вам нужно поработать?». «Кандидат» давал ответы, опираясь на подсказки Cluely. Сервис анализировал звук, отправлял запросы к языковой модели и выводил готовый ответ в виде яркого текста вверху экрана и пояснений внизу.

Журналисты заметили, что сервис отвечает с заметной задержкой около 20 секунд.Также он выдавал стандартные ответы, которые требовалось адаптировать к контексту самостоятельно. 

Потом журналисты спросили Ли, отправляет ли Interview Coder запросы в ChatGPT. «Есть небольшая дополнительная донастройка и пара других моделей, но по сути — да», — ответил он.

«Инновационная идея — подсказки прямо в оверлее — безусловно, привлекает внимание ^[3], но в текущем виде сервис больше годится для демонстраций, а не для реальных интервью», — сделали вывод журналисты. 

Они отметили, что Interview Coder совершенно незаметен в записях экрана и скриншотах. По их словам, это может быть как преимуществом, так и недостатком в плане отсутствия прозрачности.

В 404 Media пришли к выводу, что Cluely потенциально может стать полезным инструментом для подготовки к важным переговорам и собеседованиям. Но сервис требует доработки по скорости работы и адаптации ответов под конкретные задачи. 

Ли заявил, что в ближайших релизах планируется серьёзно сократить задержку отклика и доработать модели, чтобы ответы были более точными и оперативными.

Ранее сообщалось, что стартап Cluely привлёк ^[4] $5,3 млн начального финансирования. Среди ключевых инвесторов — Abstract Ventures и Susa Ventures. Помимо этого, стартап отчитался о $3 млн годовой выручки.