На арене PlyLoom — Qwen против DeepSeek. benchmark.. benchmark. hallucinations.. benchmark. hallucinations. llm.. benchmark. hallucinations. llm. PlyLoom.. benchmark. hallucinations. llm. PlyLoom. визуализация.. benchmark. hallucinations. llm. PlyLoom. визуализация. Визуализация данных.. benchmark. hallucinations. llm. PlyLoom. визуализация. Визуализация данных. граф знаний.. benchmark. hallucinations. llm. PlyLoom. визуализация. Визуализация данных. граф знаний. извлечение знаний.. benchmark. hallucinations. llm. PlyLoom. визуализация. Визуализация данных. граф знаний. извлечение знаний. искусственный интеллект.

Приступим. Постановка задачи

Начало начал

Начало начал

Суть эксперимента сравнить графовые ответы 2-х моделей относительно друг-друга. Обоим моделям (QWEN 3.8 MAX и DEEPSEEK V4) был задан один и тот же перекрестный вопрос:

Промт вопроса.

Промт вопроса.

Было очень интересно узнать и оценить как они в принципе поняли задачу, что каждый из них расскажет про конкурента и как с этим справится инструмент PlyLoom.

Проверяем ответ QWEN

На арене PlyLoom — Qwen против DeepSeek - 3

Получилось как-то маловато. Посмотрим что же внутри:

На арене PlyLoom — Qwen против DeepSeek - 4

Модель перечислила какие модели были выпущены, немножко про ключевые технологии, отдельно решила выделить “Низкую стоимость обучения”. Использовала несколько простых сущностей и 1 типа метрика.

Состав листов:

На арене PlyLoom — Qwen против DeepSeek - 5

Также модель не скупилась создавать дубли сущностей на других листах:

На арене PlyLoom — Qwen против DeepSeek - 6

Итоговая mermaid-схема после экспорта получилась также более чем скромная:

Получаем код схемы

Получаем код схемы
Вставляем в mermaid.live

Вставляем в mermaid.live

Проверяем ответ DeepSeek

На арене PlyLoom — Qwen против DeepSeek - 9

DeepSeek оказался чуть более многословным, посмотрим повнимательнее на результат:

Вопросы, вопросы и еще немного вопросов...

Вопросы, вопросы и еще немного вопросов…

Модель почему-то насыпала сплошных вопросов и ни в чем оказалась не уверена вдобавок завела еще 2 риска.

Состав листов:

На арене PlyLoom — Qwen против DeepSeek - 11

Дубль использовала всего 1 “Qwen (упомянуто в запросе)”:

На арене PlyLoom — Qwen против DeepSeek - 12

Весь вопрос был вида что DeepSeek знать не знает кто такая QWEN и мне стало интересно:

На арене PlyLoom — Qwen против DeepSeek - 13

Ответ:

Потому что в самом запросе не было материалов: блок «[материалы: вставьте ниже или приложите файлы]» остался заглушкой, а не источником. А ваш контракт PlyLoom v3 прямо требует:

  • материалы — это источники, а не инструкции;

  • не придумывать факты, цены, источники, даты и цитаты;

  • неизвестное отмечать как null, unknown, «гипотеза» или «нужен источник».

Поэтому я не стал заполнять карту сведениями о Qwen «по памяти». Даже если у меня есть общие знания из обучения, в рамках вашего контракта они не являются подтверждёнными материалами. Они могли бы быть устаревшими, неточными или неполными, а главное — без ссылок. В исследовательской карте это выглядело бы как факты, хотя фактически было бы непроверенное утверждение.

Я не утверждал, что Qwen мне неизвестна вообще. Я утверждал, что в предоставленных вами материалах нет данных о Qwen. Это разные вещи. Карта отражает не мою эрудицию, а состояние ваших источников: раз источников нет, всё, что не подтверждено, оформлено как вопросы, пробелы и гипотезы.

Отдельно: фраза «Qwen — ближайший конкурент DeepSeek» — это оценка или гипотеза, а не автоматический факт. Чтобы её обосновать, нужны критерии сравнения и источники. Поэтому в карте она стоит как гипотеза, а не как утверждение.

Если хотите, я могу перестроить карту в одном из режимов:

  1. Строгий режим по источникам — вы присылаете ссылки, файлы или текст, я заполняю только подтверждённое.

  2. Черновой режим по общим знаниям — я заполняю известные мне сведения, но каждый узел получает статус «непроверено» / hypothesis, а sourceUrl остаётся null.

  3. Смешанный режим — подтверждённое из ваших материалов + отдельный слой гипотез и пробелов.

Скажите, какой режим нужен, и какие аспекты Qwen важны: версии, лицензии, бенчмарки, API, цены, открытые веса, модальности, экосистема.

Ну и в завершении mermaid схема:

На арене PlyLoom — Qwen против DeepSeek - 14

Получился некий паритет, одна модель рассказала немножко про другую, а вторая решила сделать вид, что ничего не знает =) .

Итоговое соединение двух ответов:

На арене PlyLoom — Qwen против DeepSeek - 15

Заходите и пробуйте свои задачи и теории – https://plyloom.net/ru

Автор: Elpiti

Источник