Машиналық аударма (kazRush-ru-kk@int8). Түпнұсқа
Материал түпнұсқа тілінде: Русский.
OpenAI және Anthropic модельдерінің әлеуметтік дедукцияға арналған тестісі
Подкастер Дваркеш Пател Blood on the Clocktower ойыны бойынша 11 модель арасында турнир ұйымдастырып, API-ге 20 000 доллар жұмсады. Ойын ережелері Ақпарат үшін күресте. Бірнеше ойыншы мен жүргізуші жасырын рөлдер таратады және өзі ешкім үшін ойнамайды.
2026 ж. 8 қараша · Дереккөз: Telegram — AI Machine Learning Big Data
📌 Тест моделей OpenAI и Anthropic на социальную дедукцию
Подкастер Дваркеш Патель потратил 20 000 долларов на API, организовав турнир среди 11 моделей по игре Blood on the Clocktower, усложненного аналога Мафии.
🟡Правила игры
Весь смысл - в борьбе за информацию. Участвуют несколько игроков и ведущий, который раздаёт тайные роли и сам ни за кого не играет.
Меньшинство - злые: демон и двое помощников, они с самого начала знают, кто есть кто.
Большинство - добрые, и они не знают ничего, даже кто с ними в одной команде.
У доброй стороны есть способности, которые по ночам тайно приносят правдивые подсказки, например, один игрок узнаёт роль другого, другой - сколько злых сидит рядом с ним и т.д.
Днём все могут общаться и добрым надо сложить информацию из подсказок в общую картину и вычислить демона, а злым - выдавать выдуманные подсказки.
В конце дня голосованием казнят одного подозреваемого или не казнят никого, затем снова ночь - и так круг за кругом.
Добрые выигрывают, когда казнён демон, злые - когда в живых остаётся двое.
Для чистоты эксперимента одна модель играла сразу за весь лагерь добрых, а другая - за злых, после чего они менялись ролями. Это позволило изолировать навыки дедукции и генерации обмана.
По итогам 386 раундов первое место заняла GPT-6 Astra с рейтингом 1859, обойдя Claude Opus 5.5 (1549). GPT-6 Astra превзошла Opus 5.5 и в выявлении лжи (1940 против 1500 баллов) и в ее создании (1806 против 1585).
🟡 Отдельные партии показали у моделей человеческие паттерны поведения
Astra, игравшая за злых, хладнокровно сдала собственного союзника на казнь, лишь бы самой втереться в доверие и довести свою сторону до победы.
Opus 5.5, играя за добрых поверил сопернику на слово там, где GPT заподозрила подвох, перепроверила улики и вычислила обманщика.
Если смотреть в целом на модели, выпущенные за этот год, то OpenAI быстрее прогрессируют в распознавании дезинформации, а у Anthropic на этом направлении успехи скромнее.
Но в навыках обмана обе компании развиваются примерно на одном уровне.
Повторить эксперимент можно самостоятельно или поиграть против ИИ онлайн.
@ai_machinelearning_big_data
#news #ai #ml