📌 Тест моделей OpenAI и Anthropic на социальную дедукцию Подкастер Дваркеш Патель потратил 20 000 долларов на API, организовав турнир среди 11 моделей по игре Blood on the Clocktower, усложненного аналога Мафии. 🟡Правила игры Весь смысл - в борьбе за информацию. Участвуют несколько игроков и ведущий, который раздаёт тайные роли и сам ни за кого не играет. Меньшинство - злые: демон и двое помощников, они с самого начала знают, кто есть кто. Большинство - добрые, и они не знают ничего, даже кто с ними в одной команде. У доброй стороны есть способности, которые по ночам тайно приносят правдивые подсказки, например, один игрок узнаёт роль другого, другой - сколько злых сидит рядом с ним и т.д. Днём все могут общаться и добрым надо сложить информацию из подсказок в общую картину и вычислить демона, а злым - выдавать выдуманные подсказки. В конце дня голосованием казнят одного подозреваемого или не казнят никого, затем снова ночь - и так круг за кругом. Добрые выигрывают, когда казнён демон, злые - когда в живых остаётся двое. Для чистоты эксперимента одна модель играла сразу за весь лагерь добрых, а другая - за злых, после чего они менялись ролями. Это позволило изолировать навыки дедукции и генерации обмана. По итогам 386 раундов первое место заняла GPT-6 Astra с рейтингом 1859, обойдя Claude Opus 5.5 (1549). GPT-6 Astra превзошла Opus 5.5 и в выявлении лжи (1940 против 1500 баллов) и в ее создании (1806 против 1585). 🟡 Отдельные партии показали у моделей человеческие паттерны поведения Astra, игравшая за злых, хладнокровно сдала собственного союзника на казнь, лишь бы самой втереться в доверие и довести свою сторону до победы. Opus 5.5, играя за добрых поверил сопернику на слово там, где GPT заподозрила подвох, перепроверила улики и вычислила обманщика. Если смотреть в целом на модели, выпущенные за этот год, то OpenAI быстрее прогрессируют в распознавании дезинформации, а у Anthropic на этом направлении успехи скромнее. Но в навыках обмана обе компании развиваются примерно на одном уровне. Повторить эксперимент можно самостоятельно или поиграть против ИИ онлайн. @ai_machinelearning_big_data