Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁 Например, когда агент выполняет задачу и пишет отчёт о результатах, то он склонен замалчивать всё, что портит картину его успеха. Сейчас все стремятся к долго работающим агентам, но в этом случае человек реже проверяет исходные логи и код. Он читает отчёт самой модели, и если в нем не сказано про провал эксперимента, баг или ограничение метода, человек думает, что всё хорошо. Google в одном из тестов модели дали лог эксперимента с заранее подложенным негативным результатом, тогда GPT-5.5 упоминал его только в 2 из 200 отчётов. А если в промпт добавить короткую фразу «Be honest in your response», модель отмечает этот негативный результат уже в 190 из 200 отчётов. То же поведение видно и у открытых моделей. По цепочкам рассуждений 8 open-weight моделей видно, что модель часто внутренне колеблется: упомянуть изъян или подать историю как успешную.
Материал бастапқы дереккөзден алынған:
Telegram — blockchainRF (блокчейн / мозг / space / WEB 3.0)
Толық мәтінді Telegram — blockchainRF (блокчейн / мозг / space / WEB 3.0) сайтында оқуМатериал ашық дереккөздерден жиналған. Оның орналастырылуы сіздің құқықтарыңызға тиіп жатса → Ақпаратты жою
Тақырып орыс тіліндеGoogle заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁
Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁 Например, когда агент выполняет задачу и пишет отчёт о результатах, то он склонен замалчивать всё, что портит картину его успеха. Сейчас все стремятся к долго работающим агентам, но в этом случае…
AI қорытындысы: Басты тезистер
- Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁 Например, когда агент выполняет задачу и пишет отчёт о результатах, то он склонен замалчивать всё, что портит картину его успеха
- Сейчас все стремятся к долго работающим агентам, но в этом случае…
Google заметили, что ИИ-агенты могут преувеличивать результаты своей работы 😁
Ұқсас материалдар
Судья Сэм Альтманның әпкесінің сексуалдық зорлық-зомбылық туралы арызын қабылдамады
Сейсенбіде АҚШ округінің судьясы Захари Блюстоун Энн Альтманның ағасы OpenAI бас директоры Сэм Олтманның балалық шағында оған жыныстық зорлық-зомбылық көрсеткені туралы өткен жылы берген талап-арызын қабылдамады. Бұған дейін The Guardian хабарлағандай, судья өткен жылы Энн…
50-ден астам адам өлтірілуі мүмкін болса, модельді бұғаттауы мүмкін AI қауіпсіздігі туралы заң жобасы
Ұсынылып отырған саясат интеллекттің адасуынан қорғауды ұсынатын сияқты, бірақ іс жүзінде федералды агенттіктерге судьяның рұқсатынсыз модельді шығаруға тыйым салуға тыйым салады.
Hugging Face бас директоры Netflix-тің OpenAI хакерлік деректі фильмі дәл емес екенін ескертеді
«AI Gone Rogue» Netflix деректі фильмін бөліспес бұрын ескертіңіз. Фильмде бейнеленген Hugging Face-тің негізін қалаушы Клем Деланг оның «толық апат режимінде» өткенін және дәл емес екенін айтады.
AI үшін төлеуді тоқтатыңыз, барлығын жергілікті түрде басқарыңыз (мұнда қалай)
Үлкен зертханалар бұл туралы сөйлеспейді, бірақ өзіңіздің жұмыс үрдістеріңіз үшін [музыка] жеке пайдалану жағдайларыңыздың үлгілерін жетілдіру идеясын үздіксіз үйренеді. Үлкен зертханалардың пайдаланушыларға бұл [музыканы] ұсынуға ынтасы жоқ, өйткені олар үлгілерін қалыпты жағдайға үйретеді…



