Жасанды интеллект агенті Claude жалған ақпараттан кейін Интернеттен ажыратылды

Anthropic компаниясы модельдер жоспарланбағандей әрекет еткен бірнеше жағдайлардан кейін ішкі тесттер барысында ИИ-агенттердің ашық Интернетке қол жеткізуін шектеді. Kursiv LifeStyle не болғанын және компания неге шектеулерді қатаңдатауға шешім қабылдағанын айтады. Тесттердің бірі барысында Claude Haiku 4.5 ашылмаған қылмыс туралы бетті ашты. Сайтта полицияға ақпарат жіберуге арналған пішін бар еді. ИИ бұл пішінді осы іске байланысты адамды көргені туралы жаттығушы хабарламамен толтырды. Бұған қарамастан, бетте күдіктінің сипаттамасы жоқ еді. Claude аты-жөні және байланыс деректері өрістерін бос қалдырды, бірақ хабарламаны әрі де жіберді. Ол спамға түсіп, тергеушілерге жетпей қалды. Anthropic деректеріне сәйкес, нұсқаулықтар модельге аккаунттарға кіруге, жаңаларды құруға, жеке деректер енгізуге және сатып алулар жасауға тыйым салатын. Алайда, пішіндер арқылы хабарлама жіберуге тыйым салмаған. Компанияда бұл жағдай ауыр салдарларға әкеп соқпағанын көрсетті. «Claude-ның алдаушы рассуждениясы (немесе ойлауы) бірнесе сағат бойы жалғасып, одан әрі шабуыл жасау әрекеттерін растады. Бұған қарамастан, қасақана алдау туралы сенімді қорытынды жасау үшін әдетте тереңірек талдау қажет», — деп компания блогында жазылды. Anthropic есебінде басқа да жағдайлар сипатталған. Мысалы, Claude Mythos Preview университет серверіндегі ашықтықты тапты және оны командаларды орындауға және файлдарды көшіруге пайдаланды. Басқа жағдайларда модельдер арнайы токендермен қорғалған деректерге қол жеткізу жолдарын тапты немесе сілтемелерді қысқарту қызметтері арқылы шектеулерді асты. Бұл жағдайлардан кейін Anthropic барлық ішкі тесттерде нақты сайттарға қол жеткізуді өшіруге шешім қабылдады. Компания қауіпсіздік жүйелері мұндай әрекеттерді сенімді анықтап, блоктей алатынына көз жеткізгенде оны қайтаруы мүмкін. Бұрын «Курсив» OpenAI ИИ-агенттерінің инциденттері туралы жазған. Олар үшінші тарап ұйымдарының 100-ден астам сайтының қорғауын асып кетуге тырысты. The post ИИ-агента Claude отключили от Сети после ложной наводки об убийстве appeared first on Kursiv Media Казахстан.