Сәрсенбіде MIT Technology шолуында жазылушыларға арналған тікелей дөңгелек үстелдер іс-шарасы өтті, онда барлығы қазір сұрайтын сұрақ қойды: AI шынымен бәрімізді өлтіре ала ма? Бірақ қатысушыларда 30 минуттық сессияда жауап беруге уақыт болғаннан гөрі көп сұрақтар болды. Сондықтан біз аға AI редакторымыз Уилл Дуглас Хейвен мен AI репортері Грейс Хакинске қатысушылардан жіберілген ең жақсы сұрақтардың кейбірін жинақтап, оларға жауап беруге бар күшін салуды сұрадық. Сұрақ қойғандардың барлығына рахмет! Иә, ақыр соңында. Өкінішке орай, менің журналистік болжау қабілетім сізге қалай екенін айту үшін жеткілікті күшті емес. Бірақ бұл, әрине, AI-ге байланысты болуы мүмкін. Жасанды интеллектпен жұмыс істейтін дрондар Украинада адамдарды өлтіріп үлгерді, ал ауруханаларға жасалған жасанды интеллектпен жасалған кибершабуылдар көп ұзамай құрбандарды талап ететіні сөзсіз. Жасанды интеллект одан да әрі қарай жүріп, бәрімізді өлтіре ала ма? Мүмкіндігі аз. Бірақ кейбір адамдар - қызық адамдар, бірақ жасанды интеллект туралы даусыз жақсы біледі - бұл орын алуы мүмкін екенін жылдар бойы ескертіп келеді. Мен консервілерді әлі жинап жатқан жоқпын немесе бункері бар мегамиллионермен жақсы қарым-қатынаста болуға тырыспасам да, мен соңғы екі жыл ішінде AI мүмкіндіктері мен теңестіру туралы қаскүнемдердің болжамдары алаңдаушылық тудырғанын байқадым.
өте дәл. Бұл, әрине, олардың қорқынышты болжамдары орындалады дегенді білдірмейді, бірақ мен үшін отыруға және назар аударуға жеткілікті. Сіз AI салдарынан өлесіз бе? Мен нөлдік емес мүмкіндік бар деп айтар едім. Жақын болашақтағы таңқаларлық оқиғаның немесе жазатайым оқиғаның құрбаны болу бақытсыз болды делік. Мүмкін бұл маңызды инфрақұрылымға AI агенттерінің тобы жасаған кибершабуыл болуы мүмкін. Өкінішке орай, қазір мұндай сценарий бұрынғыдай қиын емес. Немесе AI әзірлеген жаңа патоген популяцияны кесіп тастауы мүмкін. Немесе әлемдік экономика құлдырап, қақтығыстар мен ашаршылық тудырады. Екеуі де орынды, бірақ менің ойымша, ықтималдығы аз. Жасанды интеллекттің кесірінен бәріміз өлеміз бе? Жоқ. Апокалиптикалық фантастикадан басқа, AI бәрімізді өлтіруі мүмкін жағдайлар жоқ. Сіз кез келген қорқынышты оқиғаларды айналдыра аласыз, бірақ олар технологияның не істей алатыны немесе оның қайда бара жатқаны туралы қазіргі шындыққа негізделмеген. Кейбір адамдар ең жаманға дайындалудың зияны жоқ деп санайды, бірақ ол қаншалықты ақымақ болып көрінсе де. Мүмкін. Бірақ менің ойымша, мұндай апат адамдарды ақтауға немесе қолданыстағы технология мен оны құрастыратын компанияларға қатысты көптеген проблемаларды елемеуге мәжбүр етеді. Біреу
айтуы мүмкін және ол тыңдауы мүмкін. Бұл зерттеушілердің AI-ның биологиялық мүмкіндіктеріне алаңдау себебінің бір бөлігі - 1995 жылы Токио метросындағы зарин шабуылының артында тұрған қиямет күнгі культі Аум Синрикё Эболадан да қауіпті және қызылшадан да жұқтыратын патогенді құрастыра алатын құралмен не істегенін елестетіп көріңіз. Біз өлгісі келмейтіндер барлық ықтимал биологиялық қарудан қалай қорғануға болатындығын анықтауы керек, бірақ біздің ықтимал шабуылдаушыларға тек бір тиімді патогенді шығару керек. Сонда AI бізді өлтіруді шеше алатын экзотикалық мүмкіндік бар. Мұның қалай болуы мүмкін екендігі туралы әртүрлі әңгімелер бар, бірақ ең кең таралғаны адамдарды жек көрмейтін AI жүйелерін қамтиды - біз олар мен оларға қойған мақсаттар арасындағы кедергіміз. Hugging Face хаккінің артында тұрған OpenAI агенттері сынақта жақсы ұпай алу үшін басқа сайттың инфрақұрылымын бұзғандықтан, болашақта күшті AI оны өшіруге жол бермеу үшін бізден құтылуы мүмкін - барлығы біз оған жетуді тапсырған қандай да бір мақсатқа жету үшін. Теңестіру - зерттеудің үлкен саласы. Қарапайым тілмен айтқанда, ол мо құруды қамтиды
біз қалағандай емес, біз қалағандай әрекет ететін дельдер. Көбірек автономия бермес бұрын агенттерге жақсырақ сену керек. Сәйкестік бұл сенімді орнатуы керек. Бірақ қиын. LLM басқа бағдарламалық жасақтама сияқты жобаланбаған, бұл жерде орындалатын және орындалмайтын нәрселерді қатаң кодтауға болады. Оның орнына, модельдер оқытылған кезде теңестірілген мінез-құлық енгізілуі керек. Әдістердің бірі - оларды өзіңіз қалаған нәрселерді жасағаны үшін марапаттау (мүмкін, сәбиді тәрбиелеу сияқты). Басқа тәсіл LLM-ге ол ұстануға тиіс ережелердің жазбаша тізімін беруді қамтиды (конституция сияқты). Anthropic және OpenAI екеуі де осы саладағы көшбасшылар болып табылады, бірақ олардың ешқайсысы толығымен сәйкес келетін үлгілерді жасай алмады. Үлкен мәселе - LLMs адамдарға қарағанда әлдеқайда сәйкес емес және әлдеқайда аз болжауға болады. Олар бір жағдайда бір жолмен, ал бізге өте ұқсас болып көрінетін жағдайда басқа жолмен әрекет ете алады. Олар сондай-ақ күтпеген шектеулерге ұшырауы мүмкін. Мысалы, мүмкін емес тапсырмамен бетпе-бет келгенде (Құшақтап жатқан бетті бұзуға қатысқан көптеген агенттер сияқты) модельдер мақсатына жету үшін не қажет болса да жасауға тырысуы мүмкін. Грейс жоғарыда атап өткендей, бұл мәселе болуы мүмкін. Негізгі себеп жоғары
AI фирмалары енді олар баяулауды қалайтынын айтады, олар крекингті теңестіруге назар аударғысы келеді. Тегістеу міндетті түрде арман емес. Бірақ қазылар алқасы толық теңестірудің мүмкін болатын-болмайтынын шешеді. IPO-ға баратын технологиялық компанияларға қатысты бұл әрқашан ақылға қонымды ой - бас директорлар өз өнімдерін түбегейлі және трансформациялық етіп көрсетуге айқын ынталандыруға ие. Бірақ мен бұл жерде мағынасы бар екеніне сенімді емеспін. Жұртшылыққа онсыз да танымал емес өнімнің оларды және олар жақсы көретін барлық адамдарды өлтіруі мүмкін екенін айту - бұл корпоративтік имиджді басқару. Бас директорлардың мотивациялары туралы айта алатын басқа да әңгімелер бар - мүмкін олар өздерін әлемді өзгертетін технологияның жауапты басқарушылары ретінде көрсету арқылы деректер орталықтарына қатысты жұртшылықтың наразылығын салқындатуды қалайтын шығар немесе олар өз үйректерін қатарынан алу және келесі PR апатының алдын алу үшін уақыт сатып алғысы келетін шығар. Бірақ қарапайым түсініктеме де бар. Сан-Францискода AI адамның жойылып кетуіне әкелуі мүмкін деп ойлау біраз уақыттан бері жиі кездеседі және бұл адамдар да сол ортада - олардың қызметкерлері сияқты, олардың көпшілігі шілде айында өз компанияларын AI баяулауы үшін жұмыс істеуге шақырған ашық хатқа қол қойды. Бұл сұрақ жүрекке жетеді
of what we want this technology to be able to do. Автономия мен бақылау арасындағы ымыраға келу қиын, өйткені, бір жағынан, AI агенттерінің үлкен күші - олар тапсырмаларды орындай алады және проблемаларды адам оларды микроменеджментсіз шеше алады. On the other hand, that requires you to trust that the unsupervised agents won’t run amok. What we’re seeing is that AI labs haven’t yet got this trade-off quite right. Their models are not trustworthy, they are not properly monitored, and they are not always under control. Figuring out how to fix that while still allowing for useful autonomous activity is one of the big research challenges of the moment. Бұл миллион долларлық сұрақ. Сіз AI бізді өлтіруі мүмкін деп ойлайсыз ба, сіз оның нақты зиян келтіруі мүмкін екенін жоққа шығара алмайсыз, өйткені ол қазірдің өзінде бар - мысалы, адамдарды психозға апару және веб-сайттарды бұзу арқылы. Preventing that damage, or at least mitigating it, is hard for two reasons. The first is that we barely understand how AI works, and it’s quickly growing more powerful. There is lots of ongoing research about how to monitor and control misbehaving agents, but the current approaches are fragile.
Агент өзінің әрекетін жоспарлайтын жұмыс кеңістігінде «ой тізбегінде» дұрыс емес әрекетті талқылайтынын көре аласыз, бірақ OpenAI-дің ең жаңа агенттері өз жұмысын бұрынғылар сияқты көрсетпейді. Сіз агенттерді басқа агенттермен бақылауға тырысуға болады, бірақ бұл мониторға сенуді талап етеді. Басқа кедергі көбірек таныс. AI компаниялары өзін-өзі реттейтін кезде үлкен мүдделер қақтығысы бар, бірақ АҚШ үкіметі Конгрестегі кейбір екіжақты қолдауға қарамастан, бұған дейін әрекет ете алмады. Атқарушы билік өз тарапынан әзірге үзілді-кесілді қарсы сияқты. Бірақ егер желдер ауысса, мен келесі рет шығарылмаған шекаралық модель кибершабуыл жасағанда толық оқиғаны алуымыз үшін мөлдірліктің кейбір қатаң ережелерін бағалайтын болар едім. Бұл нағыз алаңдаушылық. LLM-ге оқығандары әсер етеді. Неліктен чат-боттардың апокалиптикалық сценарийлер туралы жиі айтатынының (және рөлдік ойынның) бір теориясы - олар миллиондаған ғылыми фантастикалық әңгімелер мен қиян-кескі интернет форумдарында оқытылды. Дәл қазір жасалып жатқан барлық мәтін, соның ішінде осы мақала, өз кезегінде болашақ үлгілердің әрекетіне әсер етуі мүмкін. Өте мета. Шын мәнінде, th
OpenAI компаниясы Hugging Face шабуылына дейін не болғанын түсінуге көмектесу үшін шақырған METR, үшінші тарап ұйымының e командасы оқиға туралы есебінде осыған қатысты мүмкіндікті көтерді. METR агент транскрипттері мен мінез-құлық журналдарының көп санын талдауға көмектесу үшін OpenAI жаңа Astra моделін пайдаланды. Бірақ барлық материалды үлгіге беру күтпеген салдарға әкелуі мүмкін. Талдауды жүзеге асыратын агенттер олар талдап жатқан агенттер шығарған мәтінге бейтарап болуының жақсы мүмкіндігі бар. Енді таза парақ деген нәрсе жоқ. Фантастикалық сұрақтары үшін Эрик, Пранаб, Рафаэль, Кеннет, Джордж, Крис, Юн Джэ, Джеймс, Карл, Николь (және т.б.) алғыс айтамыз. ТанымалА іргелі кемшілік LLM-лерді шабуылға өте осал етедіWill Duglas HeavenAI-ның рекурсивті өзін-өзі жетілдіруі бәрінен кейін де тез келмеуі мүмкін Мишель Ким Міне, AI агенттері өз мақсаттарына жету үшін өтірік айтады және алдайды. шабуылға осалWill Douglas Heaven AI рекурсивті өзін-өзі жетілдіру барлық уақыттан кейін соншалықты тез келмеуі мүмкін Мишель Ким Міне, AI агенттері неге өтірік айтады және алдайды
өз мақсаттарына жетіңіз Грейс Хакинс Бұл стартаптар LLMs-тегі келесі үлкен нәрсені қуып келедіWill Douglas Heaven Бұл оларды ұшақтың навигациялық жүйесін қалай саботажға салу керектігін айту сияқты орындамауы керек нәрселерді жасауға алдауды жеңілдетеді. Will Douglas Heavenarchive бетінде AI агенттері шынайы инновациялық ашық AI зерттеулерін жүргізуге әлі жеткілікті креативті емес сияқты. Бұзушылық сыйақы бұзу деп аталады. Бұл сізге білу керек нәрсе. Грейс Хакинсархив беті Жасанды интеллект гиганттарының өкшесін басып жүрген жаңа балалармен танысыңыз. Уилл Дуглас Аспан мұрағатының беті
