Қазақстанда Қазақстан Республикасы Жасанды интеллект және цифрлық даму министрлігінің бастамасымен киберқауіпсіздік және кибермәдениет айлығы өтуде. Осы жобаның бір бөлігі ретінде мен AI агенттерімен жұмыс істеу кезінде деректердің ағып кету қаупі бар ма және олардан мүмкіндігінше қорғау үшін не істеу керек деген сұраққа тереңірек үңілгім келеді. Біз бұл туралы Freedom Cloud холдингінің мониторинг және киберинциденттерді басқару бөлімінің басшысы Клим Голцманмен сөйлестік. Жолдардың бірі – AI брандмауэр, пайдаланушы, корпоративтік жүйелер және модель арасындағы қорғаныс қабаты», - деп түсіндіреді сарапшы. Инженер сәтсіздіктің себебін жылдам табу үшін AI көмекшісіне оқиғалар журналының бір бөлігін жүктеп салады. Бірнеше секундтан кейін ол жауапты алады және мәселені шешеді. Бірақ қатенің сипаттамасымен бірге клиенттің аты, апатқа ұшыраған әкімші серверінің мекенжайлары мен журналында апатқа ұшыраған администратор тіркелгісін сақтайды. сыртқы қызметке жіберуге болады 2025 жылы ЭЫДҰ зерттеуіне сәйкес, жеті елдегі сауалнамаға қатысқан ШОБ субъектілерінің 31%-ы генеративті AI пайдаланған. Cisco Data Privacy Benchmark 2025 сауалнамасында 12 аймақтан 2600-ден астам маман қамтылған, ұйымдардың жартысына жуығы өз қызметкерлері жеке немесе жалпыға ортақ емес деректерді генеративті жүйелерге енгізгенін мойындады. AI корпоративтік деректердің қозғалысын қалай өзгертеді Кәдімгі чат-ботпен жұмыс істегенде, пайдаланушы мәтінді таңдап, оны үлгіге жібереді. Бұл арнаны түсіну және басқару салыстырмалы түрде оңай. Дегенмен, AI функциялары код редакторларына, браузерлерге, кеңсе қолданбаларына, анықтамалық үстелдерге және басқа да кәсіпорын өнімдеріне көбірек енгізілуде. Пайдаланушы қысқа сұрақ жаза алады, бірақ қолданба оған ашық құжатты, хат алмасу тарихын, код үзіндісін немесе жұмыс қалтасының мазмұнын автоматты түрде қосады. Нәтижесінде, адам үлгі алатын барлық контекстті әрқашан көре бермейді. Жасырын AI агенттері AI агенттерін басқару одан да қиын. Чаттан айырмашылығы, мұндай агент әрекеттерді өз бетінше жоспарлауға және құралдарды қосуға қабілетті. Ол құжаттарды аша алады, поштаны оқи алады, API және дерекқорларға қол жеткізе алады, Интернетте ақпаратты іздей алады және параметрлерді өзгерте алады. Агент тапсырманы алды делік: «Клиент қателігімен күрес». Ол тұтынушы картасын таба алады, конфигурацияны тексереді және оқиғалар журналдарын сұрай алады. Жауап тек қате кодын және журналдың бірнеше жолын қажет етсе де, модель бірден бірнеше жүйеден ақпаратты алды. Бір ғана бұл деректер қауіпті көрінбеуі мүмкін. Бірақ олар бірге ішкі процестерді, клиенттің күйін және өнімнің ерекшеліктерін ашады. OWASP қауымдастығына сәйкес (Open Worldwide Application Security Project - open web application security project - редактор ескертпесі), ықтимал зақымдану агенттің өкілеттілігіне байланысты. Егер ол тек мәтіндік жауап жасауды білсе, оның салдары шектеулі болады. Егер агент корпоративтік файлдарды оқи алса, электрондық хаттар жіберсе, параметрлерді өзгертсе және сыртқы қызметтерге қол жеткізе алса, тәуекелдер айтарлықтай артады. Сондықтан компаниялар пайдаланушының сұрауын ғана емес, бақылап отыруы керек. Агентке қандай көздер қолжетімді екенін, ол қандай деректерді біріктіре алатынын, оны қандай үлгіге беруге рұқсат етілгенін және жауап алғаннан кейін қандай әрекеттерді орындау керектігін түсіну маңызды. Неліктен тыйым салу мәселені шешпейді Сыртқы AI қызметтерін толығымен бұғаттау оқшауланған сегменттерде немесе ерекше құпия ақпаратпен жұмыс істегенде ақталуы мүмкін. Бірақ әмбебап стратегия ретінде ол тиімсіз. AI қазірдің өзінде рұқсат етілген кәсіпорын өнімдеріне енгізілген. Егер компания ыңғайлы құралды бермесе, қызметкерлер жеке шоттарды және есепке алынбаған қосымшаларды пайдалана бастайды. Нәтижесінде AI еш жерде жоғалмайды, ал қауіпсіздік қызметі не болып жатқанын көруді жоғалтады. Оқыту да мәселені толық шешпейді. Қызметкер ережелерді есте сақтауы мүмкін, бірақ бірнеше мың жолдар журналында таңбалауышты байқамауы немесе код өңдегіші сұрауға автоматты түрде қандай контекст қосатынын білмеуі мүмкін. Классикалық DLP жүйелері төлқұжат деректерін, банк картасының нөмірлерін, белгіленген құжаттарды және белгілі құпия үлгілерді табуға қабілетті. Дегенмен, оларда сұраудың іскерлік мақсатын, белгілі бір үлгіні пайдаланудың орындылығын және бірнеше ақпарат бөліктерін біріктіру қаупін анықтау қиынырақ болады. Жергілікті LLM де қауіпсіздікке кепілдік бермейді. Сұрауларды журналдарда, кэште, диалог журналында, сақтық көшірмелерде, жолдарда және векторлық жадта сақтауға болады. Бұған қоса, жергілікті агент бұлттық агент сияқты артық құқықтарды ала алады. AI брандмауэр қалай жұмыс істейді AI Firewall әлі бірыңғай салалық стандарт емес. Нарықта қолданылатын терминдер: AI шлюзі, LLM шлюзі, қоршаулар және үлгі брандмауэр. Жалпы, бұл пайдаланушы немесе агент, корпоративтік деректер, AI моделі және қосылған құралдар арасындағы бақылаудың аралық деңгейі. Ол міндетті түрде бөлек өнімді білдірмейді. Мұндай деңгей AI шлюзін, DLP, деректерді жіктеу, қатынасты басқару және агент әрекетін тексеру механизмін біріктіре алады. Ағым келесідей көрінеді: Біріншіден, жүйе сұрауды кім жібергенін, оның қандай қолданбадан және жобадан келгенін, модель не үшін пайдаланылатынын және компания рұқсат еткенін анықтайды. Содан кейін мазмұн тексеріледі. Негізгі механизмдер API кілттерін, таңбалауыштарды, құпия сөздерді, жеке деректер мен сезімталдық белгілерін іздейді. DLP файлды корпоративтік үлгіге немесе сандық саусақ ізіне сәйкестендіруі мүмкін. Неғұрлым күрделі ережелер қызметкердің, клиенттің ұстанымын, құжаттың қайнар көзін және мәміленің мақсатын ескереді. Тексеру блоктаумен аяқталмауы керек. Кейде таңбалауышты жою, клиент атын шартты идентификатормен ауыстыру, журнал фрагментін қысқарту немесе сұрауды бекітілген жергілікті ортаға қайта бағыттау жеткілікті. Пайдаланушы әлі де мәселені шешеді, бірақ модель қажет емес деректерді алмайды. Тек сұрауды тексеру қажет емес. Қорғаныс қабаты екі бағытта да жұмыс істеуі керек. Модель контекстен құпияны қайталай алады, басқа жобаның деректерін көрсете алады немесе қауіпті пәрменді ұсына алады. AI агенті жағдайында құралға әрбір қоңырауды тексеру қажет. Оның файлды жоюға рұқсаты бар ма? Ол желі ережесін өзгерте ала ма? Пайдаланушының атынан хат жіберуге болады ма? Арнайы жұмыс параметрлері қолайлы ма? OWASP шешім қабылдау мен орындауды бөлуді ұсынады. Агент әрекет ұсына алады, бірақ ол құқықтарды, тәуекел деңгейін және адамның мақұлдау қажеттілігін тексеретін тәуелсіз механизм арқылы іске қосылуы керек. Деректерді басқару және әрекетті басқару әртүрлі міндеттер. Сүзгі жеке ақпаратты тауып, оны сұраудан жоя алады. Бірақ егер агент сервер конфигурациясын өзгертетін болса, мәтінді талдау жеткіліксіз. Тіркелгі деректерін бөлек тексеру қажет. Компанияны қайдан бастау керек? Бірінші қадам - ​​түгендеу. Кәсіпорындар қызметкерлердің қандай AI қызметтерін пайдаланып жатқанын, қандай кәсіпорын қолданбаларында ендірілген AI мүмкіндіктері бар екенін және үлгілерге қандай ақпарат берілетінін түсінуі керек. AI агентін жүйедегі бағдарламалық қамтамасыз етудің жеке қатысушысы ретінде қарастырған жөн. Оның өзіндік ерекшелігі, шектеулі көздер жиынтығы және тек тапсырмаға қажетті құралдар болуы керек. Әртүрлі қызметкерлердің, клиенттердің және жобалардың рұқсаттарын араластыруға болмайды. Келесі кезең - деректерді жіктеу. Компания алдын ала қандай ақпаратты сыртқы үлгілерге беруге рұқсат етілгенін, нені маскадан кейін ғана жіберуге болатынын және нені тек қорғалған цикл ішінде өңдеу керек екенін анықтауы керек. AI брандмауэр басқа құралдарды алмастырмайды. Ол артық құқықтарды түзетпейді және басқарылатын шлюзді айналып өтетін сұрауларды көрмейді. Кез келген классификатор қате жіберуге қабілетті. Сондықтан қауіпсіздік деңгейі IAM, DLP, SIEM, деректерді жіктеу жүйесі және агент құралын басқарумен бірге жұмыс істеуі керек. Сонымен қатар, қызметкерлерге ыңғайлы және бекітілген AI құралы қажет. Әйтпесе, жұмыс тапсырмалары жеке тіркелгілерге және бақыланбайтын қызметтерге жылдам ауысады. Қауіпсіз архитектура жасанды интеллекттің артықшылықтарын бұғаттамауы керек, бірақ тасымалданатын деректер көлемін азайтуы және агенттердің әрекеттерін қажетті минимумға дейін шектеуі керек.