Астанада жасанды интеллект арқылы тілдік алшақтықты жоюға арналған KAZ-LLM алғашқы ұлттық тіл моделінің тұсаукесері өтті. Отандық технологияларды дамытудағы маңызды қадамға айналған модель Қазақстан Президенті Қасым-Жомарт Тоқаевқа ұсынылды. Оны Smart жүйелер және жасанды интеллект институты (ISSAI NU) Қазақстан Республикасының халықаралық әкімшілік жасанды интеллект орталығының үйлестіруімен Beeline Қазақстан, QazCode және Astana Hub компанияларымен бірлесіп әзірледі. Генеративті жасанды интеллект саласы, әсіресе үлкен тілдік модельдер (LLM) саласында соңғы жылдары айтарлықтай прогреске қол жеткізді. GPT-4, LLaMA және Gemini сияқты модельдер күрделілік пен функционалдылықтың әсерлі деңгейлерін көрсете отырып, жаңа стандарттарды белгіледі. Дегенмен, мұндай жетістіктер негізінен ағылшын, қытай, жапон және орыс тілдері сияқты қол жетімді тілдерді қамтиды. Басқа тілдерге арналған ресурстардың болмауы AI-де тілдік алшақтықты тудырады, бұл пайдаланушы тәжірибесінің сапасына әсер етеді, біржақтылықты күшейтеді және цифрлық теңсіздікке ықпал етеді. 11 желтоқсанда Астанада Қазақстан Президенті Қасым-Жомарт Тоқаевқа KAZ-LLM ұлттық тіл үлгісі таныстырылды. жетекшілігімен модель әзірленді

Ақылды жүйелер және жасанды интеллект институты (ISSAI NU) Beeline Қазақстан және оның QazCode IT компаниясымен, сондай-ақ Astana Hub серіктестігімен. Жобаны Қазақстан Республикасының Цифрлық даму, инновациялар және аэроғарыш өнеркәсібі министрлігі үйлестіреді (ҚР ЦРМРАЖ). Модель бүкіл ел үшін стратегиялық маңызға ие, өйткені ол AI көмегімен тілдік алшақтық мәселесін шешеді. KAZ-LLM моделі қалай жасалды? Нейрондық желі төрт тілде: қазақ, орыс, ағылшын және түрік тілдеріндегі жалпыға қолжетімді көздерден мұқият жиналған 150 миллиард токенге негізделген. Бұл модельге жоғары дәлдік пен жан-жақтылықты көрсетуге мүмкіндік береді, әртүрлі тілдердегі мәтінді өңдеудің жақсартылған сапасын қамтамасыз етеді және аударманың жақсаруына ықпал етеді. Токендер - AI ақпаратты талдау және түсіну үшін қолданатын сөздер, сөздердің бөліктері немесе тіпті жеке таңбалар сияқты мәтіннің минималды бірліктері. Модельдің интерфейсі мен функционалдығы ең озық әлемдік стандарттарды ескере отырып әзірленді, бұл модельдің жоғары технологиялық жетілгендігі мен кең әлеуетін растайды. Оның өнімділігін бағалау үшін сұрақ-жауап жұптары бар жан-жақты өлшемдер қолданылды, олар әр түрлі

білімнің әртүрлі салалары. Эталондық пакет келесі сынақтарды қамтыды: ARC (AI2 Reacing Challenge) – бірнеше таңдау сұрақтары арқылы ғылыми ойлауды тексеру. GSM8K – бастауыш мектеп математикасындағы есептерді шешу қабілетін бағалау. HellaSwag - сөйлемді жалғастыру логикасын тексеру. MMLU (Massive Multitask Language Understanding) – 57 түрлі пән бойынша білімді тексереді. Winogrande - көп мағыналы сөйлемдердегі жалпы мағынаны бағалау. DROP – оқуды түсіну және логикалық ойлау дағдыларын тексеру. Beeline мен QazCode серіктестігі дамуды жеделдетті. Оны құрудағы негізгі серіктестер Beeline Қазақстан және оның Kaz-RoBERTA сияқты тілдік модельдерді құрудағы күш-жігері мен тәжірибесін біріктіретін, сондай-ақ шетелдік серіктестермен бірлесіп шағын тілдік топтарға арналған AI шешімдерін әзірлеудегі QazCode IT-компаниясы болды. 8 DGX H100 есептеу қуатымен қамтамасыз етілген серверлер түріндегі қолдау оқу процесін айтарлықтай жылдамдатып, модельдің мүмкіндіктерін кеңейтті. Салыстыру үшін қарапайым компьютерге 1 миллион фотосуреттен тұратын мұрағатты талдау үшін бірнеше күн қажет болады. ISSAI KAZ-LLM оқыту үшін 8 DGX H100 сервері пайдаланылған кезде,

бұл тапсырманы бірнеше секундта орындаңыз. Осы серверлердің негізінде әзірлеушілер модельдің екі нұсқасын оқытты - 8 миллиард және 70 миллиард параметрлері бар; процеске QazCode деректер ғалымдары қосылды. Алексей Шаравар, QazCode бас директоры. Фото: Beeline "Біздің команда KAZ-LLM моделін әзірлеуге және оқытуға белсенді қатысты. LLM құру кезінде әзірлеушілер мен серіктестер PyTorch және Torchtune сияқты заманауи машиналық оқыту технологияларын пайдаланды, сондай-ақ ашық бастапқы LLM архитектурасын қазақ тіліне бейімдеу бойынша алдыңғы жобалардың тәжірибесін ескерді. 50 күнге созылған тренинг барысында оның контекстік моделін үздіксіз түсіну және жоғары сапалы есептеу мүмкіндігін қамтамасыз ету. пайдаланушылармен өзара әрекеттесу модель қазақ тілінің мәдени және тілдік ерекшеліктерін ескере отырып, техникалық мәселелерді сәтті шешетінін көрсетті», - деп бөлісті QazCode бас директоры Алексей Шаравар. KAZ-LLM нәтижелері мен келешегі туралы Зерттеушілер жобаның Қазақстанның жасанды интеллекттің әлемдік аренасындағы жолындағы маңызды кезең екенін атап өтті. «Бұл модель Қазақстанның инновацияға, өзіндік сенімділікке және технологиялық экожүйенің өсуіне деген ұмтылысын көрсетеді.

Команда Meta Llama архитектурасына негізделген және өнімділігі жоғары жүйелер мен ресурс шектеулі орталар үшін оңтайландырылған 8 миллиард және 70 миллиард параметрлері бар ISSAI KAZ-LLM екі нұсқасын дайындады. Модельдер CC-BY-NC лицензиясы бойынша шығарылады және жаһандық академиялық және ғылыми ынтымақтастықты дамытатын Hugging Face веб-сайтында коммерциялық емес пайдалану үшін қол жетімді. Осылайша, әзірлеушілер біздің модельді күрделі серверлерде де, ноутбуктерде де жүктеп алып, іске қоса алады», - деді ISSAI директоры, НУ профессоры Хусейн Атакан Варол. ISSAI Kaz-LLM AI негізінде стартаптар мен инновациялық жобаларды құру үшін жаңа мүмкіндіктер ашады деп күтілуде. Болашақта AI деректерін көрнекі түрде кеңейтетін және визуалды мүмкіндіктерін кеңейтетін жаңа буын тілдерін жасау жоспарлануда. Түркі тілдес қауымдар арасындағы байланысты нығайта түсетін басқа түркі тілдерінің үлгісін қолдау да қарастырылуда.