Генеративті жасанды интеллект саласы, әсіресе үлкен тілдік модельдер (LLM) саласында соңғы жылдары айтарлықтай прогреске қол жеткізді. GPT-4, LLaMA және Gemini сияқты модельдер күрделілік пен функционалдылықтың әсерлі деңгейлерін көрсете отырып, жаңа стандарттарды белгіледі. Дегенмен, мұндай жетістіктер негізінен ағылшын, қытай, жапон және орыс тілдері сияқты қол жетімді тілдерді қамтиды. Басқа тілдерге арналған ресурстардың болмауы AI-де тілдік алшақтықты тудырады, бұл пайдаланушы тәжірибесінің сапасына әсер етеді, біржақтылықты күшейтеді және цифрлық теңсіздікке ықпал етеді. 11 желтоқсанда Астанада Қазақстан Президенті Қасым-Жомарт Тоқаевқа KAZ-LLM ұлттық тіл үлгісі таныстырылды. Модель Smart жүйелер және жасанды интеллект институтының (ISSAI NU) басшылығымен Beeline Қазақстан мен оның QazCode IT-компаниясымен, сондай-ақ Astana Hub серіктестігімен әзірленді. Жобаны Қазақстан Республикасының Цифрлық даму, инновациялар және аэроғарыш өнеркәсібі министрлігі үйлестіреді (ҚР ЦРМРАЖ). Модель бүкіл ел үшін стратегиялық маңызға ие, өйткені ол AI көмегімен тілдік алшақтық мәселесін шешеді. KAZ-LLM моделі қалай жасалды? ISSAI-дан KAZ-LLM 15 негізінде құрылған
Төрт тілде – қазақ, орыс, ағылшын және түрік тілдеріндегі жалпыға қолжетімді көздерден мұқият жиналған 0 миллиард токен. Бұл модельге жоғары дәлдік пен жан-жақтылықты көрсетуге мүмкіндік береді, әртүрлі тілдердегі мәтінді өңдеудің жақсартылған сапасын қамтамасыз етеді және аударманың жақсаруына ықпал етеді. Токендер - AI ақпаратты талдау және түсіну үшін қолданатын сөздер, сөздердің бөліктері немесе тіпті жеке таңбалар сияқты мәтіннің минималды бірліктері. KAZ-LLM моделінің интерфейсі мен функционалдығы ең озық әлемдік стандарттарды ескере отырып әзірленді, бұл модельдің жоғары технологиялық жетілгендігі мен кең әлеуетін растайды. Оның жұмысын бағалау үшін әртүрлі білім салаларын қамтитын сұрақ-жауап жұптары бар жан-жақты көрсеткіштер пайдаланылды. Эталондық пакет келесі сынақтарды қамтыды: - ARC (AI2 Reacing Challenge) - бірнеше таңдау сұрақтары арқылы ғылыми ойлауды тексеру. - GSM8K – бастауыш сыныпқа арналған математикадан есептерді шығару қабілетін бағалау. — HellaSwag — сөйлемді жалғастыру логикасын тексеру. — MMLU (Massive Multitask Language Understanding) — 57 түрлі пән бойынша білімді тексереді. — Виногранда — денсаулықты бағалау
жайылма сөйлемдердегі жаңа мағына. — DROP — оқуды түсіну және логикалық ойлау қабілеттерін тексеру. Beeline мен QazCode серіктестігі дамуды жеделдетті. Оны құрудағы негізгі серіктестер Beeline Қазақстан және оның Kaz-RoBERTA сияқты тілдік модельдерді құрудағы күш-жігері мен тәжірибесін біріктіретін, сондай-ақ шетелдік серіктестермен бірлесіп шағын тілдік топтарға арналған AI шешімдерін әзірлеудегі QazCode IT-компаниясы болды. 8 DGX H100 есептеу қуатымен қамтамасыз етілген серверлер түріндегі қолдау оқу процесін айтарлықтай жылдамдатып, модельдің мүмкіндіктерін кеңейтті. Салыстыру үшін қарапайым компьютерге 1 миллион фотосуреттен тұратын мұрағатты талдау үшін бірнеше күн қажет болады. ISSAI KAZ-LLM оқыту үшін пайдаланылатын 8 DGX H100 сервері бұл тапсырманы бірнеше секундта шешеді. Осы серверлердің негізінде әзірлеушілер модельдің екі нұсқасын оқытты - 8 миллиард және 70 миллиард параметрлері бар; процеске QazCode деректер ғалымдары қосылды. Алексей Шаравар, QazCode бас директоры «Біздің команда KAZ-LLM моделін әзірлеуге және оқытуға белсенді қатысты. LLM құру кезінде әзірлеушілер мен серіктестер қазіргі заманғы машиналық оқыту технологияларын пайдаланды, мысалы.
PyTorch және Torchtune бағдарламаларына, сондай-ақ ашық бастапқы LLM архитектурасын қазақ тіліне бейімдеу бойынша алдыңғы жобалардың тәжірибесі ескерілді. Үздіксіз есептеуге 50 күнге созылған оқыту барысында модель контекстті түсіну және жоғары сапалы пайдаланушы тәжірибесін қамтамасыз ету қабілетін жақсартты. Тестілеу үлгінің қазақ тілінің мәдени және лингвистикалық ерекшеліктерін ескере отырып, техникалық мәселелерді сәтті шешетінін көрсетті», - деді QazCode бас директоры Алексей Шаравар KAZ-LLM нәтижелері мен келешегі туралы Зерттеушілер жоба Қазақстанның жасанды интеллекттің жаһандық сахнасындағы жолындағы маңызды кезең екенін атап өтті: «Бұл модель Қазақстанның жасанды интеллектінің жаһандық аренасындағы жолындағы маңызды кезең болып табылады. технологиялық экожүйе. Біздің команда ISSAI KAZ-LLM 8 миллиард және 70 миллиард параметрлері бар, Meta Llama архитектурасына негізделген және өнімділігі жоғары жүйелер мен ресурс шектеулі орталар үшін оңтайландырылған екі нұсқасын дайындады. CC-BY-NC лицензиясы бойынша шығарылған үлгілерді Hugging Face веб-сайтында коммерциялық емес пайдалану үшін қол жетімді, бұл жаһандық академиялық және ғылыми ынтымақтастықты алға жылжытады. Осылайша, әзірлеушілер жүктеп ала алады
b және біздің модельді күрделі серверлерде де, ноутбуктерде де іске қосыңыз ", - деді ISSAI директоры, НУ профессоры Хусейн Атакан Варол. ISSAI Kaz-LLM AI негізінде стартаптар мен инновациялық жобаларды құру үшін жаңа мүмкіндіктер ашады деп күтілуде. Болашақта AI мүмкіндіктерін лингвистикалық және көрнекі түрде қолдау мүмкіндіктерін кеңейтетін модельдерді біріктіретін жаңа буын модельдерін әзірлеу жоспарлануда. басқа түркі тілдері үшін де қарастырылуда, бұл түркітілдес қауымдастықтар арасындағы байланысты нығайтады Kaspi Gold енді Apple Pay жүйесінде Қазақстанның IT қызметтері нарығы Huawei Watch Fit 5 Pro-ны екі есеге жуық ұлғайтты: үлкен қаладағы күйзеліс пен күйзелісті басқаруға арналған премиум гаджет Excel-ден цифрлық және AI-кәсіпорынға: Қазақстандағы орта бизнес біртұтас банкті қалай құруға болады Alerekystola: клиенттерге күтім жасаудағы цифрлық тепе-теңдік Әсел Марченко, ҚР Ұлттық Банкінің NPK: біз сандық инфрақұрылымды қайталап дамытамыз Цифрлық патшалар: Евгений Щербинин Болат Башеев: біз бизнес-процестерді түрлендіруден бұрын технологияларды талқылауды бастаймыз Kaspi.kz Джеки Чанмен бірге «Құдайдың сауыты: Ультиматум» фильмінің түсірілімінде бас серіктес болды.
om Elcore Anthropic компаниясының уәкілетті сатушысы болды
