Қазақстанда KAZ-LLM деген үлкен тілдік модель ұсынылған. Неліктен бұл маңызды?

Жарияланатын күні: 17.12.2024 15:29 2024-12-17T15:29:45+05:00 Жасанды интеллект саласында, әсіресе үлкен тілдік модельдер (LLM) саласында айтарлықтай жетістіктер болды. GPT-4, LLaMA және Gemini сияқты модельдер әсерлі мүмкіндіктерді көрсетеді, бірақ олар негізінен тілдермен жұмыс істейді: ағылшын, қытай, жапон және орыс. Бұл тілдік алшақтықты тудырады, AI сапасына әсер етеді және цифрлық алшақтықты кеңейтеді. 11 желтоқсанда Астанада Президент Тоқаевқа KAZ-LLM ұлттық тіл үлгісі таныстырылды. Модельді Beeline Kazakhstan, QazCode және Astana Hub серіктестігімен Smart Systems and AI институты (ISSAI NU) әзірледі. Жобаны Цифрлық даму министрлігі қадағалайды. Модель Қазақстан үшін AI-дағы тілдік алшақтықты жоюға көмектеседі. ISSAI KAZ-LLM төрт тілде – қазақ, орыс, ағылшын және түрік тілдеріндегі жалпыға қолжетімді көздерден мұқият жиналған 150 миллиард токенге негізделген. Бұл модельге жоғары дәлдік пен әмбебаптықты көрсетуге мүмкіндік береді. Токендер - AI ақпаратты талдау және түсіну үшін пайдаланатын сөздер, сөздердің бөліктері немесе тіпті жеке таңбалар сияқты мәтіннің минималды бірліктері. Оның жұмысын бағалау үшін әртүрлі білім салаларын қамтитын сұрақ-жауап жұптары бар жан-жақты көрсеткіштер пайдаланылды. Эталондық пакет келесі сынақтарды қамтыды: ARC (AI2 Reacing Challenge) – бірнеше таңдау сұрақтары арқылы ғылыми ойлауды тексеру. GSM8K – бастауыш мектеп математикасындағы есептерді шешу қабілетін бағалау. HellaSwag - сөйлемді жалғастыру логикасын тексеру. MMLU (Massive Multitask Language Understanding) – 57 түрлі пән бойынша білімді тексереді. Winogrande - көп мағыналы сөйлемдердегі жалпы мағынаны бағалау. DROP – оқуды түсіну және логикалық ойлау дағдыларын тексеру. Модельді құрудағы негізгі серіктестер Beeline Қазақстан және оның Kaz-RoBERTA сияқты тілдік модельдерді құрудағы күш-жігері мен тәжірибесін біріктіретін, сондай-ақ шетелдік серіктестермен бірлесіп шағын тілдік топтарға арналған AI шешімдерін біріктіретін QazCode IT компаниясы болды. Модельдің екі нұсқасы жоғары есептеу қуаты бар серверлерде оқытылды - 8 миллиард және 70 миллиард параметрлері бар; процеске QazCode деректер ғалымдары қосылды. — Біздің команда KAZ-LLM моделін әзірлеуге және оқытуға белсенді қатысты. LLM құру кезінде әзірлеушілер мен серіктестер PyTorch және Torchtune сияқты заманауи машиналық оқыту технологияларын пайдаланды, сонымен қатар ашық бастапқы LLM архитектурасын қазақ тіліне бейімдеу бойынша алдыңғы жобалардың тәжірибесін ескерді. Үздіксіз есептеуге 50 күнге созылған оқыту барысында модель контекстті түсіну және жоғары сапалы пайдаланушы тәжірибесін қамтамасыз ету қабілетін жақсартты. Тестілеу үлгінің қазақ тілінің мәдени және лингвистикалық ерекшеліктерін ескере отырып, техникалық мәселелерді сәтті шешетінін көрсетті», - деді QazCode бас директоры Алексей Шаравар. ISSAI Kaz-LLM AI негізінде стартаптар мен инновациялық жобаларды құру үшін жаңа мүмкіндіктер ашады деп күтілуде. Болашақта визуалды және визуалды интеграцияланатын жаңа буын модельдерін әзірлеу жоспарлануда. of AI — CC-BY-NC лицензиясы бойынша шығарылған модельдер Hugging Face веб-сайтында әлемдік академиялық және ғылыми ынтымақтастықты алға жылжытады. Осылайша әзірлеушілер біздің модельді күрделі серверлерде де, ноутбуктерде де жүктеп алып, іске қоса алады», - деді ISSAI директоры, НУ профессоры Хусейн Атакан Варол.