LLM үлгі пішімдерін салыстыру: GGUF, GPTQ, AWQ және EXL2

MarktechPost мәліметтері бойынша, екі негізгі идеяны бөлу қажет: контейнерлер және кванттау әдістері. Шатасулардың көпшілігі осы екі деңгейдің шатасуынан туындайды. Контейнер тензорлардың дискіде қалай сақталатынын анықтайды, ал кванттау әдісі салмақтардың кіші биттерге қалай қысылатынын анықтайды. Контейнерлерге сейфтенсорлар, GGUF және PyTorch тұздығы (.bin/.pt) кіреді. Кванттау әдістеріне GPTQ, AWQ, битсандбайттар NF4 және llama.cpp сайтындағы K-кванттар мен I-кванттар жатады. EXL2 және EXL3 бір уақытта пайдаланылады, олар бір шығыс кітапханасымен байланысты сақтау әдісі және құрылымы болып табылады. Есте сақтау керек қарапайым ереже бар: салмақтағы жад ≈ параметрлері × салмақтағы бит ÷ 8. Мысалы, 16 биттік модель үшін: 8В ~ 16 ГБ ~ 4,5 ГБ, 70Б ~ 140 ГБ ~ 39 ГБ. Бұл арифметика, жеткізушінің эталоны емес және тек салмақтарды қамтиды. КВ кэш және жұмыс уақытының үстеме шығыны одан да көп қосады. 1. Толық дәлдік: сейтензорлар және PyTorch .bin. Квантталмаған үлгілер әдетте pytorch_model.bin немесе model.safetensors файлдарында 16 биттік салмақтармен келеді. Ескі .bin/.pt файлдары Python тұздығын пайдаланады. Тұздалған файлды жүктеу ерікті кодты орындауы мүмкін.

әлсіз бақылау нүктелерін қауіпсіздікке қауіп төндіреді. Hugging Face қолданбасында жасалған Safetensors бұл қауіпті жояды, себебі файл шағын JSON тақырыбы және орындалатын коды жоқ өңделмеген тензор буферлері. Тензорларды бүкіл файлды оқымай-ақ бөліктерге жүктеуге болады. Safetensors енді PyTorch Foundation жобасына енгізілген. GPTQ, AWQ, EXL2, EXL3 және MLX үлгілерінің көпшілігі де .safetensors файлдарында сақталатынын ескеру маңызды. Кванттау жаңа контейнерде емес, тензор мазмұны мен конфигурация файлында. 2. GGUF (llama.cpp) – llama.cpp сияқты GGML және оған негізделген орындаушылары бар үлгілерді іске қосуға арналған екілік пішім. Оны llama.cpp басқаратын Георгий Герганов жасаған. Пішім ескі GGML пішімін ауыстыру ретінде 2023 жылдың 21 тамызында енгізілді. GGML-ді ауыстыру қажет болды, себебі ескі GGML, GGMF және GGJT файлдары үлгінің қай архитектураға жататынын көрсете алмады. Жаңа гиперпараметрді қосу бұрыннан бар файлдармен үйлесімділікті бұзды. GGUF ескі файлдарды бұзбай жаңа өрістерді қосуға мүмкіндік беретін терілген кілт-мән метадеректеріне көшті. GGUF-тің бес мақсаты бар

ол: бір файлда орналастыру, кеңейту мүмкіндігі, mmap үйлесімділігі, жүктеп алудың қарапайымдылығы және файл ішіндегі толық ақпарат. Тек тензорлық пішімдерден айырмашылығы, GGUF токенизаторды, теңшелетін таңбалауыштарды және салмақтармен бірге Jinja чат үлгісін қамтуы мүмкін. 3. Элиас Франтар және басқалар жазған GPTQ 2022 жылдың 31 қазанында ұсынылды және ICLR 2023-те жарияланды. Бұл салмақтардың дөңгелектеуін анықтау үшін шамамен екінші ретті ақпаратты пайдаланатын жаттығудан кейінгі салмақты кванттау әдісі. Ол калибрлеу үшін шағын деректер жиынтығын қажет етеді, бірақ қайта даярлауды қажет етпейді. Негізгі нәтижелер оның GPU-да шамамен 4 сағат ішінде салмағына 3 немесе 4 битке дейін 175 миллиард параметрі бар модельдерді кванттау мүмкіндігін көрсетеді. 4. AWQ (Activation Aware Weight Quantization) MIT-тегі Сон Хан тобынан шыққан және алғаш рет arXiv сайтында 2023 жылдың 1 маусымында MLSys 2024 үздік қағаз сыйлығын алған кезде пайда болды. Негізгі идея - барлық салмақтар бірдей маңызды емес. «Маңызды» салмақтардың шамамен 1%-ын қорғау кванттау қателігін айтарлықтай азайтады. 5. EXL2 (ExLlamaV2) GPTQ сияқты оңтайландыру әдісін қолданатын және qv қолдайтын ExLlamaV2 шығыс кітапханасының жергілікті пішімі болып табылады.

2, 3, 4, 5, 6 және 8 биттерге арналған антенна. 6. EXL3 (ExLlamaV3) - Cornell RelaxML ұсынған QTIP негізінде құрастырылған, торлы кодтауды қолданатын және NeurIPS 2024-те жарияланған мұрагер пішімі. 7. битсандбайттар (NF4/INT8) - әдетте алдын ала квантталмаған жүктелу уақытын кванттау әдісі. Сіз 16-биттік үлгіні жүктейсіз және оны жылдам кванттайсыз. 8. MLX (Apple Silicon) — MLX бар Apple Silicon жүйесінде LLM іске қосуға және одан әрі оқытуға арналған Python пакеті. 9. Сіз кездестіретін басқа атауларға сығылған тензорлар/FP8, HQQ және SINQ жатады, олар кванттау әдістері болып табылады. Негізгі қорытындылар: Файл пішімі (GGUF, safetensors) кванттау әдісімен (GPTQ, AWQ) бірдей емес. GGUF – процессорларда, Apple Silicon және аралас CPU+GPU құрылғыларында жергілікті шығыс стандарты. GPTQ және AWQ vLLM, SGLang және Transformers жүйелерінде GPU қызметінің негізгі әдістері болып табылады. EXL2 және EXL3 тұтынушы графикалық процессорларында жылдам бір реттік көрсетуге және түйіршікті бит жылдамдығына бағытталған. Материалды бастапқы басылым негізінде нейрондық желі дайындады. AI мәліметтерде қате жіберуі мүмкін (сандар, атаулар, күндер, тырнақшалар) - маңызды ақпаратты бастапқы дереккөзбен тексеріңіз. Тилли Нор

Вуд, жасанды интеллект актрисасы өзінің алғашқы пресс-турында сәтсіздікке ұшырады SpaceXAI қос дәлдікпен Grok Voice Transcribe 2.0 нұсқасын ашты Кютай математикалық есептерді ауызша шешуге арналған Дауыс үлгісін шығарады. Nokia оқытусыз шешім қабылдауға арналған AnyJev кітапханасына қолжетімділікті ашады. OpenAI GPT-6 Sol және Luna-ны жаңа API бағасымен таныстырып, құнын 50%-ға төмендетті.