DeepSeek перенесла DeepGEMM на Huawei Ascend и выжала из железа 99,8%

⚡️ DeepSeek DeepGEMM-ді Huawei Ascend-ке тасымалдады және аппараттық құралдың 99,8%-ын сығымдады DeepSeek NPU Huawei Ascend 950-дегі матрицалық ядролар кітапханасының порты болып табылатын DeepGEMM-Ascend-ті шығарды. API бастапқы DeepGEMM сияқты қалды және өзектер Ascerewritten мүмкіндіктері болды. GEMM FP4, FP8 және BF16, ТМ үшін топтастырылған GEMM, MQA логиттері және біріктірілген MegaMoE мәлімдемелеріне қолдау көрсетіледі. Тығыз GEMM теориялық төбеге дерлік жетеді: FP4 1701 TFLOPS (шыңының 98,3%), FP8 861 TFLOPS (99,5%), BF16 431 TFLOPS (99,8%) береді. Ішінде JIT компиляциясы, корутиндерге конвейерлеу және Ascend матрицалық нұсқауларының үстіндегі жұқа қаптама бар. CANN 9.20, torch_npu және Python 3.10+ қажет. MIT лицензиясы. https://github.com/deepseek-ai/DeepGEMM-Ascend @ai_machinelearning_big_data