Атомаралық потенциалдар үшін Tensor Core өнімділігін оңтайландыру

По сообщению NVIDIA Developer, атомистические симуляции помогают исследователям понять поведение молекул и материалов, включая химические реакции и механические разрушения. Однако эти симуляции связаны с компромиссом между стоимостью и точностью. Квантово-механические методы, такие как теория функционала плотности (DFT), обеспечивают высокую точность, но их вычислительная стоимость ограничивает использование для больших систем или длительных симуляций. Классические межатомные потенциалы работают быстрее, но их фиксированные функциональные формы ограничивают точность и обобщаемость в различных атомных средах. Машинные обучающие межатомные потенциалы (MLIPs) помогают преодолеть этот разрыв, используя нейронные сети для предсказания потенциальных энергий и межатомных сил с меньшими затратами, что позволяет исследовать более крупные системы и более длительные временные масштабы, сохраняя необходимую точность. Тем не менее, эффективная работа MLIP представляет собой собственную задачу. Атомистические симуляции чувствительны к небольшим ошибкам, которые могут накапливаться со временем, и это особенно заметно при вычислении сил, которые получаются путем дифференцирования предсказанной энергии. Во время симуляций молекулярной динамики эти силы направляют обновления атомных скоростей и позиций на протяжении множества временных шагов, что делает численную точность важной не только для физической точности, но и для стабильности результирующей траектории. По этой причине многие MLIPs продолжают выполнять вывод в FP32, несмотря на то, что современные графические процессоры NVIDIA предлагают значительно более высокую производительность матричного умножения за счет операций с низкой точностью на Tensor Core. Методы Tensor Core для матричного умножения FP32 предлагают способ сократить этот разрыв. Они разлагают каждый операнд FP32 на компоненты с более низкой точностью, вычисляют их перекрестные произведения на Tensor Cores и объединяют результаты в FP32. Этот подход может увеличить производительность матричного умножения, сохраняя точность, близкую к родной FP32, без повторного обучения или изменения весов модели или её архитектуры. В этой статье мы оцениваем, как методы Tensor Core FP32 работают на практике на модели Point Edge Transformer (PET), разработанной лабораторией COSMO в EPFL. PET большую часть времени проводит в высоко оптимизированных общих матричных умножениях (GEMM), оставляя ограниченное пространство для дальнейшей оптимизации и делая её требовательным тестовым случаем для оценки дополнительных приростов производительности. Мы оценили BF16x9 на графических процессорах NVIDIA Blackwell и TF32x3 на графических процессорах NVIDIA Ampere, сравнивая производительность на уровне ядра и в конце процесса молекулярной динамики, а также поведение на уровне траектории. Мы также протестировали метод TF32x3 на гладкости потенциальной энергии, сохранении энергии и структурной релаксации. Мы показываем, как эти методы могут ускорить вывод MLIP, сохраняя поведение, близкое к базовой FP32, и описываем, как оценивать их на других научных вычислительных задачах, чувствительных к точности. Современные графические процессоры NVIDIA обеспечивают значительно более высокую пропускную способность Tensor Core для BF16 и TF32, чем для матричного умножения FP32, создавая разрыв между доступной пропускной способностью при более низкой точности и требованиями точности многих научных задач. Методы Tensor Core FP32 помогают сократить этот разрыв, разлагая операнды FP32 на компоненты с более низкой точностью, оценивая выбранные произведения на Tensor Cores и комбинируя их с накоплением FP32. На графических процессорах Blackwell NVIDIA cuBLAS предоставляет путь Tensor Core BF16x9. Каждый операнд FP32 разлагается на три компонента BF16, и девять парных произведений объединяются с необходимым масштабированием. cuBLAS может активировать этот путь через переменную окружения CUBLAS_EMULATE_SINGLE_PRECISION=1, так что совместимые GEMM PyTorch могут использовать его без изменения архитектуры модели или реализации пользовательского GEMM. Поскольку этот подход изменяет способ оценки GEMM, он может предоставить дополнительные приросты в сочетании с оптимизированной конструкцией графа, объединёнными операциями, пользовательскими ядрами и графами NVIDIA CUDA. Мы не измеряли комбинированный прирост в этой оценке; его следует устанавливать от начала до конца для каждой задачи. Метод TF32x3 применяет тот же принцип на графических процессорах Ampere. TF32x3 представляет каждый операнд FP32, используя ведущий компонент TF32 и меньший остаточный компонент TF32. В отличие от BF16x9, наша реализация TF32x3 не использует коэффициенты масштабирования. Она оценивает три перекрестных произведения и опускает остаточное произведение, как показано в уравнении. Мы оценили малый контрольный пункт PET-MAD с 26 миллионами параметров на 192-атомной водной ячейке и 17 280-атомной суперячейке. Мы также оценили большой контрольный пункт с 255 миллионами параметров на 192-атомной системе. Мы сравнили предсказанные энергии, силы и напряжения с данными из родного пути FP32. На графических процессорах Blackwell с вычислительной способностью 10.0 или 10.3 cuBLAS поддерживает активацию BF16x9 через переменную окружения, режим математики или тип вычислений. Никаких изменений в коде модели не требуется для использования этого пути для одномерного матричного умножения (SGEMM). С BF16x9 на Blackwell большие GEMM в PET были ускорены на 2.2–2.5 раза для нагрузки в 17 280 атомов. В сравнении скорости шагов молекулярной динамики и точности энергии и силы для стратегий cuBLAS производительного и стремительного BF16x9, по отношению к скомпилированному FP32, на 192-атомной водной ячейке и её 17 280-атомной суперячейке, производительная стратегия ускорила шаг MD на 1.2 раза, в то время как стремительная стратегия достигла 1.1 раза. Стратегия производительности использует BF16x9, когда cuBLAS ожидает, что это будет быстрее; стремительная стратегия использует его всякий раз, когда операция это поддерживает. Важно, что ошибка из-за метода BF16x9 Tensor Core ниже уровня недетерминированности модели. На графических процессорах Ampere мы реализовали TF32x3, заменив стандартные слои nn.Linear PET на пользовательский слой TF32Linear, который вызывает ядро CUTLASS C++ TF32x3. Ключевым моментом в реализации PET является выбор быстрой и точной FP32 умножения CUTLASS. Ядро представляет каждый операнд FP32 как ведущий и остаточный компоненты TF32. Tensor Cores затем оценивают три произведения — ведущий на ведущий и два ведущих на остаточный — и аккумулируют их в FP32. Мы протестировали гладкость потенциальной энергии и сохранение энергии с использованием двух отдельных тестов. Для тестирования гладкости энергии мы переместили одну молекулу CO от плоскости Pt(111) и оценили общую энергию на 60 высотах углерода от 1.2 до 6.0 Å с шагом 8.1 × 10⁻² Å. TF32x3 следовал гладкой кривой энергии FP32 CO/Pt(111), в то время как однопроходной TF32 ввёл видимые вариации. В отдельной симуляции NVE 192-атомной водной ячейки FP32 и TF32x3 показали сопоставимые колебания энергии, в то время как однопроходной TF32 показал более крупное систематическое дрейфование. Эти результаты показывают, что TF32x3 сохранил гладкость потенциальной энергии и поддержал сохранение энергии в протестированных системах. Структурная релаксация также тестирует численную достоверность, поскольку оптимизатор многократно использует предсказанные силы для обновления атомной геометрии. Небольшие несоответствия в силе могут изменить путь оптимизации, увеличить количество необходимых шагов или помешать системе достичь желаемой допустимой силы. Мы расслабили 539-атомную пластину сплава Кантера, используя PET и оптимизатор FIRE2 с помощью инструментария NVIDIA ALCHEMI. На протяжении трех повторений FP32 сошелся за 218 шагов, а TF32x3 — за 218–222 шагов; каждый запуск достиг допустимой силы 1.0 × 10⁻³ eV/Å. Выводы показывают, что методы Tensor Core FP32 улучшили производительность PET без повторного обучения или изменения архитектуры модели. TF32x3 ускорил основные GEMM на A100 до 1.9 раза и полный шаг молекулярной динамики до 1.5 раза. BF16x9 ускорил основные GEMM на графическом процессоре NVIDIA B300 Tensor Core до 2.5 раз и полный шаг до 1.7 раза. Эти результаты поддерживают оценку методов в других MLIP и научных вычислительных моделях, чувствительных к точности, чье время выполнения в значительной степени определяется большими FP32 GEMM. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.