Новый рекорд: маленькая лаба обучила NanoGPT до целевого качества за 39.9 сек на 8 GPU H100
Новый рекорд: маленькая лаба обучила NanoGPT до целевого качества за 39.9 сек на 8 GPU H100 Речь о новом рекорде в соревновании NanoGPT Speedrun, который установила небольшая лаборатория Hyperstition. Вообще исходный результат у Андрея Карпатый на этой задаче был около 45 минут.…
- 01.Новый рекорд: маленькая лаба обучила NanoGPT до целевого качества за 39.9 сек на 8 GPU H100 Речь о новом рекорде в соревновании NanoGPT Speedrun, который установила небольшая лаборатория Hyperstition
- 02.Вообще исходный результат у Андрея Карпатый на этой задаче был около 45 минут.…
Новый рекорд: маленькая лаба обучила NanoGPT до целевого качества за 39.9 сек на 8 GPU H100 Речь о новом рекорде в соревновании NanoGPT Speedrun, который установила небольшая лаборатория Hyperstition. Вообще исходный результат у Андрея Карпатый на этой задаче был около 45 минут. Потом сообщество десятки раз ускоряло обучение, а сейчас дошли до 39.9 секунды. В блоге Hyperstition пишут, что такой скачок дали новые методы обучения, а не новые данные и новые чипы. Если посмотреть блог этой лабы, то там есть и другие любопытные работы.
Связанные материалы
Все материалы →SpaceX заключает сделку на финансирование AI-оборудования за $40 миллиардов
SpaceX заключила сделку на финансирование AI-оборудования на $40 миллиардов.
NVIDIA Minerva оптимизирует работу GPU в AI фабриках
NVIDIA Minerva оптимизирует работу GPU в AI фабриках, устраняя операционные пробелы.
SpaceX locks in $40B GPU financing deal with Apollo
SpaceX has locked in a binding commitment for roughly $40 billion in financing to pay for AI chips and related data center equipment, the company disclosed in a regulatory filing Monday. In a statement, SpaceX called it the “largest committed GPU financing” ever.