Новый рекорд: маленькая лаба обучила NanoGPT до целевого качества за 39.9 сек на 8 GPU H100
Новый рекорд: маленькая лаба обучила NanoGPT до целевого качества за 39.9 сек на 8 GPU H100 Речь о новом рекорде в соревновании NanoGPT Speedrun, который установила небольшая лаборатория Hyperstition. Вообще исходный результат у Андрея Карпатый на этой задаче был около 45 минут.…
- 01.Новый рекорд: маленькая лаба обучила NanoGPT до целевого качества за 39.9 сек на 8 GPU H100 Речь о новом рекорде в соревновании NanoGPT Speedrun, который установила небольшая лаборатория Hyperstition
- 02.Вообще исходный результат у Андрея Карпатый на этой задаче был около 45 минут.…
Новый рекорд: маленькая лаба обучила NanoGPT до целевого качества за 39.9 сек на 8 GPU H100 Речь о новом рекорде в соревновании NanoGPT Speedrun, который установила небольшая лаборатория Hyperstition. Вообще исходный результат у Андрея Карпатый на этой задаче был около 45 минут. Потом сообщество десятки раз ускоряло обучение, а сейчас дошли до 39.9 секунды. В блоге Hyperstition пишут, что такой скачок дали новые методы обучения, а не новые данные и новые чипы. Если посмотреть блог этой лабы, то там есть и другие любопытные работы.
Related Intelligence
All stories →SpaceX Inks $40 Billion AI Hardware Deal
SpaceX has reached a $40 billion deal to finance AI equipment.
NVIDIA Minerva optimizes GPU performance in AI factories
NVIDIA Minerva optimizes GPU performance in AI factories, eliminating operational gaps.
SpaceX locks in $40B GPU financing deal with Apollo
SpaceX has locked in a binding commitment for roughly $40 billion in financing to pay for AI chips and related data center equipment, the company disclosed in a regulatory filing Monday. In a statement, SpaceX called it the “largest committed GPU financing” ever.