Новый рекорд: маленькая лаба обучила NanoGPT до целевого качества за 39.9 сек на 8 GPU H100
Новый рекорд: маленькая лаба обучила NanoGPT до целевого качества за 39.9 сек на 8 GPU H100 Речь о новом рекорде в соревновании NanoGPT Speedrun, который установила небольшая лаборатория Hyperstition. Вообще исходный результат у Андрея Карпатый на этой задаче был около 45 минут.…
- 01.Новый рекорд: маленькая лаба обучила NanoGPT до целевого качества за 39.9 сек на 8 GPU H100 Речь о новом рекорде в соревновании NanoGPT Speedrun, который установила небольшая лаборатория Hyperstition
- 02.Вообще исходный результат у Андрея Карпатый на этой задаче был около 45 минут.…
Новый рекорд: маленькая лаба обучила NanoGPT до целевого качества за 39.9 сек на 8 GPU H100 Речь о новом рекорде в соревновании NanoGPT Speedrun, который установила небольшая лаборатория Hyperstition. Вообще исходный результат у Андрея Карпатый на этой задаче был около 45 минут. Потом сообщество десятки раз ускоряло обучение, а сейчас дошли до 39.9 секунды. В блоге Hyperstition пишут, что такой скачок дали новые методы обучения, а не новые данные и новые чипы. Если посмотреть блог этой лабы, то там есть и другие любопытные работы.
Байланысты материалдар
Барлығы →SpaceX 40 миллиард долларлық AI аппараттық келісімін жасайды
SpaceX AI жабдықтарын қаржыландыру үшін 40 миллиард долларлық келісімге қол жеткізді.
NVIDIA Minerva AI зауыттарында GPU өнімділігін оңтайландырады
NVIDIA Minerva AI зауыттарында GPU өнімділігін оңтайландырып, операциялық олқылықтарды жояды.
SpaceX locks in $40B GPU financing deal with Apollo
SpaceX has locked in a binding commitment for roughly $40 billion in financing to pay for AI chips and related data center equipment, the company disclosed in a regulatory filing Monday. In a statement, SpaceX called it the “largest committed GPU financing” ever.