Новый рекорд: маленькая лаба обучила NanoGPT до целевого качества за 39.9 сек на 8 GPU H100 Речь о новом рекорде в соревновании NanoGPT Speedrun, который установила небольшая лаборатория Hyperstition. Вообще исходный результат у Андрея Карпатый на этой задаче был около 45 минут. Потом сообщество десятки раз ускоряло обучение, а сейчас дошли до 39.9 секунды. В блоге Hyperstition пишут, что такой скачок дали новые методы обучения, а не новые данные и новые чипы.​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​ Если посмотреть блог этой лабы, то там есть и другие любопытные работы.