Thinking Machines выпустила Inkling 2 Small — модель, которая, несмотря на свои размеры, способна конкурировать с куда более крупными флагманами. Она построена на архитектуре Mixture-of-Experts и насчитывает 594 млрд параметров, но при обработке каждого токена задействует лишь 17 млрд. Кроме того, модель умеет работать с изображениями и позволяет регулировать глубину рассуждений. В тестах по программированию Inkling 2 Small не уступает многим значительно более крупным моделям. Но самое интересное — третье место в DesignArena, где она оказалась сразу за мощнейшими закрытыми моделями. Полные веса обещают опубликовать уже на следующей неделе под лицензией Apache 2.0. https://thinkingmachines.ai/news/inkling-2-small/