Towards сообщает, что ConvNeXt представляет собой архитектурное решение, которое заимствует принципы проектирования у Vision Transformers (ViT), сохраняя при этом основы свёрточных нейронных сетей (CNN). На протяжении многих лет модели CNN доминировали в задачах компьютерного зрения, таких как классификация, обнаружение объектов и сегментация. Однако в 2020 году с появлением ViT акцент сместился, поскольку они предложили глобальную контекстуализацию с использованием самовнимания, что бросило вызов господству CNN. ViT продемонстрировали, что самовнимание может быть весьма эффективным в визуальном распознавании, но возник вопрос: было ли самовнимание единственным компонентом, способствующим их успеху, или существуют другие более тонкие факторы, такие как стратегии обучения и архитектурные модификации, также влияющие на их производительность? Статья объясняет, что ConvNeXt сохранил основы CNN, такие как свёрточная экстракция признаков, пропуски и иерархические стадии, и не использует самовнимание, но заимствует принципы проектирования ViT в том, как он перестраивает свёртки и обучение. Ключевые архитектурные модификации включают замену начального стеммера ResNet на свёртку с шагом 4×4, использование глубинных свёрток 7×7 с точечным смешиванием каналов и инвертированным узким местом, а также переход на нормализацию по слоям плюс GELU, отделяя уменьшение размерности от остаточных блоков. Статья утверждает, что прирост производительности, вероятно, обусловлен сочетанием этих изменений и современных стратегий обучения, применённых к базовой модели, подобной ResNet. Далее обсуждаются ограничения, особенно в отношении вычислительной и памятьной эффективности, разница между глобальным самовниманием и более локальной агрегацией регионов ConvNeXt, а также относительно большие размеры моделей для развертывания. В завершение представлены практические эксперименты, сравнивающие ConvNeXt-Tiny, Swin-Tiny и ResNet-50 на небольшом наборе данных Oxford-IIIT Pets, а также оценка задержки/пропускной способности вывода, что позволяет заключить, что ConvNeXt может быть весьма конкурентоспособным, особенно для определённых глубин тонкой настройки и задержки при обработке одного изображения, в то время как лучший выбор может сильно зависеть от стратегии тонкой настройки и размера пакета. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.