MarktechPost сообщает, что NVIDIA выпустила Kumo Tabular, новую семью моделей для табличных данных (TFM), предназначенных для классификации и регрессии. Если вы знакомы с TabPFN или TabICL, то интерфейс будет вам знаком. Модель принимает размеченные строки в качестве контекста и предсказывает новые строки за один проход. Не требуется обучение, настройка гиперпараметров или инженерия признаков. Kumo Tabular представлена в трех версиях: Small, Medium и Large, с количеством параметров от 28 миллионов до 215 миллионов. Она работает через открытую библиотеку структурированных данных (SDM) от NVIDIA. Модель доступна для развертывания, так как веса поставляются под лицензией OpenMDW-1.1, что позволяет коммерческое использование. Код SDM имеет лицензию Apache-2.0 и требует Python 3.11+ и PyTorch 2.7+, с примерами, нацеленными на GPU CUDA. Библиотека SDM является нативной для GPU и предназначена для моделей, работающих с табличными данными и предварительной обработкой. В дополнение к Kumo Tabular, в библиотеке доступны TabICLv2, TabFM от Google и KumoRelational для работы с многими таблицами. Все модели используют единый интерфейс обучения на основе контекста, основанный на контейнере TableTensor. Библиотека также обрабатывает предварительную обработку, ансамблирование и предсказание для множества классов. Kumo Tabular представляет собой трансформер, построенный на структуре таблицы. Он использует внимание по столбцам, строкам и в контексте, как было представлено в TabICL и TabPFN. Пайплайн имеет три этапа: встраивание ячеек, встраивание строк и обучение в контексте. Встраивание ячеек: числовые и категориальные значения проходят через изученные функции Фурье с отдельными весами для каждого типа. Пропущенные значения не требуют импутации. Встраивание строк: внимание по столбцам использует самовнимание, так что стоимость растет линейно с количеством строк. Внимание по строкам, с ротационными позициями, изучает взаимодействия признаков. Четыре обучаемых токена [CLS] сжимают каждую строку. Обучение в контексте: финальный трансформер работает с встраиваниями строк. Контекстные строки обращаются друг к другу, в то время как строки запроса обращаются только к контекстным строкам. Поскольку контекст никогда не видит запросы, его ключи и значения вычисляются один раз и повторно используются. Головка выдает вероятности классов или 999 квантилей для регрессии, что дает точное предсказание и оценку неопределенности. Еще один важный момент при масштабировании. Внимание Softmax становится разреженным, когда количество ключей растет. Kumo Tabular масштабирует каждый запрос с помощью температуры, которая растет с логарифмом количества ключей. Коэффициент обучается для каждой головы внимания, так что внимание остается четким на больших таблицах. Kumo Tabular предварительно обучена исключительно на синтетических таблицах, собранных из структурных причинных моделей (SCM). Случайный причинный граф связывает скрытые переменные через линейные отображения, небольшие нейронные сети, деревья или гауссовские процессы. Генератор также внедряет неряшливые, реальные шаблоны: пропущенные значения, категории с высокой кардинальностью, тяжелые целевые значения и конфликтующие дубликаты строк. Обучение проходило в три этапа, аналогично TabICLv2. Контекст увеличивался от 1,024 строк до 60,000 строк, с количеством колонок до 100. Small, Medium и Large увидели около 35 миллионов, 71 миллион и 137 миллионов искусственных таблиц соответственно. Классификация и регрессия обучались как отдельные модели. NVIDIA сообщает, что рецепт обучения и генераторы данных будут опубликованы в ближайшее время. Согласно стандартным настройкам, Kumo Tabular занимает первое место в общем зачете на TabArena с рейтингом Elo 1950. Команда NVIDIA сообщает, что модель работает в 17 раз быстрее, чем LimiX-2 на одном RTX 6000 Pro. Все три размера находятся на фронте точности и времени вывода. BeyondArena: первое место с Elo 1418 и оценкой улучшения 7.78%. TALENT: лучшее общее ранжирование со средними значениями 6.67 (точность), 3.98 (логарифмическая потеря) и 4.22 (RMSE). ScoringBench: Large и Medium занимают первое и второе место по среднему рангу. Лицензионная строка является реальным отличием. Веса TabPFN-3, LimiX-2 и TabFM имеют некоммерческие условия. Kumo Tabular и TabICLv2 являются разрешительными вариантами, и Kumo Tabular возглавляет рейтинги, о которых сообщает NVIDIA. Для начала установите библиотеку и передайте DataFrame через TableTensor, следуя карточке модели. Kumo Tabular предсказывает новые строки таблицы за один проход, без обучения. Три размера имеют от 28 миллионов до 215 миллионов параметров, предварительно обучены только на синтетических таблицах. NVIDIA сообщает о первом месте на TabArena (Elo 1950), BeyondArena, TALENT и ScoringBench. Веса OpenMDW-1.1 позволяют коммерческое использование, в отличие от TabPFN-3, LimiX-2 и TabFM. Модель работает через нативную библиотеку SDM от NVIDIA наряду с TabICLv2, TabFM и KumoRelational. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.