По сообщению Mistral AI, компания представила Timestral, свою первую семью моделей для прогнозирования временных рядов. Эта модель, обладая всего 209 миллионами параметров, демонстрирует высокую эффективность и точность, превосходя более крупные модели на ключевых бенчмарках. Timestral доступна в четырех размерах (от 5 до 209 миллионов параметров) и обеспечивает отличные результаты в прогнозировании, эффективно работая на процессорах и показывая выдающиеся результаты в условиях нулевого обучения для различных областей. Модель сочетает в себе синтетическую предобученность, внимание с учетом ковариат и обучение на длинных контекстах, а также предлагает возможности дообучения для адаптации к конкретным доменам через Mistral Forge. На данный момент Timestral занимает первое место на всех трех основных публичных бенчмарках в области прогнозирования: GIFT-Eval, TIME и fev-bench, обгоняя предыдущие достижения при меньшем количестве параметров. Модель предоставляет вероятностные, многомерные прогнозы и поддерживает как исторические, так и известные будущие ковариаты. Модели временных рядов являются одними из самых распространенных типов данных в бизнесе, от телеметрии датчиков до показателей наблюдаемости. Прогнозы на их основе влияют на принятие решений в таких областях, как планирование мощностей, энергетика, цепочки поставок и управление рисками. Промышленные предприятия используют прогнозы для контроля за процессами, предотвращения сбоев оборудования и планирования запасов. Классические модели, такие как ARIMA и линейная регрессия, остаются популярными инструментами для прогнозирования временных рядов, но их возможности ограничены. Модели глубокого обучения, такие как PatchTST, способны выявлять нелинейные зависимости, однако они чаще всего требуют обучения с нуля на каждом наборе данных. Timestral, в отличие от них, использует подход предобучения, обучаясь на большом и разнообразном корпусе данных. Это позволяет модели выявлять закономерности, которые могут быть применены к новым данным, даже в условиях нехватки информации. Результаты тестирования Timestral на трех основных публичных бенчмарках показывают, что она занимает первые места по всем пяти метрикам среди предобученных моделей с нулевым обучением. Эти результаты получены на основе единственного контрольного пункта без использования ансамблирования. Семья моделей Timestral оптимизирована для различных спецификаций: 5M, 28M, 123M и 209M параметров. Более крупные модели обеспечивают лучшую производительность прогнозов, в то время как меньшие являются более быстрыми и экономичными. Все четыре модели имеют одинаковую архитектуру и методику обучения, и каждая из них занимает место на кривой Парето по точности в сравнении с размером модели. Timestral не требует GPU для выполнения прогнозов. На стандартном серверном процессоре с 8 потоками прогнозирование на один день вперед на основе трех недель данных с частотой 15 минут занимает 10 миллисекунд для модели 5M и 140 миллисекунд для модели 209M. Меньшие модели обеспечивают большую скорость, но могут немного уступать в точности. В качестве примера можно рассмотреть промышленное предприятие с тысячами датчиков. Timestral может улучшить прогнозы, учитывая взаимосвязи между различными показателями, такими как вибрация, температура и давление насосов. Модель предсказывает не только одно значение, но и целый набор квантилей, что позволяет командам лучше оценивать неопределенность и планировать техническое обслуживание. Timestral может работать в существующих мониторинговых системах или в сочетании с языковыми моделями в многофункциональных рабочих процессах. Она может непрерывно анализировать данные с датчиков на заводе, выявляя аномалии в реальном времени и предоставляя рекомендации по их устранению. В дальнейшем Timestral будет доступна через Mistral Forge, что позволит организациям адаптировать модель к своим данным и продолжать ее обучение по мере изменения распределения данных. Полный пакет будет доступен для развертывания на оборудовании клиентов, включая изолированные среды. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.