Как пишет Towards, точность системы распознавания именованных сущностей, основанной на регулярных выражениях и координатах, резко упала с 94% до 67%. Это произошло, когда входящие заказы на покупку имели разные форматы. Заголовки, такие как имя покупателя, дата доставки и идентификатор заказа, располагались в разных местах, а последовательность столбцов была перепутана. Заказы поступали от разных клиентов, и постоянная адаптация к новым форматам стала настоящей головной болью. В итоге автор решил отказаться от системы на основе регулярных выражений и создать что-то более «умное» и «масштабируемое>. Если вы потратили много времени на написание жестких логик для обработки документов, таких как удостоверения личности, заказы на покупку, счета и т.д., то эта статья вам поможет. Идеальная система должна не заботиться о том, где находится информация в исходном файле, понимать семантическое значение извлекаемых меток и не беспокоиться о том, находится ли информация в неаккуратной строке OCR, скрыта в таблице PDF или перечислена в электронном письме. Для достижения этой цели автор построил универсальный пайплайн с использованием GLINER — мощной модели распознавания именованных сущностей. Автор использовал тот же подход для извлечения именованных сущностей из удостоверений личности для другого проекта. Таким образом, вне зависимости от того, извлекает ли он именованные сущности из заказов на покупку с помощью pymupdf или из удостоверений личности с помощью PaddleOCR, пайплайн оставался прежним. В конце статьи читатель узнает, какой подход сработал в экспериментах с нулевым и малым количеством примеров, как автор достиг 93,2% точности по отзывам и какие архитектурные уроки он усвоил по пути. Первоначально автор надеялся, что нулевой подход может сработать в его пользу. Нулевой подход означает, что модель не получает дополнительных обучающих примеров для идентификации сущностей в данных. Поскольку это была модель, уже обученная на большом количестве меток и сущностей, автор ожидал, что она будет работать с его сущностями. Однако в первых тестах модель показала плохие результаты. Затем автор переключился на обучение с малым числом примеров, предоставив модели несколько примеров, чтобы увидеть, сможет ли это устранить разрыв. Результаты оказались значительно лучше, чем при нулевом подходе, но этого было недостаточно, так как модель не могла точно извлекать количество и цену товаров. Автор решил полностью дообучить GLINER. Процесс дообучения не сводится только к подаче дополнительных данных в модель, но и к качеству аннотирования. Аннотирование каждого файла тренировочного набора вручную может занять много времени, но это ключ к достижению высококачественных результатов. Чистота аннотаций прямо пропорциональна производительности модели. Вместо использования LLM или каких-либо ручных приблизительных аннотаций, автор полагался на инструменты открытого исходного кода для точного и последовательного аннотирования каждой сущности. Одной из самых раздражающих проблем, с которыми столкнулся автор, было усечение текста. Документы были длинными, и у моделей есть жесткий лимит на длину токенов. Ранние эксперименты проваливались, потому что размер окна скольжения был либо слишком мал, либо слишком велик. После нескольких итераций настройки размера окна и перекрытия автор нашел оптимальные параметры, позволяющие модели обрабатывать достаточно данных для идентификации товаров, не превышая лимиты внутренней памяти. Также была разработана постобработка для устранения дубликатов, так как при обработке длинных документов с использованием скользящего окна с перекрытием неизбежно возникают дубликаты. Чтобы судить о успехе или неудаче системы, автор создал автоматизированный набор проверок, который заставляет модель подтверждать свои результаты. Установив эталон и систематически измеряя точность, автор отошел от догадок. Наиболее полезной частью этой архитектуры является ее модульность. После повторного использования пайплайна автор понял, что создал повторно используемый движок для обработки документов. Этот же паттерн был применен к совершенно другой задаче: извлечению ключевых сущностей из удостоверений личности. Источник данных изменился с PDF на изображения, но пайплайн остался прежним. Новая модель была дообучена на данных удостоверений личности, и пайплайн справился с остальным. Реальным показателем эффективности этой системы стало не только процент точности, но и сэкономленное время. Ручная обработка заказов на покупку занимала около 20-25 минут на каждый PDF. С новым пайплайном извлечение сущностей занимает всего 0,5-3 минуты, в зависимости от длины документа и того, работает ли система на GPU или CPU. Однако, поскольку автоматизированное извлечение сущностей не должно слепо доверяться финансовым данным, человек все равно должен быстро проверить результаты. Но теперь ручная проверка занимает всего 2 минуты на PDF. При подсчете времени получается, что обработка сокращается более чем на 80%, а также устраняется когнитивная усталость от ручного ввода данных. Система не должна быть идеальной, чтобы быть значительным достижением. Позволив ИИ справляться с более чем 90% рутинной работы мгновенно, автор превращает болезненное место в процессе в быструю и управляемую очередь проверки. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.