Пакетная (batch) обработка больших объёмов документов

Когда пакетная (batch) обработка больших объёмов документов становится необходимостью

Банк, принимающий сотни KYC-анкет в день, или страховая компания, закрывающая месяц по тысячам актов, сталкивается с задачей, которую нельзя решить поштучной загрузкой. Пакетная (batch) обработка больших объёмов документов — это режим, при котором система ZoomApps принимает архив или целый каталог из тысяч файлов и проводит их через единый конвейер распознавания документов без участия оператора на каждом шаге. Ключевое отличие от интерактивного сценария — предсказуемость: пачка на десять тысяч страниц должна завершиться в заявленное окно, а не зависеть от того, сколько раз человек нажал кнопку.

В финсекторе Казахстана такой режим типичен при миграции архива в новую систему, при ежемесячной сверке первички, при массовой перепроверке клиентской базы после изменения требований регулятора. Объём здесь измеряется не документами, а страницами и разворотами: один кредитный файл легко даёт тридцать-сорок сканов разного качества, и вручную такую массу не разобрать в разумный срок.

Архитектура очереди: конвейер внутри периметра

Пакетный режим строится вокруг очереди. Файлы попадают в приёмный каталог, система разбивает их на задания, распределяет по воркерам и собирает результат в общий выходной поток. Развёртывание изолированное: очередь, модели и хранилище промежуточных данных находятся внутри периметра клиента, наружу не уходит ни один скан. Для банка это принципиально — персональные данные не покидают контур ни на этапе загрузки, ни на этапе распознавания.

Горизонтальное масштабирование решает вопрос сроков. Если окно обработки ночное, число воркеров подбирается так, чтобы пачка укладывалась до утра. Приоритетная очередь позволяет пропускать срочные документы вперёд общего потока, не останавливая основную обработку, что удобно, когда параллельно с ночным пакетом идут единичные операции по текущим клиентам.

Смешанные пачки: удостоверения, договоры, счета-фактуры, выписки

Реальная пачка редко однородна. В одном каталоге лежат удостоверения личности, договоры на несколько десятков страниц, счета-фактуры и банковские выписки. Классификация на входе определяет тип каждого файла и направляет его в профиль извлечения, рассчитанный именно на этот документ, без предварительной ручной сортировки.

Такая маршрутизация критична, потому что поля у документов разные. У удостоверения это ИИН, срок действия и орган выдачи; у счёта-фактуры — БИН контрагента, сумма и ставка НДС; у выписки — движения по счёту построчно с датами и остатком. Единый конвейер применяет к каждому типу свою схему и возвращает соответствующий структурированный вывод, а не сырой текст, который потом кто-то разбирает руками.

Двуязычие и нормализация: казахский, русский, ИИН/БИН, тенге

Документы в Казахстане приходят на двух языках, часто в пределах одной страницы: шапка на казахском, тело на русском. Пакетная обработка не должна спотыкаться о такое переключение — распознавание казахского и русского работает в общем потоке, без ручного указания языка для каждого отдельного файла.

После извлечения данные нормализуются. ИИН и БИН проверяются на корректность контрольного разряда, что отсекает часть ошибок распознавания ещё до выгрузки. Суммы в тенге приводятся к единому числовому формату независимо от того, как они записаны в исходнике — с пробелами между разрядами, с символом валюты или прописью. На больших объёмах именно нормализация превращает распознанный текст в данные, пригодные для автоматической загрузки в учётную систему.

Контроль качества и обработка ошибок в потоке

На тысячах документов часть сканов заведомо будет проблемной: перевёрнутые страницы, слабый контраст, обрезанные поля, следы печати поверх текста. Пакетный конвейер не останавливается на таком файле — он помечает его, назначает низкую уверенность распознавания по конкретным полям и продолжает поток. По завершении оператор получает не всю пачку на перепроверку, а короткий список позиций, которые действительно требуют внимания.

Порог уверенности настраивается под риск-профиль процесса. Для KYC поля, влияющие на идентификацию клиента, проверяются строже, а для второстепенных реквизитов допускается автоматическое прохождение. Это осознанный баланс между полнотой ручного контроля и скоростью, ради которой пакетный режим и внедряется.

Выгрузка результата: структурированный вывод и интеграция с 1С

Результат пакета — не набор текстовых файлов, а структурированный вывод в согласованной схеме: JSON, CSV или прямая запись в приёмник. Для казахстанского финсектора типичная точка назначения — 1С, куда счета-фактуры и акты попадают уже разложенными по реквизитам. Соответствие полей документа и полей учётной системы задаётся один раз на этапе внедрения и дальше работает для всей серии обработок.

Замыкание конвейера на учётную систему и есть смысл пакетной обработки: между приёмным каталогом со сканами и проведённым документом в 1С не остаётся ручного ввода. Оператор подключается только там, где система сама отметила сомнение, а весь остальной объём проходит без его участия.

Хотите увидеть распознавание на своих документах? Посмотрите что умеет ZoomApps или сразу напишите нам в WhatsApp — покажем на демо.