Закрыть
Логин:
Пароль:
Забыли свой пароль?
Регистрация
Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:

DOCFLOW - теория и практика электронного документооборота. Все о ECM и СЭД (системы электронного документооборота), ЭП

Eng
16.01.2004
Решение нетривиальных задач. Заключение

Решение нетривиальных задач с помощью технологий ABBYY

В некоторых случаях применение продуктов ABBYY кажется, на первый взгляд, неэффективным. Рассмотрим несколько таких ситуаций.

Если система не поддерживает распознавание на языке документа.

Представьте себе, что язык, на котором заполняются формы, не поддерживается выбранной системой ввода. Например, корейский или тайский языки, которых нет в ABBYY FormReader.

Также известно, что написанный слитно, не разделённый на буквы текст система распознавания, анализирующая отдельные буквы, обработать не сможет. Обе ситуации схожи: система, в силу ограниченности своих возможностей, не распознает буквы в поле, но оператор может их прочитать.

В таких случаях рекомендуется применять следующее.

  1. При разработке формы как можно меньше использовать текстовые поля, заменяя их метками или группами меток. Пояснительные надписи при метках могут быть выполнены на любом языке – эти надписи не подвергаются распознаванию.
  2. Выделить цифровые поля и поля, содержащие штрих-коды, – для этих полей, скорее всего, удастся реализовать автоматическое распознавание.
  3. Привлечь механизм Key From Image (KFI), или «поля для ручного ввода», как они названы в продуктах линейки ABBYY FormReader 6.0. Так принято называть ввод данных оператором, без автоматического распознавания. На экран при этом выводится извлечённое из отсканированного документа изображение текстового поля, и оператор может, читая написанный текст, перепечатывая соответствующую информацию. Заметим, что при этом сохраняются почти все основные преимущества автоматизированного ввода данных. Действительно:
    * во-первых, все смысловые связи между информацией и полями итоговой базы данных продуманы заранее и жёстко зафиксированы в шаблоне формы, поэтому оператору не нужно размышлять на тему «что куда писать»;
    * во-вторых, ему нет необходимости распределять внимание между бумажным документом, клавиатурой и экраном;
    * в-третьих, сохраняется возможность задействовать любые, сколь угодно сложные и разветвлённые алгоритмы автоматической проверки данных – для проверочных правил не имеет значения, поступила информация после распознавания или с клавиатуры.

Таким образом, ввод данных при помощи «полей для ручного ввода», оказывается всё равно значительно более быстрым и точным, чем ввод ручным способом.

Удалённое сканирование и обработка факсимильных документов

Входное изображение необязательно должно поступать со сканера. Если по каким-либо обстоятельствам нет возможности внедрить систему автоматизированного ввода в том месте, где заполняются и собираются формы, эта особенность FormReader может оказаться весьма полезной.

Рассмотрим простой пример: в нескольких городах области проводятся опросы населения. Отдел автоматизированной обработки данных организован при областной администрации и находится в областном центре. Понятно, что транспортировки тысяч собранных форм из разных городов лучше избежать. Если предположить, что организаторы опросов используют систему ABBYY FormReader, проблема решается элементарно. На местах, в пунктах сбора форм, документы сканируют и сохраняют (например, в формате чёрно-белый TIFF – каждый такой файл будет иметь небольшой объём, 10-100 кбайт), затем высылают по электронной почте в центр обработки. В центре, где расположена собственно система автоматизированного ввода, файлы сохраняют и передают на станцию распознавания. ABBYY FormReader 6.0 способен принимать такие файлы и автоматически формировать из них пакеты для последующей обработки.

Аналогично, вместо электронной почты в такой ситуации может использоваться факсимильная связь. Несмотря на то что передача данных по факсу может быть сопряжена с линейными искажениями – растяжением, сжатием и т.п., FormReader способен корректировать и правильно обрабатывать такие изображения. Единственное требование, налагаемое на формы, которые планируется передавать по факсу, – на них должны быть предусмотрены реперные блоки в виде чёрных квадратов, расположенных по углам формы. Налагая шаблон, система ориентируется на то, насколько изменилось взаимное расположение черных квадратов. В зависимости от этого корректируется алгоритм поиска полей, содержащих распознаваемую информацию.

Распределённая верификация

Высокой квалификации для работы верификатора не требуется. Нужен только компьютер, причём не самый мощный, и внимательность. Вполне естественно, что многие организаторы для снижения себестоимости проекта потокового ввода форм привлекают в качестве верификаторов людей, работающих на дому. Единственным специальным требованием, предъявляемым к сотрудникам, в этом случае является наличие у них выхода в интернет.

В тех случаях, когда такой подход становится оправданным, компания ABBYY рекомендует применять для удалённой верификации системы терминального доступа. Система терминального доступа состоит из терминального сервера (ТС), который расположен на территории вычислительного центра, и терминального клиента (ТК), в роли которого выступает компьютер надомного работника. На сервере запускается программа, управляющая потоком направленных на верификацию данных; при этом клиентская машина не только «видит» происходящее в окне этой программы, но и позволяет оператору работать так, словно он находится за консолью сервера. Программа ТК перехватывает действия оператора, сообщает о них на ТС, серверная программа выполняет соответствующие операции верификации. Затем результаты выполненных действий транслируются обратно на ТК.

Продукты линейки ABBYY FormReader 6.0 протестированы для использования с системой терминального доступа Microsoft Terminal Services.

Ввод «гибких форм»

Как уже упоминалось, существуют два основных типа форм: структурированные и гибкие. К структурированным относятся формы, расположение и размер полей которых фиксированы. Все остальные формы считаются гибкими.

Если структурированные формы удобнее и быстрее всего вводить методом наложения предварительно разработанного шаблона, то с гибкими формами при аналогичном подходе возникают известные затруднения. Специалистами компании ABBYY создан альтернативный метод обработки гибких форм, позволяющий решать задачу потокового ввода с качеством, не уступающим качеству при обработке структурированных форм. Суть метода заключается в логическом исследовании структуры документа; технология, реализующая данный метод на практике, получила название FlexiForm.

Система, проводя анализ, определяет местонахождение и вид полей по признакам, заранее описанным пользователем. Допустим, требуется найти на форме и распознать содержимое поля «ИНН». В шаблоне указано, что признаком искомого поля являются буквы «ИНН», справа от которых находится известное количество знакомест. Тогда система обнаружит указанную комбинацию букв и без проблем справится с вводом соответствующей информации. Такой подход, в основе которого лежит исследование геометрически неопределенной структуры документа, включая взаимное расположение отдельных его элементов, принято называть Intelligent Field Recognition (IFR).

Специалистами компании ABBYY разработан метаязык для описания структуры и правил анализа документов произвольной формы. Возможности языка достаточно широки, чтобы охватить подавляющее большинство форм, используемых в настоящее время. Понятно, что это куда более мощный инструмент, чем традиционный шаблон для структурированных форм. Благодаря технологии FlexiForm более 500 банков на территории России вводят поступающие платежные документы автоматизированно, при помощи программных решений от ABBYY.

Специализированный программный продукт ABBYY FlexiForm Studio позволяет формировать описание гибких шаблонов, не прибегая к программированию. Для работы с FlexiForm Studio достаточно обладать навыками работы с компьютером на уровне опытного пользователя.

Разработчик шаблона «обучает» программу FlexiForm Studio искать нужные поля. Для этого в терминах FlexiForm Studio создается описание расположения каждого поля формы через задание параметров его окружения: стационарного текста, рисунков, разделителей, белых пятен и т.д. Опираясь на описание, программа находит на форме все объекты такого рода и выбирает вариант, в наибольшей степени совпадающий с описанием. Если поля найдены правильно, описание тестируется на большом количестве форм, уточняется и переносится в программу FormReader как шаблон для обработки бумажных документов.

Ввод данных с немашиночитаемых форм

Специфика этой задачи заключается в том, что далеко не всегда требуется распознавать всё, что можно найти на изображении. Чаще всего при оцифровке архива немашиночитаемых форм оказывается достаточно получить электронное изображение страницы, выделить на нём и распознать некоторое количество ключевых полей. На основании этих ключевых полей для страницы строится уникальный составной индекс. Само изображение преобразуется в формат, удобный для хранения, и передается в архив. Если понадобится найти эту страницу, поиск будет значительно облегчен благодаря выделенному индексу.

Документы в архиве, скорее всего, не являются машиночитаемыми формами, поскольку

  • расположение полей не определено,
  • реперные блоки (квадраты, уголки и пр.) не предусмотрены,
  • в полях могут находиться слитно написанные слова, поля могут перекрываться штампами и надписями.

Всё это означает, что общий подход, заключающийся в подготовке шаблона с заданной разметкой, неприменим.

 

Что делать в такой ситуации?

  1. Везде, где это возможно, применять стандартный подход с распознаванием данных в полях с фиксированным расположением. Для этого необходимо разработать шаблон документа. В качестве реперных блоков можно использовать таблицы или надписи, присутствующие на всех экземплярах. Обычно удается найти хотя бы десяток таких полей, и этого достаточно для уверенного наложения шаблона. В качестве идентификатора документа можно использовать, например, его название: «форма 4-ПД», «выписка о состоянии счета» и т.д. На накладной транспортной компании или на счете можно распознать штрих-код, заранее впечатанные данные о стране отправителя, телефон и почтовый код адресата.
  2. Если поле «плавает», для определения его местоположения можно применить технологию FlexiForm. Этот подход позволяет найти любое поле, если имеется дополнительная информация о его окружении, формате данных, поясняющих надписях и т.д. Единственная сложность – разработка «гибких» шаблонов является относительно дорогой услугой, которая может быть выполнена только подготовленным специалистом.
  3. Иногда хорошие результаты достигаются при помощи подхода Key From Image – «поля для ручного ввода». Его применение описано на стр. 26 для случаев, когда какие-либо языки не поддерживаются. Программа помогает найти положение поля на форме, «вырезает» на изображении участок, но данные не распознает. Оператор вводит их вручную.

Таким образом можно ввести любую информацию с документов, не готовившихся специально для автоматизированного ввода. И это будет проще, чем при обычном ручном вводе.

Заключение

Мы рассмотрели важнейшие аспекты автоматизированного ввода данных с форм. Начав с описания основных понятий из этой области, мы перешли к пошаговому рассмотрению процесса, акцентируя внимание на наиболее важных, значимых его параметрах и особенностях. Мы затронули преимущества автоматизированного подхода перед ручным вводом, увидели, как можно влиять на качество вводимых данных, постарались осветить вопросы оптимальной организации ввода данных в различных практических ситуациях, привели советы по всем основным этапам подготовки бланка формы.

При подготовке материала мы опирались, прежде всего, на опыт применения технологий компании ABBYY, однако при этом большинство советов и рекомендаций не имеют строгой привязки к какойто конкретной линейке продуктов.

Мы старались собрать в одном материале полезную информацию о такой области документооборота, как ввод форм, чтобы заинтересовать и профессионала и человека, впервые услышавшего об этом. Надеемся, что нам удалось добиться поставленной цели и приведенная информация окажется полезной всем заинтересованным в разработке, внедрении и эксплуатации подобных проектов.

Поделиться:




КАЛЕНДАРЬ
ПОСЛЕДНИЕ НОВОСТИ
21.06.2019
TESSA 3.3 – новые горизонты СЭД
Компания Syntellect объявила о выпуске официального релиза СЭД TESSA версии 3.3.
В новой версии платформы расширены возможности легкого клиента, обеспечена поддержка разных часовых зон и внесено более сотни других улучшений.

28.03.2019
Финансы уйдут в электронный документооборот
На рассмотрение государственной думы РФ вынесен законопроект о введении электронного документооборота в российских организациях. При создании электронных копии бумажных документов, оригиналы нужно будет хранить всего год.

28.03.2019
В ожидании цифрового прорыва
Как выбраться из «колеи», в которой, согласно институциональной теории, движется, увязнув всеми колесами, Россия? Ответ на этот вопрос эксперты ищут не первый год. Вряд ли есть одно решение, но, возможно, в этом стране помогут технологии: отечественная математическая школа всегда высоко ценилась во всем мире, да и IT-отрасль в России развита сильнее прочих. Во всяком случае, именно на их развитие делают ставку власти: от направления «Цифровые технологии» нацпроекта «Цифровая экономика» они ждут настоящего прорыва. Впрочем, его успех, по мнению экспертов, будет зависеть от синхронизации процесса цифровой трансформации во всех российских регионах.