Автоматизация сбора данных с цифровых ручек

Рассказываем, как автоматизация рутинных процессов помогла менеджерам американской компании работать быстрее и привлечь еще больше клиентов.

Наш клиент — крупный американский маркетплейс, который продает инструменты и технику для сельского хозяйства с помощью аукционов. Если какой-то ферме требуются комбайны, их дешевле покупать на этом аукционе, чем заказывать новые.

Чтобы продать технику, фермеры должны пригласить специалиста компании для оценки стоимости и описи и подать заявку. Часто специалистам приходится приезжать на ферму — она может быть в другом штате, за несколько сотен километров от офисов компании. Специалист должен приехать в поле, описать технику на бумажных листах, обязательно рукописью на бумаге — это требование законов США, потом перевести в электронный вид. А с учетом того, что количество техники могло достигать 100 единиц, процесс описи и перевода в электронный вид занимал много времени — до 3−4 дней.

После перевода в электронный вид специалисты оформляли аукцион на сайте и на рекламных листовках. Это еще плюс 1−2 дня.

Итого оформляли аукцион за 4−6 дней, а нужно было сделать 2−3 дня.

В этом проекте мы работали на подряде у американской компании — разработчика программных решений.

Они придумали решение: использовать цифровую ручку Rover INK с видеокамерой, чтобы фиксировать записи сотрудника, отправлять «скан» через телефон в офис компании и там его автоматически переводить в электронный вид. Такая автоматизация должна была значительно ускорить процедуру.

Как работает эта технология. В цифровой ручке установлена камера. С помощью нее можно сохранять записи в память и потом передавать их на телефон через Bluetooth.

Для записи используется бумага с точечной сеткой. Причем, рисунок точек в этой сетке неповторяющийся, чтобы когда делают запись, камера в ручке «понимала» в каком месте листа она записывает текст.

Когда делаем запись, ручка сохраняет «место записи» на листе и саму запись в своей памяти. Потом эти данные можно передать на телефон для отправки и обработки на сервере.

У нас стояла задача: автоматизация этого процесса. Для этого нужно было разработать программу, которая бы получала данные по записям от ручки, отправляла эти данные в центр обработки данных и переводила рукописный текст в печатный.

Для описи спецтехники разработали форму с точечной сеткой и полями.

Когда специалист заполнял поля формы цифровой ручкой, они записывались в ее память в виде сканов и «привязывались» к наименованиям этих полей в формате: номер описи → наименование поля → скан записи в этом поле.

Это не было штатной функцией ручки. Такая автоматизация — наша доработка драйвера ручки. Исходники драйвера нам предоставил заказчик. Он был написан на С++.

Потом, когда специалист ставил в поле «Отметка о завершении описи», ручка автоматически отправляла эту опись в центр обработки данных через телефон по bluetooth. Функции автоматической отправки тоже не было в драйвере ручки, мы ее написали.

В полевых условиях иногда отсутствовала связь на телефоне, поэтому предусмотрели модуль, который мониторил ответ от сервера о получении данных описи. Отправка повторялась до тех пор, пока не был получен ответ от сервера.

Автоматизация распознавания записей осуществлялась через программу нашей разработки на С++. Она отправляла из базы данных рукописные сканы каждого поля описи в библиотеку оптического распознавания текста — Google Text Recognition API, получала распознанный текст и записывала его в базу данных.

Обработка выполнялась автоматически. Как только сервер получал сканы рукописной описи, сразу отправлял их на распознавание.

После такой обработки в базе данных хранились рукописные сканы описей и их распознанные текстовые версии.

Технология оптического распознавания текста не давала 100% точности распознавания. В распознанных текстах периодически встречались ошибки.

Чтобы избежать ошибок, мы разработали интерфейс, который выводил оператору по каждой описи рукописные поля и распознанный текст этих полей.

Оператор построчно все проверял и подтверждал соответствие данных. Если записи были распознаны некорректно, оператор исправлял их и подтвержал.

Полностью подтвержденные описи автоматически отправлялись в электронном виде в команду оформления аукциона.

Команда оформления аукциона получала данные в цифровом виде практически сразу, как полевой специалист заполнял опись по каждой технике. Не нужно было ждать пока он опишет всю технику, потом переведет в электронный вид и передаст эти данные команде.

Автоматизация процесса привела к том, что аукционы оформляют в течение одного, максимум двух дней. Это в 4 раза меньше, чем раньше.