Історична інформатика 4

1. Система електронного документообігу. Джерелознавчі аспекти

Сучасне суспільство не може існувати без документообігу. Документи супроводжують нас на кожному кроці. Навіть мала покупка товару в магазині супроводжується видачею документа – касового чека.

Кожного дня в світі створюються мільярди копій великих і малих документів. На виготовлення документів розходується дуже велика кількість паперу й лісу, а на реєстрацію, перевірку і зберігання документів тратиться дуже багато часу.

Одна із основних задач інформатики полягає в розробці і застосуванні методів використовуючи обчислювальну техніку для переводу документообігу із паперової форми у електрону. Сучасні мережні технології дозволяють вирішити цю задачу, але тільки частково. Всі банки світу уже зв’язані електронними мережами і фінансові документи циркулюють в основному в електронному вигляді. Постійно виходять із вжитку паперові акції підприємств і другі ціні папери. Їх заміняють електроні дипозитарії – бази даних, в яких відомості про акціонерів зберігаються у вигляді записів.

Порівняно недавно появились електроні гроші. Це теж записи в базах даних. Рух електронних грошей відбувається по без паперовій технології шляхом переносу даних із одних записів в інші. Для персонального використання електронних грошей служать пластикові картки, на якій є відомості про власника електронного рахунку на магнітній полосі, або смарт-карті, в яких є дані записи на великій плоскій мікросхемі вбудованій в карті.

По без паперовій технології сьогодні працюють більшість засобів масової інформації. Всі етапи підготовки газети, журнала, книги або рекламної листівки проводять на комп’ютері. Операційна система типу Windows 9х, дозволяє одночасно готувати і редагувати тексти, створювати і обробляти ілюстрації, а комп’ютерні мережі об’єднують всіх учасників, які працюють над одним проектом в автономні робочі групи. Робоча група може обходитись без паперових документів до повного завершення роботи над проектом. Тільки коли робота закінчується створюється заключний паперовий документ. Це може бути, як макет газети так і повний комплект креслень необхідних для виготовлення даного документа.

В тих випадках коли початкові дані зразу мають електронний вигляд, перевід документообігу на без паперову технологію відбувається порівняно просто. Представимо ,що письменник написав книгу в текстовому редакторі Word, а художник намалював до неї ілюстрації у векторному редакторі Adobe IIIustrator. Представимо, що фотограф підготував необхідні фотографії з допомогою цифрової фотокамери і зробив їх в редакторі Adobe Photoshop. В такому випадку залишається тільки зібрати початкові електроні документи в один заключний документ з допомогою видавничої системи. Всі етапи редагування і коректори також виконують в електронному вигляді з допомогою спеціальних програмних засобів. Робота передається з одного робочого місця на друге по комп’ютерній мережі, і всі учасники роботи допомагають один, одному і виправляють помилки колег без створення паперових документів.

Можливо в далекому майбутньому, коли всі документи будуть зразу готуватись тільки в електронному виді, людство зможе перейти повністю до безпаперовій технології і залишки лісів будуть врятовані, від повного знищення, а целюлозно –паперові комбінати перестануть викидати забруднені води в річки і озера. Сьогодні ПК є не на кожному робочому місці і не всі учасники документообігу об’єднанні комп’ютерними мережами в робочі групи. Тому основним завданням на шляху створення без паперової технології є проблема вводу вихідних даних в електронному виді. В інформатиці ця проблема вирішується створенням і впровадженням спеціально апаратних засобів для переводу графічної і текстової інформації в електрону форму.

Основним методом переводу паперових документів в електрону форму являється сканування. Сканування - це технологічний процес, в результаті якого створюється графічний образ паперового документа. Існує декілька видів сканерів, але в їх основу покладено один і той же принцип. Документи освітлюються світлом від спеціального джерела, а відображене світло сприймається світло відображаючим елементом. Мінімальний елемент зображення передається сканером, як кольорова точка. Таким чином в результаті сканування документа створюється графічний файл в, якому зберігається растрове зображення первинного документа. Растрове зображення складається, як відомо з точок. Кількість точок визначається, як розміром зображення так і розширенням сканера.

Після обробки документа сканером виходить графічне зображення документа. Але графічний вигляд не являється текстом документа. Людині досить подивитись на листок паперу з текстом, щоб зрозуміти, що на ньому написано. З точки зору комп’ютера, документ після сканування перетворюється в набір різнокольорових точок, а не в текстовий документ. Проблема розпізнання тексту в складі точкового графічного зображення являється дуже складною. Подібні задачі вирішуються за допомогою спеціальних програмних засобів, називаються вони засоби розпізнання зображень. Реальний технічний прорив в цій області пройшов лише в останні роки. До того розпізнання тексту було можливо лише шляхом порівняння знайдених конфігурацій точок із стандартним зразком. Автори програми критерій “схожості” використовуваний при ідентифікації символів. Такі системи називаються ОСR (OptikalCharacted Recognition-оптичне розпізнання символів) і оперались на спеціально вироблені шрифти. З часом наукові дослідження в області розпізнання зображень буквально перевернули представлення при оптичному розпізнані символів. Сучасні програми можуть ставитись з різноманітними шрифтами без перенастройки. Багато розпізнають навіть малюнковий.

Оскільки потреба в розпізнані тексту відсканованих документів достатньо велика, невипадково, що є велика кількість програм, призначена для такої цілі. Так, як різні наукові методи розпізнання тексту розвивалась незалежно один від одного, багато із цих програм використовують різні алгоритми. Ці алгоритми можуть давати різні результати на різні документи. Наприклад, система OCR здібна розпізнати тільки стандартний спеціально підготовлений шрифт і дають на цьому шрифті найкращі результати, які не можуть перевершити ні одна із універсальних програм. Сучасні алгоритми розпізнання тексту не орієнтуються на конкретний шрифт, ні на конкретний алфавіт. Більшість програм розпізнають текст на декількох мовах. Один і той же алгоритм можна використовувати для розпізнання російського, латинського, арабського і других алфавітів і навіть змішаних текстів. Розуміється програма повинна знати про який алфавіт іде мова. Нас перш за все інтересують програми здатні розпізнавати текст, написаний на російській мові. Такі програми випускаються вітчизняними виробниками. Найбільш широко відомі і розповсюджені програми Fine Reader і Cunei Form. Програма Fine Reader забезпечує високу якість розпізнання і вигоду застосування.

Програма Fine Reader виготовляється вітчизняною компанією АВВУУ Software(w.w.w. bitsoft.ru.). Ця програма призначена для розпізнання текстів на російському, англійському, німецькому, українському, французькому і багатьох інших мовах, а також для розпізнання змішаних двох мовних текстів. Програма має ряд можливостей. Вона дозволяє об’єднати сканування і розпізнання в одну операцію, працювати з пакетами документів і бланками. Програму можна навчити для кращої якості розпізнання неправильно надрукованих текстів і складних шрифтів. Вона дозволяє редагувати текст і провіряти його орфографію. Fine Reader працює з різними моделями сканерів. Програма дотримується стандарту TWAIN. Ми розглянемо програму на прикладі версії 4.0 одну із основних версій.

Перетворення паперового документа в електронний проходить в три етапи. Кожний із цих етапів програми Fine Readerможе виконувати, як автоматичний так і під контролем користувача. Якщо всі етапи проходять автоматично, то перетворення документа проходить за один прийом.

1. Перший етап роботи – сканування. На цьому етапі завжди використовується сканер. Однак зображення з листка паперу може бути перетворена в цифрову форму і з допомогою других засобів таких, як наприклад цифрові фотоапарати і цифрові відеокамери.

2. Другий етап роботи – сегментація тексту. Діло в тому, що в паперових документах, на сторінках книжки чи журналу, текст не завжди розміщується в зазначеному порядку. Він може розміщуватись в декількох колонках. Містить малюнки (підписи до них). Доповнюючі вирізки і дані представлені в таблиці, а також можуть заплутати порядок тексту. Тому перш за все, як включити текст документа його розбивають на блоки, вміст фрагментів. Блоки розпізнають послідовно. Отриманий текст включається в документів порядку номера блока.

3. Останній етап роботи програми-розпізнання. Цей етап не потребує втручання користувача, за винятком тих випадків, коли розпізнання супроводжується ”навчанням”.

Розпізнання тексту відображається у окремому вікні у виді форматованого тексту. Він “втрачає зв’язок” з вихідним зображенням і може редагуватися і форматуватися незалежно від нього. програма виділяє кольором ті символи, які вона сама розглядає, як неоднозначно розпізнання. Це спрощує пошук помилок засобами програми в отримані тексту, можна також провести перевірку граматики.

4. Отриманий текст можна зберегти у виді форматованого документа. Передбачено також можливість прямої передачі отриманого тексту в програму Word чи Excel, а також в буфер обміну Windows.

Сканування – це технічна операція, яку виконує пристрій для сканування. Задача програми Fine Readerна цьому етапі складається з того, щоб приняти получену інформацію і прийняти значки від сканування сторінок на панелі Пакет. Так сторінки готуються до розпізнання.

1. Для того щоб провести сканування за допомогою програми Fine Reader, необхідно запустити цю програму і включити сканер. Проскановані сторінки проходять по клацані на кнопки Сканувати на панель інструментів або при написанні комбінації клавіш Ctrl+K.

2. Програма здатна працювати із сканером, як безпосередньо так і через протокол. При безпосередній взаємодії із сканером можливість сканування кольорових зображень не використовується так, як текст являється в любому випадку одноколірним.

3. Програма використовується для сканування, яке задано по зменшенню. Для того щоб вибрати таке обладнання чи змінити його настройку, потрібно клацнути на відкриваючій кнопці поруч з кнопкою Сканувати і вибрати у відкритому меню пункт Опції – відкривається діалогове вікно Опції.

4. Якщо до комп’ютера підключено декілька сканерів або сканер був підключений після установки програми, слід клацнути на кнопці Вибрати сканер. В тому випадку програма проведе пошук підключених до комп’ютера сканерів і дозволити вибрати потрібний.

5. Для зміни настройки сканера використовують кнопку Настройки сканера.

6. Коли сканер вибраний появляється два флажка, в нижній частині діалогового вікна. Якщо поставити флажок Показувати діалог TWAIN-драйвера сканера, то сканування проходить через протокол з відображенням діалогового вікна. В протележному випадку програма працює напряму із сканером. Використати протокол має значення тільки в тому випадку, коли робота напряму неможлива або дає неякісні результати.

7. Флажок Показати опції перед початком сканування застосовують лише в тому випадку, коли паперові сторінки документа сильно відрізняється одна від другої. Це може бути викликано, наприклад, розмірами паперу або тим, що різні сторінки друкувались в різний час і різними засобами. В такому випадку перед скануванням кожної сторінки відкривається діалогове вікно настройки сканера, щоби користувач міг відрегулювати якість процесу.

Сам процес сканування проходить в автоматичному режимі. Якщо потрібно проробити багато сторінок, то краще всього спочатку їх усіх просканувати, а уже потім проводити розпізнання. Це зв’язано з тим, що сканування потребує присутності користувача через управління сканером, а розпізнання може проводитися в автоматичному режимі.

Під порядком розпізнання тексту розуміється послідовне розпізнання сторінок зліва на право. Якщо текст розбитий на декілька колонок або має вирізки, підмалюнкові підписи, примітки і другі елементи форматування, його розпізнання в послідовному порядку неможливо. В таких випадках програма розбиває текст на блоки, кожний з яких представляє собою фрагмент тексту, розпізнаний в послідовному порядку. Таке розбиття документа називається сегментацією.

Автоматична сегментація – це проста задача для програми. Програма шукає проміжки між стрічками, а також зони початку і кінця стрічок. Якщо послідовність стрічок, ідуть підряд, має одинакові зони початку і кінця, то програма розглядає таку область як текстовий блок. Якщо проміжки між стрічками взагалі існують, то по всій можливості, мова іде про ілюстрацію. Якщо знайдеться велике число вертикальних і горизонтальних фрагментів, які відображають правильну структуру, то напевне в текст включена таблиця. Якщо клацнути на кнопці Сегментація виділені сторінки, то сегментація сторінки проходить автоматично. правда зображення документа має невисоку якість, то сегментація може бути виконано не правильно, що виявляється у великій кількості малих блоків. В таких випадках можна вручну вказати границі блоків або змінити автоматичне розбиття. Нові прямокутні блоки створюються методом перетягуванням миші. При перетягуванні створюється блок і виділяється пунктирною рамкою, яка в момент створення блока перетворюється в єдину зелену лінію. Якщо сторінка має простий стандартний вид, то простіше вручну створити одиничний блок, який охоплює всю сторінку, чим представити це програмі, ризикуючи можливістю появлення помилок. Один із створених блоків являється текучим. Він обведений великою жирною лінією, а його вершини помічені маркерами. Переніс цих маркерів можна редагувати границі блока. Для створення блока прямокутної форми або зміна послідовності блоків використовують кнопки панелі інструментів Інструменти. Всі кнопки цієї панелі використовують на етапі сегментації. Програма Fine Reader розпізнає декілька блоків які працюють по різному. Такі блоки виділяються різними кольорами. Текстові блоки обводяться зеленою лінією. Щоб змінити тип блока потрібно клацнути в зоні блока ПКМ і вибрати потрібний тип в меню. Тип блока контекстного меню.

Після сегментації і встановлення порядку текстових блоків виконує останній етап роботи – розпізнання. Якщо документ надрукований не стандартним шрифтом, який добре відсканований, по клацанню кнопки Розпізнати відкриту сторінку досить, щоб документ був розпізнаний. Якщо паперовий документ має нестандартний шрифт, то процес розпізнання ускладнюється. В такому випадку програма може не справитись з розпізнанням символів і допускати однотипні помилки. В таких випадках для великих документів перш за все спочатку треба провести навчання програми з особливостями даного документа. Це досить великий процес, але він все таки простіший, ніж ручний ввід багато сторінкового документа. Настройку розпізнання починають із створення еталону в, якому зберігаються особливості даного документа. Для цього потрібно виконати команду Сервіс – Редактор еталонів, клацнути у відкритому діалоговому вікні Еталони на кнопці Нові еталони і ввести ім’я створення еталона.

Для підключення еталона при розпізнані, треба клацнути на відкриваючі кнопці поруч з кнопкою Розпізнати відкриту сторінку і вибрати пункт Опції. У відкритому діалоговому вікні в групі Обучение слід вибрати тільки, що створений еталон. Якщо розпізнання документа відповідає еталону, який був створений і настроєний раніше, то вибрати не новий, а старий еталон.

Для “навчання” еталона слід встановити прапорець Розпізнання з навчанням.

Режим розпізнання в такому випадку змінюється. Коли програма не може розпізнати символ, то вона видає діалогове вікно “навчання еталона”. У верхній частині цього вікна проводиться збільшення зображень розпізнання стрічки. Текучий символ обведений рамкою.

В полі із списком Символ, який розуміє програма, знаходиться в рамці.

Необхідно переконатись, що символ в полі вказаний правильно і замінити його у випадку необхідності. Після цього треба клацнути на кнопці “навчання”.

Якщо неправильно вказані границі символу, то кнопки Зсунути вліво і Зсунути вправо, дозволять поправити положення рамки.

Якщо правильно розмістити рамку не вдається або в тексті зустрічається незнайомий символ, який правильно перекласти не можливо, слід клацнути на кнопці “Пропустити”.