Кто и как работает с открытыми данными в Украине

Десятки украинских проектов в разных сферах — от транспорта до agrotech — используют open data, помогая бизнесу и обществу. Часто за открытие данных приходится бороться, а доступную информацию — обрабатывать вручную. 

Вместе с Евгенией Клепой, исполнительным директором 1991 Open Data Incubator, Алексеем Иванкиным, основателем сервиса «Опендатабот», и Юрием Томиным, аналитиком и compliance officer проекта YouControl, разбираемся, как стартапы, госсервисы и социальные проекты используют открытые данные. 

Что такое оpen data
 

Открытые данные — это публичная и бесплатная для использования информация в формате, который позволяет автоматически ее обрабатывать. Например, информация из госреестров, список государственных чиновников, состояние поверхностных вод на территории страны, сведения о ЖКХ. Концепция open data делает прозрачными действия бизнеса и власти. 

Открытые данные помогают справиться с политическими, социальными, экологическими и экономическими проблемами. Например, британский проект Check That Bike проверяет, не украден ли велосипед, который выставлен на продажу. Также открытые данные в мире используют для измерения и контроля выбросов углекислого газа. 

В 2019 году в ЕС приняли директиву, призывающую страны открывать некоторые госданные и упрощать к ним доступ. 

Принципы работы с открытыми данными: 

• доступность и читаемость, 
• разрешение повторного использования.
• доступ для всех. 

Чтобы с ними было легко работать, наборы открытых данных должны быть унифицированы. 

«Открытость» Украины: проблемы с доступом
 

В 2019 году Украину признали одной из самых «открытых» стран. Она заняла 31 место из 94 в рейтинге Global Open Data Index. 

Наборы открытых данных в Украине собраны на портале data.gov.ua. Самые популярные: 

• сведения о транспортных средствах и их владельцах, 
• реестр юридических, физических лиц-предпринимателей, 
• реестр судебных решений за 2019 год.

Евгения: «Многие данные в Украине еще закрыты. Открытые же доступны в таких форматах, которые невозможно обработать автоматически. Часто госструктуры вместо базы данных присылают пачку pdf-документов. 

Чтобы изменить ситуацию, opendata-комьюнити и государство должны сотрудничать. Именно команды стартапов борются за открытие данных, их обновление и унификацию.

Пример — чатбот LvivCityHelper. Он предоставляет львовянам информацию об общественном транспорте, обслуживании многоквартирных домов, запланированных ремонтах. Команда чатбота вручную обрабатывает данные, полученные от властей. 

На старте работы команда вручную приводила к машиночитаемому виду из pdf перечень капитальных ремонтов муниципальных объектов. Следующее обновление вышло в Excel, и структура таблиц отличалась. Так часто бывает: базу данных приходится расшифровывать вручную, а обновление перечеркивает работу».

Алексей: «"Опендатабот" бьется с государством за открытие данных. Каждый новый открытый реестр — это не только победа для продукта, но и развитие всей экосистемы. Этим реестром потом могут пользоваться журналисты, ГО, активисты, создатели других продуктов».

Проблемы украинских открытых данных — невалидность и разрозненность, отсутствие стандартов и единого механизма поиска.Требования к структуре типовых наборов данных и рекомендации к описанию метаданных еще не разработаны.

Юрий: «YouControl — сервис для проверки контрагентов бизнеса. Он помогает анализировать рынки, проводить деловую разведку и журналистские расследования. 

Нам крайне важна интероперабельность — возможность легко комбинировать данные из разных реестров. Но часто у данных в реестрах разные форматы, способы внесения. Сводить их между собой — сложная задача. Например, вместо украинских букв “І” и “С” пишутся латинские “І” и “С”, что для человека выглядит одинаково, но программой воспринимается по-разному. Также различается написание апострофов. 

В реестре ЕГР сталкиваемся с разными форматами написания адреса и старыми названиями вместо новых (например, “Кировоград — Кропивницкий”). В реестре МВД информация о людях в розыске публикуется по-русски».

Реестры обновляют информацию с разной периодичностью. Одни — каждый день, (утерянные паспорта, люди в розыске), другие — раз в месяц с двухнедельной задержкой. Записи могут появляться и исчезать. Недавно команда YouControl обнаружила, что на портале пропали данные за 2 года (с июня 2016 года по август 2018). Ссылки на наборы есть, но при переходе выдается ошибка.

Проблемы есть и со значениями данных. В Украине нельзя называть юрлица одинаково. Но совпадения встречаются. Например, в госреестре 12 юрлиц с названием «Споживче товариство “Мрія"». Более того, существуют юрлица с одним кодом, который должен быть уникальным идентификатором (так, по коду 34563104 можно найти два юрлица). 

Постановлением Кабмина № 835 зафиксированы принципы политики открытых данных, определен перечень данных к публикации. Но в постановлении не закреплены ответственные лица. Когда с набором данных что-то не в порядке — не к кому обратиться, чтобы изменить ситуацию. Среди «проблемных» наборов — лицензионный реестр МОЗ, данные земельного госкадастра, реестр транспортных средств, реестр юридических лиц Минюста.

Open data на практике
 

Открытые данные используют для создания новых продуктов, карт и рекомендаций, для решения бизнес- и производственных задач.

Евгения: «Популярные направления opendata-стартапов — транспортные, образовательные, юридические сервисы, антикоррупционная деятельность, работа муниципалитетов. Выделяются в кластеры также agrotech и экосервисы». 

Рассказываем о четырех проектах в разных сферах.

#1. Социальное влияние: карта «коронавирусных закупок»

Во время пандемии госучреждениям разрешили закупать медицинские товары в ускоренном порядке. Чтобы снизить коррупционные риски, в Prozorro создали «Карту коронавирусных закупок», которая обновляется в режиме реального времени. Она охватывает всю Украину и рассказывает, на какие товары и услуги потратили деньги налогоплательщиков. Можно искать закупки по названию / адресу учреждения или выбирать на карте конкретную организацию. Например, карта показывает, что Киевская городская детская больница №6 закупила средства для дезинфекции на 6 602 грн.

Источник: covid.shtab.net

#2. Экология: бот для мониторинга качества воздуха

Днепровские активисты запустили первый в Украине Telegram-экобот SaveEcoBot. Он дает информацию о качестве воздуха, а также предупреждает об опасном уровне загрязнений. Интерактивная карта на сайте проекта показывает измерения в режиме реального времени.

Источник: saveecobot.com

#3. Экономика: налоговая отчетность в «Опендатаботе»

Каждый частный предприниматель должен подавать отчетность в налоговую службу вовремя. Иначе он рискует получить штраф или лишиться статуса плательщика единого налога. Кроме того, многие ФОПы работают не по месту регистрации, а визит в налоговую может быть долгим. 

С 2019 года пользователи «Опендатабота» могут подать отчетность через мессенджеры: Telegram, Viber и Facebook Messenger. Другая полезная фича сервиса — мониторинг статуса налогового долга и единого налога для ФОПов.

Выбор раздела в Telegram-боте 

Алексей: «Бизнес, который следит за открытыми госданными, может вовремя распознать рейдерство, перестать работать с сомнительными бизнес-партнерами, проверить персонал, узнать про штрафы и санкции. 

Открытые данные можно использовать по-разному. Например, CRM-системы, банки используют “Опендатабот” для улучшения клиентского сервиса. Многим данные помогают автоматизировать процессы и исключить человеческие ошибки». 

Так, чатбот «Райффайзен Банк Аваль» направляет налоговые отчеты ФОПов и получает квитанции из налоговой об успешной подаче. Кроме того, чатбот банка автоматически напоминает клиентам подать следующий отчет в нужный срок.

#4. Политика: скоринг коррупционных рисков Anticorrupt

Общественная организация «Відкрита влада» и проект SAPPHIRE разработали интерактивную доску для антикоррупционных расследований. 

(Ред. — SAPPHIRE — программное ядро, которое распознает, нормализует, структурирует и объединяет открытые данные разных форматов на разных языках в единую базу данных. Полученная база работает по принципу теории графов).

Алгоритм рассчитывает потенциальную склонность человека к коррупции. Индекс сходства с коррупционерами выводится по параметрам электронных деклараций и других документов. Сервис проявляет паттерны и аномалии в данных, находит совпадения и определяет уровень риска.

Источник: пресс-релиз проекта «Відкрита влада»

Разработчики сервиса говорят, что Anticorrupt можно будет применить для проверки кандидатов на должности в бизнесе и госструктурах. В 2019 году сервис стал финалистом конкурса стартапов, который проводит 1991 Open Data Incubator, — Open Data Challenge.