Компьютерное зрение против коронавируса
Ранняя диагностика, социальная дистанция и собаки-роботы.
Covid-19 повлиял на все сферы жизни. Медицина оказалась не готова к таким нагрузкам. И пока люди привыкают жить в условиях «новой нормальности», разработчики создают алгоритмы computer vision, помогающие в борьбе с вирусом.
Разбираемся, как пандемия ускорила развитие технологий и как computer vision участвует в диагностике и предотвращении распространения Covid-19.
Машинное зрение видит расстояние и маски
Ношение масок и соблюдение социальной дистанции — ключевые правила, которые помогают предотвратить распространение вируса.
Правительства стали использовать компьютерное зрение, датчики движения и тепловизоры для контроля за исполнением правил в реальном времени. Системы видеонаблюдения на основе computer vision внедрили в США, Израиле, Сингапуре и Китае. Они проверяют, используются ли маски, дезинфекторы и перчатки. Компьютеры также определяют расстояние между людьми в зонах с высоким риском столпотворения.
Система интегрирована с IoT-устройствами. Сообщения о нарушениях могут транслироваться через динамики на улицах. Алгоритм также рассылает уведомления пешеходам (по email), если они не соблюдают социальную дистанцию.
Американская компания Numina, которая специализируется на мониторинге трафика с помощью видеоданных, создала инструмент, измеряющий расстояние между людьми на улицах и в помещениях мегаполисов. Система работает в содействии с патрульными, фиксирует движение пешеходов и трафика, помогает избежать аварий и борется с пандемией.
Правительство Вашингтона использует систему распознавания объектов YOLOv3 для идентификации людей без масок. Для повышения точности модели внедрили трансферное обучение. Алгоритм YOLOv3 создает условные рамки в пространстве, за границы которых нельзя переступать. Он устанавливает промежутки между рамками, пересчитывая физическое расстояние на пиксели и определяя допустимый предел.
В Китае стартапы SenseTime, Megvii и DeepGlint предложили похожие технологии, которые, помимо дистанции, также измеряют температуру людей в толпе. Алгоритмы анализируют цвет белков глаз, кожи и общее положение тела для определения вероятности заражения COVID-19.
Сингапурский AI Hub разработал приложение SafeDistancer. Оно превращает смартфоны жителей в устройства для соблюдения социальной дистанции,определяя расстояние между людьми. Разработчики отметили, что система не собирает личные данные.
Роботы-санитайзеры и роботы-патрульные
В Сингапуре по парку Бишан-Анг Мо Кио бегает робот-пес Spot от Boston Dynamics. Он следит за соблюдением социальной дистанции и ношением масок. Робот может развивать скорость до 20 км/ч и передавать сообщения.
Робот-полицейский P-Guard в Тунисе следит за соблюдением комендантского часа. По местным правилам жители не могут выходить на улицы без крайней необходимости. Роботов создала компания Evona Robotics. Они обнаруживают людей, ведут видеозапись улиц, отправляют сообщения в центральный офис. Робот развивает скорость до 13 км/ч.
В Токио заболевших с легкими симптомами обслуживают умные роботы. Они общаются с пациентами, говорят, куда нужно пройти в больнице, измеряют температуру, убирают мусор и дезинфицируют пространство вокруг.
В токийском метро пассажиров встречает робот-санитайзер. Он объезжает станции, самостоятельно дезинфицирует поверхности, отвечает на вопросы и улыбается.
В Украине также тестируют робота-патрульного для борьбы с пандемией. Его оснастили камерами и тепловизорами.
Вижу насквозь: ранняя диагностика
Азия
В конце 2019 года Китай столкнулся с экспоненциально растущим числом случаев неизвестной болезни в городе Ухань. Для определения штамма нового заболевания использовался ПЦР-тест слизистой. Но 30% тестов давали ложноположительный результат. При этом инкубационный период болезни составляет от недели до двух, и тесты часто оказывались бесполезными.
Из-за частых ошибок ПЦР-тестов Китай еще в первые месяцы пандемии стал искать другие способы быстрой диагностики. В клиниках внедрили алгоритмы BlueDot для анализа результатов КТ, разработанные Alibaba Group. Анализ снимков с помощью компьютерного зрения ускорил диагностику. Алгоритмы обрабатывают 200-400 изображений за 30 секунд.
Черно-белые снимки стали содержать больше информации, получили разметку, ярлыки, появилась автоматическая сортировка. Например, алгоритмы выделяют возможные патологии, опасные образования в тканях легких, определяют их злокачественность.
Для поиска потенциально пораженных областей используется алгоритм U-NET. Он имеет U-образную архитектуру с расширяющейся траекторией, что обеспечивает точную сегментацию и подходит для медицинских изображений.
На основании алгоритма U-NET доктор Ц. Чжоу разработал систему UNet ++. Ее цель — повысить точность сегментации за счет включения плотных блоков и слоев свертки между кодером и декодером. Это более гибкая система, которая помогает сбалансировать четкость анализа, точность сегментации и скорость обработки при меньших энергозатратах. Достоверность такого метода приближается к 96%.
В марте 2020 года компания Huawei и Научно-технический университет Хуачжон разработали более быстрый алгоритм ранней диагностики, чем U-NET ++. Он обрабатывает большую группу изображений за несколько секунд. Сервис Huawei iCloud предлагает мощные вычислительные возможности микросхем AI от Ascend. По заявлению компании, им удалось добиться 100% точности.
В Индии КТ-снимки анализирует алгоритм CAD4COVID, который можно установить на смартфоны врачей. Устройство способно считывать изображения компьютерной томографии и анализировать с помощью датчиков температуры, инерционных датчиков, сенсоров влажности. Технологию также используют для первоначального скрининга пациентов, анализируя фото.
Северная Америка
В мае 2020 года медики США начали использовать opensource-технологии компьютерного зрения с открытым исходным кодом. Например, Keras, GoogleNet и SqueezeNet от Google TensorFlow.
Как и в Китае, в Штатах чаще всего применяют сверточные нейросети. Популярной стала сеть AlexNET, которую обучили и улучшили для работы с медицинскими данными. Для тестирования модели используют два набора данных: КТ-изображения, содержащие клиническую информацию о положительном тесте на COVID-19, и КТ-изображения, где COVID-19 не подтвердился.
Одной из самых эффективных стала модель COVID-Net от Darwin AI (Канада) и Университета Ватерлоо. Это система генеративного анализа изображений грудной клетки, которая определяет тяжесть заболевания и предсказывает его течение. Набор данных, используемый для обучения COVID-Net, называется COVIDx и включает 16 756 рентгенографических изображений 13 645 пациентов. Алгоритм был разработан менее чем за неделю и опубликован в открытом доступе. Сейчас его используют в Канаде, США, Испании, Индии и Малайзии.
Модель обеспечивает точность 92,4% и чувствительность 80% для диагностики. Она помогает врачам решить, какую стратегию лечения использовать (в зависимости от причины). Эзз Эль-Дин Хемдан и другие специалисты предложили COVIDX-Net на основе семи различных архитектур, которые обучались на реальных случаях COVID-19.
Европа
Системы компьютерного зрения для диагностики и обслуживания заболевших разрабатываются в Швейцарском федеральном технологическом институте, Гейдельбергском университете Германии, в Университете Южной Дании и других.
Датские исследователи, например, создали роборуку, оснащенную компьютерным зрением, для тестирования на Covid-19. Манипулятором управляет компьютер, информацию с камер анализируют системы компьютерного зрения. Вся установка напечатана на 3D-принтере. Робот аккуратно берет мазок у пациентов, помещает материалы в пробирку и закрывает ее.
Французский стартап RealValue разработал алгоритм компьютерного зрения, который комплексно подходит к борьбе с коронавирусом. Проект победил на европейском хакатоне EUvsVirus. Команда предложила установить в городах умные боксы с камерами на базе Android, которые будут собирать информацию о социальной дистанции и измерять температуру. Компания также разработала другое устройство для работы в офисах и на заводах во время пандемии. Это аудиовизуальная система, состоящая из динамиков и камеры. Устройство подает сигнал, если люди стоят слишком близко (например, в очереди).
