Реально или виртуально? Чего мы ждём от 3D-видеонаблюдения

Магическое сочетание букв 3D, сокращение от "3-dimensional" (трёхмерный), за последнее десятилетие успело перекочевать из специального жаргона в обыденную речь. Появление трёхмерного кинематографа и телевещания окончательно утвердило факт того, что бинокулярное зрение человека возможно обмануть с помощью хитроумной техники, подсунув зрителю вместо реального объекта специально обработанную пару изображений — каждому глазу своё.

Сегодня изобретаемые маркетологами потребительского рынка термины неплохо приживаются и в профессиональных средах. Повсеместно распространившаяся аббревиатура HD (высокое разрешение) уже вовсю красуется на этикетках камер видеонаблюдения, чуть потеснив неплохо раскрученные в области бытовых фотокамер "мегапикселы". Придёт ли "такое красивое" 3D в область прикладного ТВ? Естественных предпосылок к этому, пожалуй, не наблюдается. Объёмная картинка сегодня скорее прихоть, чем необходимость: главной задачей видеонаблюдения всё ещё остаётся охрана. Поэтому рассчитывать на то, что через пару лет на отраслевых выставках вендоры примутся убеждать клиентов в преимуществах 3D-дисплеев, не приходится. Возможно, что стереоизображение найдёт себе применение в бизнес-приложениях — к примеру, в новейший пакет Necrosoft Office 3D будут включены объёмный текстовый (или уже гипертекстовый?!) редактор, кубические электронные таблицы и средство разработки трёхмерных презентаций PomerPoint 3D.

Однако утверждать, что видеонаблюдение останется в стороне от вездесущего "три-дэ", было бы неправильным. Одно из направлений развития охранных систем, светлое будущее которого не вызывает сомнений — многокамерное сопровождение целей (перемещающихся физических объектов). Такая система отслеживает и анализирует траектории людей и транспортных средств в пределах охраняемого объекта, а не в поле зрения какой-то отдельной камеры. Поскольку в реальных условиях локализация сопровождаемого объекта происходит с определённой вероятностью, система должна иметь определённую свободу в принятии решений без участия оператора — то есть обладать машинным интеллектом. Помимо сопровождения объекта, выделенного оператором системы, здесь может производиться и автоматизированный анализ траекторий на предмет выявления отклонений: нештатный маршрут, случайные перемещения в пределах определённой зоны, повышенная скорость движения и т.п.

В принципе, для большинства охраняемых объектов достаточно и "плоской" интерпретации траекторий. Даже если речь идёт о многоэтажном торговом центре, текущее положение цели может интерпретироваться на поэтажном плане. Однако в сложных системах, где приходится вести сразу несколько движущихся объектов, оператору намного легче ориентироваться на "объёмной" схеме. Здесь наиболее распространён способ интерпретации информации, в ряде источников называемый God’s view — "Божье око". Картинка в данном случае напоминает рентгеновский снимок объекта, на котором присутствуют контуры зданий и сооружений, их конструктивных элементов, мебели и оборудования (wireframe, "проволочная" интерпретация), а цели выделены контрастным цветом. Информации о массовых внедрениях таких систем на реальных объектах обнаружить не удалось, однако исследования в данном направлении идут полным ходом.

Так "Божье око" видит аэропорт в интерпретации системы C-Thru компании Panoptic

Интерпретация информации в описанных системах носит характер, обратный "дополненной реальности": здесь идёт речь не о дополнении реального мира воображаемыми объектами, а наоборот — о дополнении виртуальной реальности естественными объектами (точнее, их интерпретациями в 3D). Некоторые исследователи настаивают на термине "дополненная виртуальная реальность" (AVR, augmented virtual reality).

Возможности VR, используемые в системах безопасности, позволяют в определённых пределах варьировать точку нахождения наблюдателя. Однако задача принятия решений по ситуации здесь становится очень непростой: чтобы сохранить контроль над объектом, оператору приходится затрачивать значительные усилия на поддержание адекватной пространственной ориентации. Учитывая к тому же факт, что трёхмерная интерпретация реальных объектов в сцене не всегда соответствует реальной. Какими бы крутыми ни были камеры, оптика и кодеки — искажения при воспроизведении пока ещё неизбежны.

Схема динамического формирования среды отображения в дополненной виртуальной реальности (AVR)
(разработка Центра интегрированных медиа-систем Южнокалифорнийского университета, США, 2003 г.)

Одним из вариантов решения этой проблемы в будущем, несколько лет назад предложенных Институту инженеров-электронщиков IEEE группой голландских исследователей под руководством Гервина де Хаана, является использование визуализации "от первого лица" (egocentric view). Суть подхода состоит в том, что по модели объекта прокладываются виртуальные маршруты патрулирования с возможностью мгновенного переноса точки обзора в нужное место. Это позволяет заранее предусмотреть математику пересчёта выводимых на экран изображений с камер с учётом положения оператора на маршруте. Эксперименты учёных с "эгоцентрической" визуализацией позволяют предположить, что операторам охранных систем такая интерпретация обстановки на объекте покажется более привычной и приемлемой. Естественно, что при этом возрастают требования к точности установки камер.

Переход между камерными изображениями А и В при непрерывном ведении цели.
Картинки с камер накладываются на упрощённую 3D-модель объекта с учётом искажений перспективы.
Источник: G. de Haan et al. "Egocentric Navigation for Video Surveillance in 3D Virtual Environments"

На данном этапе разработки вышеописанная система способна работать лишь с фиксированными камерами видеонаблюдения. Однако принципиально возможно использование и высокоточных PTZ-устройств, а также разного рода датчиков, микрофонов и т.п. Это, по мнению авторов проекта, потребует некоторого усложнения пользовательского интерфейса, в частности, наложения на изображение дополнительной текстовой информации и/или разного рода графических индикаторов. Несмотря на то, что мы периодически встречаем такого рода решения в голливудских боевиках с участием боевых человекоподобных роботов, использование перегруженных информацией дисплеев живыми людьми пока ещё толком не изучено. Игроманы, естественно, не в счёт: не тот уровень ответственности.

При планировании и привязке многокамерных систем обычно отталкиваются от пространственной (3D-) модели охраняемого объекта. В ходе оснащения новых объектов эта задача решается относительно просто: проектирование зданий и сооружений в наши дни давно уже компьютеризовано, и получить от разработчика цифровую пространственную модель объекта достаточно просто. Интерпретация в трёхмерной графике сама по себе представляет интерес, поскольку по такой модели возможно не только выстроить систему видеонаблюдения, но и получить общее представление об уровне защищённости объекта. К примеру, наложив на модель объекта схему "мёртвых зон" датчиков (они есть у многих сенсоров, к примеру, у повсеместно распространённых пассивных инфракрасных), можно обнаружить уязвимости, снижающие эффективность защиты.

Ряд компаний на рынке безопасности предлагает средства моделирования объектов для качественной и количественной оценки эффективности существующих охранных систем, их модернизации и проектирования "с нуля". В частности, методика такой оценки разработана на базовой кафедре "Системы безопасности" МФТИ и описана в выпущенной издательством Security Focus книге Геннадия Шанаева и Андрея Леуса "Системы защиты периметра".

Система автоматизированного проектирования и оценки эффективности систем инженерно-технической защиты, являющаяся совместной разработкой компаний "Амулет" (Россия) и "Синезис" (Россия — Беларусь), использует трёхмерную графику на базе SketchUp — популярного приложения от Google, позволяющего не только построить 3D-модель, но и привязать объекты к карте местности с учётом рельефа. На модели объекта при помощи графического интерфейса размещаются камеры и иные компоненты систем, элементы охраняемого периметра, зоны угроз и т.п. При этом свойства физических компонентов могут задаваться в зависимости от параметров конкретного оборудования — например, угла зрения объектива или геометрии зоны обнаружения датчика. Поскольку оценка эффективности входит в единый комплекс со средствами разработки системы, проектные решения на основе такого САПР получаются более рациональными и технически обоснованными.

Тот факт, что математика позволяет извлечь из двухпотокового стереоскопического видео данные о пространственном положении объекта съёмки (собственно, центр зрения в нашем мозгу занимается этим постоянно), нашёл отражение и в системах безопасности на базе стереокамер. Это существенный шаг вперёд по сравнению с "плоскими" системами, поскольку результаты измерения расстояний, направлений и скоростей перемещения объектов в 3D-системе обладают намного большей достоверностью. Намного "круче" в таких решениях и видеоаналитика: например, зоны детектирования здесь уже не плоские, а объёмные. Объёмными являются и зоны, исключаемые из процесса видеомониторинга (т.н. приватные области).

При наличии соответствующей математики такая система может взять на себя и функцию классификации (распознавания) объектов, а также анализа их поведения. 3D-видеоаналитика сегодня находится на острие прогресса, и к подавляющему большинству разработок в этом направлении доступ существенно ограничен. Тем не менее, есть и российские разработчики, активно эксплуатирующие возможности трёхмерного видео. В частности, компания "Новые технологии" из подмосковного Протвино, хорошо известная в отрасли по бренду CVS, относительно недавно реализовала систему "CVS Виртуоз", в которой реализованы принципы "объёмной" охраны.

Пример 3D-видеодетектора: зона контроля задаётся в виде объёмной фигуры

Рабочая реализация 3D-видеодетектора позволяет решить одну из самых "больных" проблем видеоаналитики — перспективные искажения. Плоские видеодетекторы в ходе настройки на конкретные классы объектов приходится усложнять разного рода средствами и процедурами учёта перспективы. В частности, разницы в пиксельных размерах объектов- "одноклассников" на переднем и заднем плане. Ещё одно явное преимущество стереодетекторов — возможность задания зон таким образом, чтобы система не реагировала на тени и блики от источников света. Для этого в большинстве случаев достаточно разместить зону детектирования на некотором расстоянии от поверхности, на которую могут ложиться блики и тени. Цитируем с сайта разработчика: "3D видеодетектор исключает ложные срабатывания от "объектов, не имеющих объёма".

Стереокамера и объёмный детектор движения компании "Новые технологии" впервые были продемонстрированы отраслевой общественности на питерской выставке SFITEX несколько лет назад. 3D-мониторы тогда ещё были недоступны, поэтому желающим побаловаться стереокартинкой предлагались красно-синие очки. Однако, как мы упоминали выше, бинокулярное отображение в системах видеонаблюдения вряд ли имеет серьёзные перспективы с точки зрения эксплуатации. А вот объёмная видеоаналитика — наоборот, по мнению многих отраслевых экспертов, становится всё более привлекательной. Первые системы 3D-видеонаблюдения находятся сегодня в стадии испытаний. В частности, экспериментальная CVS-3D, по утверждению разработчиков, "бьёт" традиционное видеонаблюдение по всем показателям. Учитывая тенденцию к падению цен на электронные компоненты, возможно появление вполне доступных по цене коммерческих систем стереовидеонаблюдения уже в ближайшие несколько лет.

Впрочем, здесь может подстерегать одно "но". Рискуя делать прогнозы на будущее, мы иногда забываем о том, что перспективы 3D-видеонаблюдения (да и видеонаблюдение вообще) во многом зависят от поведения активной части социума. Правозащитники, постоянно добивающиеся введения всё новых и новых законодательных ограничений на использование видеонаблюдения в цивилизованных странах, представляют достаточно серьёзную угрозу гладкости и плавности развития этого сектора охранной отрасли. Вполне вероятно, что к моменту становления трёхмерного видео сумма ограничений окажется такой, что переходить на 3D будет менее выгодным, чем использовать альтернативные методы оценки оперативной обстановки.

Ряд перспективных разработок, основанных на альтернативных способах распознавания активности в контролируемых зонах, освещается и в открытой печати. В частности, несколько лет назад на проводимом Международной комиссией по атомной энергии семинаре-мастерской группа португальских исследователей, работающих под крышей Объединённого исследовательского центра при Еврокомиссии, представила проект системы охранного наблюдения, основанной на сканировании сцены лазерным лучом. Исследователи исходили из традиционного набора претензий к видеосистемам, в частности, их неустойчивости к перепадам освещённости сцены, уязвимости камер как визуально идентифицируемых средств наблюдения и неспособности обычных моделей камер улавливать слабые изменения в сцене (к примеру, из-за недостатков оптики, разрешения матрицы и т.п.). Более того — при наличии желания и/или финансирования вполне возможно изобрести набор технических средств, позволяющих подсунуть камерам видеонаблюдения "дурилку картонную".

Слева — пример "машинной оптической иллюзии" — иными словами, обман видеокамеры при помощи точного расчёта перспективы. Справа — секрет этого трюка, иллюстрирующего серьёзную уязвимость плоского видеонаблюдения

Возможно, авторы презентации, откуда мы позаимствовали пару снимков, чуть сгустили краски. Однако рациональное зерно в этом подходе есть: в конце концов, почему мы судим о перемещениях трёхмерных объектов в трёхмерном пространстве не по абсолютным величинам перемещений, а по сдвигу пикселов на полученном при помощи камеры плоском изображении? Есть ли альтернатива? Пожалуйста: просканировав сцену лучом лазерного дальномера, мы можем получить достаточно точную интерпретацию сцены — если само сканирование организовано на манер телевизионной развёртки, построчно. На момент написания попавшего в наше распоряжение отчёта прототип системы состоял из промышленного лазерного сканера общего назначения, блока управления и планшетного ПК. Максимальное расстояние между сканером и обнаруживаемыми объектами составило 10 метров, а точность измерения — 2,5 см при частоте сканирования 13 000 замеров в секунду.

Начинание, несомненно, представляет собой интерес, но на ранних стадиях развития этой технологии нет смысла говорить о том, что она окажется в состоянии вытеснить традиционное видеонаблюдение. Тем не менее, система показала себя защищённой от ложных срабатываний, а задержка поступления информации оказалась почти нулевой. К тому же применение инфракрасных лазеров ничем себя не выдаёт на охраняемом объекте. Все основания думать, что у лазерного 3D есть определённые шансы войти в практику охраны.

Работающий прототип системы объёмного лазерного сканирования,
разработанной по руководством Витора Секейры (Португалия)

Что будет происходить с 3D в ближайшей перспективе, судить трудно. Говоря словами одного из отечественных экспертов, "границы предметной области размыты". Вокруг трёхмерного видеонаблюдения периодически возникают и утихают шумихи. Последняя из них связана с курьёзной историей. Подразделение перспективных научных исследований Пентагона DARPA примерно год назад публично заявило о своём интересе к разработкам в области трёхмерного видеонаблюдения. Сообщалось, в частности, о том, что военное ведомство особо заинтересовано в портативных системах для применения в полевых условиях, а также в системах авиационного базирования для размещения на беспилотных разведывательных "дронах". Все предложения должны были быть основаны на принципиально новых подходах к формированию видеоизображений, позволяющих отслеживать движущиеся цели в автоматизированном режиме. Комментаторы Wired по этому поводу ёрничали: мол, генералы насмотрелись голливудской кинопродукции. За прошедший год в печать просочился только один факт обращения в DARPA с конкретным предложением: некая австралийская исследовательская компания, почерпнувшая прототип своего самолёта-разведчика в художественном фильме "Аватар", выцыганила из федерального правительства 1 010 000 долларов финансирования на систему 3D-видеонаблюдения "типа как в игре Doom".

Вполне вероятно, что на заре "плоского" видеонаблюдения первоначальной идее точно так же пришлось прорываться через стену непонимания и сарказма. Очень хочется верить в то, что все явные преимущества трёхмерного видео смогут найти реализацию в охранных системах. В противном случае отставание реальной жизни от фантастики станет совсем уж невыносимым. n

Fraunhofer принимает вызов

Институт прикладных информационных технологий Fraunhofer, расположенный в германском Санкт-Августине, в настоящее время в рамках проекта SEARISE разрабатывает систему видеонаблюдения на базе сверхактивных стереокамер. Первая информация о ходе работ появилась в нашей газете около года назад. На сегодняшний день уже можно говорить о том, что система способна работать в режиме, приближенном к человеческому зрению. Имеется в виду не только формирование бинокулярной "картинки", но и способность почти мгновенно фокусировать внимание на разного рода нештатных событиях, выделяя их из постоянно изменяющегося фона. Однако сходство с человеческим зрением на этом не исчерпывается: помимо новаторской аппаратной части, участники проекта реализовали и уникальный аналитический софт, способный принимать решения в логике, более свойственной живым организмам, чем компьютерным программам.

Камерный блок системы Smart Eyes в рабочем положении на штативе.
Вопросы защиты от атмосферных воздействий пока, очевидно, не рассматриваются.

В отличие от живой 3D-системы, техническое решение системы потребовало тринокулярного зрения: камера общего плана устанавливается неподвижно, имитируя "подсистему" периферийного зрения приматов. А пара стереокамер, оборудованная сверхскоростным прецизионным позиционером, практически мгновенно переводит машинный взгляд на источник подозрительной активности.

Вызов, поставленный перед исследовательской группой, достаточно жёсток: на протяжении более чем десятилетия полиция стран мира стремится предотвратить массовые беспорядки среди болельщиков на спортивных аренах. Американский Союз гражданских свобод недавно обнародовал информацию о том, что полиция штата Флорида официально отказалась продолжать секретные испытания систем видеонаблюдения на футбольных матчах в связи с бесперспективностью предложенных решений.

Аналитический софт, в настоящее время совершенствуемый в рамках проекта Smart Eyes, в состоянии отличить обычное спокойное поведение болельщиков от мордобития на трибунах. При этом ПО не реагирует на размахивание флагами, вскакивание с мест и прочие относительно безопасные для окружающих эмоциональные проявления. Доктор Марина Колесник, исследователь из лаборатории Fraunhofer-Института в Шлосс-Бирлинховене, считает, что в некоторых ситуациях возможности живого наблюдателя весьма лимитированы: "Операторы слишком быстро устают, особенно в условиях обилия мелких деталей и интенсивной активности в сцене наблюдения. А наша система просто неоценима для наблюдения за местами массового скопления людей".

Фото трибун стадиона в рабочем ракурсе (вверху) и результат распознавания шаблонов формы системой Smart Eyes (внизу). Пустые кресла софт окрашивает красным, сидящих болельщиков — тёмно-зелёным, лестницы — светло- зелёным, всё прочее — фиолетовым

Выделение шаблонов опасного поведения, на базе которого работает видеоаналитика, свободно от проблем, обычно возникающих при попытках контролировать поведение толпы при помощи 2D-видеонаблюдения: пересечение контуров объектов, интерпретация расстояний и коллизий в сцене. Однако на сегодняшний день система потребляет весьма высокие вычислительные мощности, что требует применения специально разработанных графических адаптеров.