По-настоящему высокие нагрузки. Как организовать хранение архива в системе HD-видеонаблюдения?

Популярно мнение, что HD -- следующий виток восходящей спирали технологического развития охранных систем видеонаблюдения, а не одна из эффектных продающих "фишек". Если так, то будущий график доли продаж HD-продуктов станет традиционной S-образной кривой. Но его длину и высоту пока мало кто берется предсказывать -- слишком редко такие долгосрочные прогнозы точно сбываются.

"Высокая четкость" уже повсеместно в быту: в гостиных и спальнях, на ноутбуках, в видеокамерах и даже сотовых телефонах. "HD становится новым "стандартным разрешением". Это та технология, о которой вам не надо рассказывать покупателям -- они сами об этом спрашивают", -- говорит Винс Скарпелли, ADT.

Любое обсуждение видеонаблюдения высокой четкости в итоге сводится к разговору о накопительных емкостях и ширине полос пропускания. Действительно: перед вами стоит задача не только хранения больших объемов видео, но и трансляции их на операторские терминалы или в сеть конечного пользователя услуги.

Если пропускные и вычислительные мощности сетевого оборудования недостаточны, то вы столкнетесь с потерей пакетов данных. В видеоархиве будут зиять дыры.

Важно, чтобы элементы вашей сетевой инфраструктуры были достаточно производительны. Увы, нет универсальных критериев мощности, например, Ethernet-коммутаторов. Неопытный интегратор может выбрать дешевый бытовый свитч -- ведь требуемое количество стомегабитных портов в нем имеется, так что еще надо? Если нет опыта, то вам может помочь изучение описаний нагрузочных тестов из авторитетных технических изданий.

С другой стороны, есть такие продукты, которые специально позиционируются производителями и дилерами как оборудование инфраструктуры IP-видеонаблюдения. Коммутаторы и маршрутизаторы промышленного уровня могут стоить до десяти раз больше, чем дешевые коробочки для домашних сетей.

Джефф Уитни, вице-президент по маркетингу компании Intransa, указывает на еще один подводных камень. В списке служебных программ вашего компьютера наверняка есть утилита для дефрагментации диска, и мы не сомневаемся, что читатели нашего журнала не забывают регулярно ей пользоваться. Но если вы забыли, зачем это нужно, напомним.

Пространство всех накопителей с произвольным порядком чтения и записи разбито на небольшие фрагменты -- кластеры. Когда один файл записан в кластеры, расположенные на накопителе рядом друг с другом, он читается быстро. Если же кластеры физически расположены далеко друг от друга, то чтение будет медленным. Про файл, "разбросанный" по диску, говорят, что он сильно фрагментирован.

Причем здесь видеонаблюдение? В большинстве охранных видеосистем архив записывается циклически: самое новое видео записывается поверх самого старого. Запись архива по кругу приводит к сильной фрагментации файлов с данными, и из-за этого снижается скорости и чтения, и записи.

Дефрагментация решает эту проблему. Но этот процесс выполняется долго, и пока он происходит, работать с диском практически невозможно. Если в системе видеонаблюдения, работающей круглосуточно семь дней в неделю, используется один жесткий диск, то вы не сможете выполнить дефрагментацию.

Однако, не стоит придавать этой проблеме чрезмерное значение. Она актуальна для систем видеонаблюдения, запущенных на персональных компьютерах или видеорегистраторах начального уровня. Современные системы хранения данных и многие контроллеры RAID-массивов обладают мощной внутренней логикой, которая выполняет дефрагментацию "на лету".

Промышленный уровень и выше

А как происходит хранение информации в действительно больших системах HD-видеонаблюдения? Многие крупные корпоративные пользователи и охранные компании, предлагающие своим клиентам услуги удаленного мониторинга, приходят к созданию выделенных сетей хранения данных (SAN, storage area network). Это отдельная вычислительная сеть, через которую не проходит никакого стороннего трафика.

Сеть хранения данных объединяет различные физические ресурсы -- видеорегистраторы и сетевые хранилища (NAS) -- в один общий дисковый массив. В такой системе обычно реализуется блочный подход вводу-выводу, который быстрее традиционного файлового подхода. Чтение и запись происходят напрямую из кластеров: за счет отказа от одного уровня абстракции -- файловой системы -- удается повысить производительность всего решения. С другой стороны, компьютер (чаще всего, сетевой видеорегистратор) "видит" распределенную сеть хранения так, как если бы это был один локальный жестких диск, и обращается к блокам данных в нем, как будто это кластеры его собственного накопителя.

Связь между узлами сети хранения данных реализуется с помощью технологии Fibre Channel (FC, "волоконный канал"). FC -- протокол транспортного уровня в модели OSI, такой, как, например, TCP или UDP. "Волоконный канал" специально создан для операций с блоками данных в SAN. По существу, он обеспечивает быструю передачу SCSI-команд по сети. Однако, такие решения, как бы то ни было, очень дороги. Чтобы спроектировать, развернуть и обслуживать FC-сеть, требуются специальные знания и навыки, которые можно получить на весьма дорогостоящих курсах.

Однако, у этой технологии есть более доступная альтернатива. Internet SCSI (iSCSI) -- отраслевой стандарт, обеспечивающий передачу управляющих команд SCSI в существующей TCP/IP-сети. Напомним, что SCSI (читается "скази") -- физический интерфейс локального подключения жестких дисков и других устройств по единой шине. Кроме "чистого" физического SCSI, распространены его логические реализации через IDE- и SATA-шлейфы, через USB-порт и, как было только что сказано, через TCP/IP-сеть.

iSCSI стал технологическим прорывом: стандарт позволил не развертывать отдельную FC-сеть, а использовать одну и ту же инфраструктуру для обычного трафика и для блочного хранения данных.

Вы привыкли разбивать один физический жесткий диск на несколько логических дисков. В сетях хранения данных и iSCSI-хранилищах все наоборот: несколько (или даже сотня) жужжащих "винчестеров" могут образовывать один логический диск. Адрес дискового устройства в таких системах называют "номером логической единицы" (LUN, logical unit number) -- этот термин пришел напрямую из спецификации SCSI.

Так или иначе, практически во всех вышеперечисленных решениях используются RAID-массивы жестких дисков (акроним переводится как "Избыточный массив независимых дисков"). Калифорнийский университет Беркли представил следующие уровни спецификации RAID, которые существенно отличаются друг друга, и обеспечивают различную степень избыточности данных.

В RAID 0 нет никакой избыточности данных: блоки информации записываются поочередно и равномерно на все диски массива. RAID 1 обеспечивает простое "отзеркаливание" информации: у каждого диска массива есть один его полный "близнец". В RAID 2, 3, 4, 5, 5EE, 6, 7 и 10 используются различные алгоритмы коррекции ошибок с помощью избыточности: если все эти технологии рассматривать подробно и с математическим обоснованием, то это потребует материала объемом в отдельную книгу.

Если один диск RAID-массива выйдет из строя и данные на нем пропадут, это не приведет к потере какой-либо информации: исчезнувшие байты будут динамически вычислены с помощью корректирующих кодов. Выбор типа RAID-массива определяется на основе эксплуатационных требований к системе видеонаблюдения.

Например, решение предполагает круглосуточную запись потоков HD-видео семь дней в неделю. Приложение подпадает под нормативные требования, предполагающие административную ответственность за потерю данных архива (например, это аэропорт, тюрьма или казино). Предполагаемая емкость архива исчисляется в петабайтах -- регулирующие нормы настаивают на длительном периоде хранения. Одновременное количество потоков записи больше ста. Вне зависимости от состояния RAID-массива система должна обеспечивать минимально допустимый уровень производительности -- например, во время обслуживания.

Для такой системы лучшим выбором будет RAID 6: там данные защищаются двумя контрольными суммами, рассчитываемыми по разным алгоритмам. Система будет оставаться работоспособной даже в случае одновременного выхода из строя двух жестких дисков.

Многообразие архитектур

Применение двухуровневой архитектуры может сделать вашу систему видеонаблюдения более надежной и более дешевой. Как это работает?

Первоначально отснятый видеонаблюдением материал записывается на жесткий диск "первого дня", который быстрее и надежнее дисков для длительного хранения. Ведь критически важные происшествия будут расследованы, скорее всего, сразу. Обычно для диска "первой ступени" применяется SCSI-устройство: SCSI-диски специально разрабатываются для интенсивной записи.

Скорость вращения SCSI-"винчестера" обычно 15 тысяч оборотов в минуту (против 7200 у SATA). У него меньше время задержки на один цикл доступа. SCSI-диски лучше противостоят вибрациям, у них более высокое среднее время наработки на отказ, и меньше показатель битовых ошибок (BER). И они обычно поставляются с как минимум пятилетней гарантией.

SCSI-диски лучше подходят для высоконагруженных приложений с большим количеством камер и там, где надежность и производительность важнее стоимости и емкости. "Винчестеры" SATA более уместны там, где запись производится не постоянно, а событийно, и для длительного хранения в RAID-массивах.

Недавно была разработана технология, позволяющая подключать SСSI-диски к последовательному контроллеру SATA. Она называется SAS -- Serial Attached SCSI. Раньше вы не могли объединить два разных типа "винчестеров" в одном сервере; теперь вам ничто не мешает использовать SCSI-устройства в качестве основных дисков вашего RAID-массива, а контрольные суммы корректирующих кодов писать на SATA-диски. Или, например, использовать SATA-диски в качестве зеркал для SCSI-устройств. Технология SAS позволяет уменьшить общую стоимость владения, и обеспечивает превосходную масштабируемость.

Не только хранение

Надо определиться, предполагает ли система постоянный круглосуточный операторский мониторинг. HD-видео требовательно не только к пропускной способности каналов, но и к ресурсам процессора воспроизводящей рабочей станции. А если к мониторинговой станции подключено несколько дисплеев, и должны транслироваться изображения от четырех, шести или девяти камер?..

Одновременное отображение HD-потоков со всех камер системы видеонаблюдения высокой четкости -- чрезвычайно затратная задача. А если кто-то обещает вам HD-мониторинг с полной кадровой скоростью через Интернет, не верьте -- это просто не будет работать. На это обращает внимание Билл Лоуренс из ADT.

Но, может быть, это и не нужно? Все преимущества HD на полной кадровой скорости раскрываются при ретроспективном анализе записанного материала, когда есть возможность просматривать запись тщательно, кадр за кадром. При мониторинге реального времени оператор все равно не успеет разглядеть мелкие, быстро промелькнувшие детали. Поэтому для операторской работы будет достаточно транслировать изображения в уменьшенном разрешении и/или с неполной кадровой частотой.

"Вы можете использовать видеоаналитику для выделения тех событий, которые вы хотите записать в архив или просто тщательно изучить. Аналитика -- хорошее решение для облачного сервиса. При передаче в "облако" некоторых событий канал будет использоваться спорадически, и вы сможете параллельно использовать его для прочей работы в Интернете. Само собой, вы также значительно сэкономите место в облачном хранилище", -- считает Лоуренс.

Скарпелли придерживается такой же точки зрения. По его мнению, именно совершенствование видеоаналитики стало одним из ключевых факторов, подстегивающих отрасль к переходу на HD. "После пяти-шести лет стагнации, когда маркетинговая шумиха заменяла фактические достижения, наступил долгожданный прорыв в области аналитических видеорешений. В течение последних шести месяцев появилось несколько зрелых, полезных на практике продуктов, которые работают достаточно хорошо", -- уверяет он.

И эта видеоаналитика неуклонно сдвигается на периферию систем видеонаблюдения -- то есть к камерам. Их вычислительные мощности продолжают расти, а твердотельная память -- дешеветь. Интеллектуальные возможности камер разгружают систему хранения данных: задача обработки асинхронных видеофрагментов требует куда меньше ресурсов, чем одновременная запись видеопотоков высокого разрешения. Общая стоимость системы может уменьшиться из-за этого в несколько раз. Возможно, настало время пересмотреть эксплуатационные требования?

При использовании материалов журнала Security Distribution & Marketing