Что такое фильтрация контента

Контентная фильтрация: зачем и как это делать

Привет, Хабр! Сегодня мы поговорим о фильтрации интернет-контента. Три года назад вступил в силу федеральный закон 139-ФЗ, дополнивший уже принятый 436-ФЗ «О защите детей от информации, причиняющей вред их здоровью и развитию». В соответствии с российским законодательством, доступ в интернет в школах возможен лишь «при условии применения административных и организационных мер, технических, программно-аппаратных средств защиты детей от информации, причиняющей вред их здоровью и (или) развитию». Другими словами, закон требует обязательной фильтрации интернет-контента. Добро пожаловать под кат.

Возможно, кто-то считает, что это исключительно российская новация. Вовсе нет. Практика фильтрации контента давно есть во многих странах, делается это по-разному. Например, во Франции министерство народного образования запустило автоматизированную и централизованную фильтрацию контента в школах на основании двух «чёрных списков»: в первом списке – порнографические ресурсы, во втором – расистские и антисемитские сайты. Он составлен в соответствии с общеевропейским проектом по развитию безопасного интернета (Safer Internet Action Plan).

В США «Акт о защите детей от интернета» был принят еще в 2001 году. Для фильтрации используются коммерческие фильтрующие программные пакеты, а в некоторых штатах — блокирование IP-адресов на уровне провайдера.

В Канаде в рамках проекта «Чистая связь» с 2006 года провайдеры, добровольно участвующие в программе, блокирует переход по ссылкам из «черного списка», который формируется аналитиками Канадского центра по защите детей (Canadian Centre for Child Protection). Провайдеры сами решают, как блокировать контент — по IP-адресу или доменному имени, а Sasktel BellCanada и Telus принципиально блокируют только ссылки, чтобы избежать случайного блокирования ресурсов, не содержащих запрещенного контента.

Большинство поисковых систем в Германии — Google, Lycos Europe, MSN Deutschland, AOL Deutschland, Yahoo!, T-Online и T-info — присоединились к соглашению «Добровольный самоконтроль для мультимедийных сервис-провайдеров». Они фильтруют интернет-сайты на основе списка, который определяется Федеральным департаментом по медиаресурсам, вредным для молодежи.

Контентная и url-фильтрация необходима не только в библиотеках, школах и университетах, где делать это нужно обязательно.

Уже давно большинство компаний старается закрыть доступ к развлекательным ресурсам и социальным сетям для своих сотрудников. Нет нужды объяснять — почему. С другой стороны, делать это необходимо с умом. Ведь доступ к Facebook и LinkedIn для HR, PR и сотрудникам отдела продаж нужен для повседневной работы. Да, полностью закрыть доступ к ресурсам, которые в компании считаются нежелательными для посещения, нельзя. Можно обойти эти запреты, выходя в интернет со смартфона или планшета. Но хотя бы не через корпоративную сеть.

Для простоты рассмотрим настройки фильтрации контента на примере обычной школы. Настройка модуля NetPolice и правил пользователей по типу, группе и категории для любой другой организации происходит аналогично.

Что нам нужно сделать? Запретить для всех доступ к сайтам из списка Росреестра, настроить школьникам доступ только по разрешенным категориям, а учителям — доступ по всем категориям, кроме запрещенных.

1. Начинаем с создания групп пользователей. В нашем случае это группы «Учителя» и «Школьники». Разумеется, в компании необходимо будет создать больше групп: «Руководители», «Сотрудники», «PR», «HR» и так далее. Принцип создания групп пользователей тот же, что и в нашем примере.

Для создания группы пользователей переходим в раздел консоли управления «Пользователи и группы». В блоке «Пользователи и группы» во вкладке «Действия» нажимаем на ссылку «Добавить группу»:

2. Сначала создаём группу «Учителя»:

3. Теперь создаём правила для пользователей при помощи модуля NetPolice. В консоли управления переходим в раздел «Модули расширения – NetPolice – Правила» и добавляем его:

4. Называем правило «Запрет по категориям (учителя)» и выбираем категории запрета:

5. создаём пользовательское правило и выбираем тип правила «Запретить доступ»:

6. В настройке правила выбираем группу «Учителя». На этом настройка для этой группы завершена:

7. Теперь переходим к созданию правил для группы «Школьники». Сначала (пусть это не покажется странным) нам необходимо запретить доступ ко всем ресурсам:

7. Добавляем правило, разрешающее пользователям работу с DNS (53 порт), чтобы выход в интернет был возможен. Для этого создаём правило «DNS-клиент», выбираем протоколы TCP/UDP и изменяем диапазон портов назначения на 53 порт:

8. Теперь добавляем пользовательское правило, разрешающее ученикам просмотр сайтов:

9. В отличие от группы «Учителя», которой разрешено посещать любые ресурсы, кроме запрещенных, пользователи из группы «Школьники» могут попасть только на определенные интернет-ресурсы:

10. Создаём новую категорию и подтверждаем автоматическое создание нового правила на разрешение:

11. И, наконец, настраиваем правило для работы с группой «Школьники».

12. Возвращаемся к настройкам групп пользователей, ведь нам еще необходимо, чтобы весь трафик проходил через прокси-сервер и блокировался при запросах мимо прокси.

13. Первыми в списке должны идти правила на разрешения. Для группы «Учителя» правило «Запрет по категориям (учителя)» добавляется автоматически:

Нам осталось только внести пользователей в определенные группы и проверить правильность настроек, перейдя по ссылке www.smart-soft.ru/ru/solutions/check-federal-law/.

Этим возможности Traffic Inspector не ограничиваются. Кроме контентной фильтрации мы можем, создав так называемый «черный» список, запретить доступ к определенным сайтам, которые могут не быть включены в уже запрещенные категории. Например, таким образом в компании можно запретить для определенных категорий сотрудников доступ к социальным сетям и развлекательным сервисам.

Подробнее о настройках «черного» списка здесь.

Если наши читатели знают другие интересные решения этой проблемы, как всегда, приглашаем к обсуждению.

Источник

Немного о контент-фильтрации в корпоративных сетях

В современном постиндустриальном обществе важно не утонуть среди огромного потока информации. Особенно это относится к корпоративной среде, где защита от нежелательной и вредоносной информации напрямую влияет на показатели эффективности бизнеса и в конечном итоге на его конкурентоспособность.

Андрей Реслер, руководитель ИT-службы, ООО «Системные сервисы»

Вредоносный и нежелательный контент

Все чаще ИT-профессионалы и журналисты оперируют такими терминами, как «вредоносный контент» и «нежелательный контент». Прежде чем говорить о контент-фильтрации, давайте разберемся, что эти термины означают и чем они отличаются друг от друга.

Вредоносный контент – это весь спектр цифрового контента (информации), нацеленного на совершение мошеннических действий против получателей такого контента, уничтожения их информации, либо препятствие нормальному функционированию цифрового оборудования.

Как правило, авторы вредоносного контента стремятся извлечь выгоду за счет пользователей, ставших жертвами такого контента. Примеры вредоносного контента:

Нежелательный контент – контент, не представляющий для пользователя или его цифрового устройства явного вреда, но тем не менее в зависимости от содержания информации способный отрицательно сказаться на комфорте пользователя или на производительности сотрудника. Примеры нежелательного контента:

Эти два вида контента, в случае отсутствия соответствующей защиты, могут вызвать как для бизнеса, так и для индивидуальных пользователей серьезные последствия, связанные с большими финансовыми потерями. Поэтому важно обеспечить пользователей адекватной защитой от вредоносного и нежелательного контента.

Здесь в игру вступают так называемые контент-фильтры. Как правило, являясь частью более полного решения информационной безопасности, они способны предотвратить попадание вредоносного или нежелательного контента в сеть предприятия либо на устройства пользователей, решая тем самым задачу обеспечения первой линии защиты в борьбе с информационными угрозами.

Главные направления фильтрации контента

Фильтрацию контента можно разделить на два основных направления: фильтрация веб-контента и фильтрация электронной почты. Такое разделение обусловлено тем, что указанные каналы передачи информации являются основными каналами доставки контента конечным пользователям.

Следует отметить, что контент-фильтр отличается от антивирусного фильтра, так как он работает непосредственно с контентом (информацией, предназначенной для человека), содержащимся в электронном письме или на веб-странице, а не с кодами файлов (как в случае с антивирусным фильтром). Задачей контент-фильтра является блокировка электронного сообщения или веб-страницы, соответствующих или не соответствующих определенным условиям. Таких условий может быть множество, они будут представлены далее.

Основные механизмы фильтрации контента

Существует несколько основных механизмов фильтрации контента, которые работают по схожему принципу в различных решениях информационной защиты. Рассмотрим их более подробно.

Блокировка веб-страниц по категориям

Это наиболее популярный и в то же время достаточно сложный метод фильтрации веб-контента. Поставщик решения информационной безопасности ведет базу данных веб-сайтов в Интернете либо сотрудничает с поставщиком такой базы данных, чтобы всегда поддерживать актуальной информацию о принадлежности той или иной веб-страницы к определенной тематической категории. Затем администратор сети или компьютера может указать, к каким категориям веб-сайтов доступ должен быть запрещен (либо, наоборот, разрешен, если все остальное запрещено). Также в базе данных содержатся сайты, отнесенные к категории вредоносных на основе системы репутации, доступ к которым тоже может блокироваться. Система репутации позволяет посетителям сайтов голосовать и присваивать сайтам рейтинг в зависимости от его подозрительности. Если определенный сайт набирает достаточное количество низких очков рейтинга, он попадает в специальную базу сайтов с низкой репутацией.

Блокировка веб-страниц по черному/белому списку

В случае когда фильтра по категориям недостаточно либо если сайт ошибочно отнесен к неверной категории, администратор может составить черный и белый списки сайтов, которые всегда должны быть запрещены или всегда разрешены.

Антиспам

Наиболее распространенный модуль контент-фильтра. Вот уже много лет, пытаясь бороться со спамом, производители решений информационной безопасности изобретают все более сложные и совершенные технологии. Вдаваться в их подробности мы не будем, но вкратце работу антиспамового модуля можно описать следующим образом: специальный алгоритм оценивает электронное сообщение сразу по нескольким параметрам, на основании чего делает вывод, является письмо «полезным» для пользователя или спамом.

Блокировка электронных сообщений или веб-страниц по словам или словосочетаниям, содержащимся в их заголовках, в теле письма либо на самой странице

Используя данный механизм, администратор может указать «запрещенные» слова или фразы. Если приходит письмо, содержащее такое слово, то по отношению к нему система предпримет соответствующие действия (заблокирует доставку, удалит письмо и т. д.). Аналогично система отреагирует и в том случае, если пользователь пытается открыть веб-сайт, содержащий такое слово, – этот сайт будет немедленно заблокирован.

Блокировка файлов, вложенных в письмо или скачиваемых с веб-страницы, по названию либо расширению

Блокировка писем, веб-сайтов или файлов, не соответствующих определенному формату

Многие решения предоставляют список определенных форматов, которые часто не соблюдаются злоумышленниками при рассылке вредоносного контента либо являются вероятным его признаком. Например, двойные расширения файлов, некорректный тип MIME, зашифрованные архивы и т. д.

Схема. Организация контент-фильтрации на периметре сети

Обзор продуктов, предоставляющих функционал контент-фильтра

Условно контентные фильтры можно разделить на два типа: продукты, которые устанавливаются на самих защищаемых устройствах, и продукты, которые работают в качестве шлюза и фильтруют трафик, проходящий через них.

Продукты первого типа используются преимущественно на домашних и личных устройствах, поэтому их мы рассматривать не будем. Остановимся на втором типе продуктов – интернет-шлюзах с функциями контентной фильтрации. Они помогают снизить риски, связанные с просмотром содержимого сети Интернет, фильтруя опасный или нежелательный контент, зловредные файлы, социальные медиа и другие веб-угрозы, а также позволяют осуществлять мониторинг веб-серфинга пользователей и оптимизировать потребление канала связи.

Существует множество подобных продуктов, как коммерческих, так и с открытым исходным кодом. Рассмотрим несколько решений, важной или основной составляющей которых является именно контентный фильтр на уровне шлюза.

Решения такого типа (интернет-шлюз), как правило, соответствуют определенным условиям. Они должны:

Выбор решений мы основываем на их популярности и известности в русском сегменте сети.

Entensys UserGate Web Filter

Данный продукт эффективно использует политики доступа к сети в соответствии с требуемыми правилами. Он объединяет несколько методов фильтрации, включая высокоэффективную URL-фильтрацию, анализ контента в реальном времени, блокировку баннеров и всплывающих окон, безопасный поиск и др.

Особенностью этого фильтра является поддержка технологии Deep Content Inspection, позволяющей обеспечить прозрачный анализ передаваемых данных и текста на всех основных языках. В дополнение к этому он выполняет полную прозрачную проверку HTTPS/SSL веб-трафика, используя метод trusted man-in-the-middle. Веб-фильтрация осуществляется на двух уровнях: уровне DNS и уровне HTTP/HTTPS.

UserGate Web Filter работает как ICAP-сервер, совместимый с любыми прокси-серверами и сетевыми шлюзами. Продукт можно развернуть в нескольких вариантах: программный комплекс, виртуальная машина, аппаратное устройство.

К недостаткам можно отнести отсутствие версии для Windows-серверов, а также возможности перенаправить пользователя на специально заготовленную страницу при блокировке DNS-запросов.

UserGate Web Filter доступен в виде аппаратно-программного комплекса, виртуального и программного решения. Помимо веб-фильтра компания Entensys предлагает решение для защиты почтового сервера Gatewall Mail Security. Это отдельный продукт, обеспечивающий комплексную защиту почты от всех типов угроз.

Подводя итог, можно сказать, что UserGate Web Filter имеет множество преимуществ, среди которых: широкая масштабируемость (за счет большого количества вариантов внедрения), поддержка кластеризации, единая консоль администрирования, поддержка анализа HTTPS-трафика, гибкие настройки фильтрации.

Websense Web Filter

Среди особенностей данного фильтра можно выделить блокировку по ключевым словам в поисковике, которая позволяет блокировать поисковые запросы по предварительно настроенным запрещенным словам или выражениям. Как и UserGate Web Filter, данное решение может быть развернуто в нескольких вариантах: как самостоятельный программно-аппаратный комплекс и в виде части более полных аппаратных решений Websense V-Series и X-Series.

Немного о недостатках. К сожалению, отчетность данного решения оставляет желать лучшего. Единственный отчет, который удалось создать, – о посещении сайтов сотрудниками. Было бы неплохо иметь немного больше возможностей: например, создание отчетов по наиболее часто используемым сетевым приложениям. Помимо этого отчеты можно получить только из локальной сети. WebSense Web Filter позволяет архивировать отчеты для хранения.

Panda GateDefender eSeries

Решение представляет собой UTM-устройство «все в одном». Кроме функций антивирусной защиты, файервола, VPN, Hotspot и т. д. предоставляет полноценный контент-фильтр, включая фильтрацию протоколов HTTP, HTTPS, SMTP, POP3, веб-фильтрацию по категориям, отчеты по посещениям и блокируемому контенту, а также статистику работы. Все эти опции имеют достаточно гибкую настройку. Как и другие подобные решения, HTTPS-фильтрация осуществляется по принципу man-in-the-middle. Для более удобного разграничения политик устройство поддерживает интеграцию с Active Directory и LDAP-серверами.

Контент-фильтр продукта основан как на локальном модуле SpamAssassin, так и на облачном сервисе CYREN, использующим собственные алгоритмы контент-фильтрации и обладающим обширной базой данных веб-сайтов. Этот сервис впервые разработал и стал использовать технологию Recurrent Pattern Detection, которая обеспечивает очень высокий уровень защиты от спама. Кроме того, решение позволяет блокировать не только сайты как таковые, но и трафик определенных приложений (Skype, Facebook, Spotify, WhatsApp…).

Особенностью Panda GateDefender eSeries является то, что оно может работать и в режиме маршрутизатора, и в режиме сетевого моста.

Продукт представлен в виде не только программно-аппаратного комплекса, но и программного решения или продукта для установки на виртуальный сервер.

Как известно, недостатки – это продолжение преимуществ. В силу универсальности данного решения некоторые его модули защиты могут быть лишены слишком «глубоких» опций настроек. Хотя все, что потребуется в большинстве случаев, указанное решение предоставляет.

DansGuardian

DansGuardian – пример решения для контент-фильтрации с открытым исходным кодом, которое позиционирует себя как очень гибкое, функциональное решение, нацеленное на профессионалов. Оно предоставляет широчайший выбор возможностей и настроек, многие из которых отсутствуют в других подобных продуктах. Например, можно настроить блокировку картинок, блокировку рекламы для всей вашей сети, блокировку файлов по расширениям, контролировать поведение фильтра в зависимости от того, какой компьютер или устройство пытается получить доступ к сети, – есть возможность применять различные фильтры на основе домена, пользователя, IP-адреса источника и даже браузера.

К недостаткам DansGuardian относятся сложность развертывания, ибо он требует наличия совместимого прокси-сервера (например, Squid), а также отсутствие Windows-версии.

Ideco ICS

Компания Ideco («Айдеко») – один из отечественных разработчиков, предоставляющих решения безопасности. Ideco ICS – программный шлюз на базе Linux, предназначенный для обеспечения учета и контроля доступа на предприятиях с функциями контент-фильтрации.

Ideco ICS выполняет типичные функции контент-фильтрации на достаточно высоком уровне. Но что его выделяет на фоне других подобных решений, так это собственная разработка компании: модуль DLP (Data Leek Prevention) для защиты от утечки данных, который сканирует исходящий трафик и предотвращает передачу защищенных документов и конфиденциальной информации в сеть. Модуль DLP в Ideco ICS создан согласно мировым стандартам разработки DLP-систем. Он может распознавать документы при помощи цифровых отпечатков Smart ID, а также файлы в архивах.

К другим преимуществам Ideco ICS можно отнести простоту установки и администрирования, качественную фильтрацию спама и веб-контента, надежность системы, удобную схему лицензирования.

* Данный функционал доступен в продукте Entensys GateWall Mail Security.

** Данный функционал доступен в продукте Websense Email Security Gateway, а также в аппаратных решениях V-Series и X-Series.

Цена вопроса

Безусловно, при выборе решения для контент-фильтрации необходимо учитывать не только функциональные возможности того или иного решения, но и целый набор организационных, технических и экономических вопросов, которые в конечном итоге формируют полную стоимость владения данным решением. При этом, конечно, следует исходить из здравого смысла: чем выше могут быть потери от неэффективной контент-фильтрации (или ее отсутствия!), тем выше допустимое значение полной стоимости владения.

Если оценивать полную стоимость владения, то при выборе решения необходимо в первую очередь принимать во внимание следующие факторы:

Уверен, что к перечисленным аспектам можно добавить еще несколько, которые в той или иной ситуации могут повлиять на полную стоимость владения.

Принимая во внимание все факторы, можно предположить, что для крупных предприятий подойдут специализированные решения, а для малых и средних – более универсальные.

Заключение

Источник