Фильтр url что это – Как заблокировать все веб-сайты социальных сетей с помощью Web Content Filter (Фильтра Веб Контента)?

Содержание

Как мы писали URL-фильтрацию Ростелекому / Habr

Недавно на Хабре была статья о внедрении URL фильтрации «Ростелекомом» (РТК). Так случилось, что мы предлагали им решить эту задачу года полтора назад и год назад сделали решение, которое прошло все тесты и которое «Ростелеком» готов был включать. К тому моменту лавка наша выпала из милости, ну да это не вопрос техники. Посему все изложенное далее – это детали предложенного нами решения. Что точно внедрят, бог весть.

DPI и блокировка по IP

Начать видимо стоит с DPI. Они в некотором количестве на сети имеются, но поставить их на весь трафик стоило бы РТК несколько десятков миллионов долларов и постоянно требовало бы новых инвестиций в связи с ростом потребления скучающим населением. Ни предыдущие, ни теперешние руководители на такое не решились (возможно лишь пока), потому как никаких новых услуг с осязаемыми объемами доходов внедрение DPI не обещает.

Поскольку блокировать разные ресурсы РТК должен был и раньше (суды вершат без оглядки на законы), то и делал это по IP’ческим адресам. Соответственно, простейшая фильтрация на границах решала проблему. Аналогично стали решать и проблему с реестром запрещенных ресурсов: специально обученный человек выгружал реестр, там есть и URL и IP и дальше добавлял записи в списочек, а скрипт правил access list.

ПО управления фильтрацией

Мы автоматизировали общение с реестром и тут, как всем понятно, магии никакой (ее и дальше то особо нет). Запротоколировали внесение изменений в реестре и реализацию цензуры на сети. Добавили мелкие рюшечки, связанные с распределенной структурой ответственности на сети РТК, исключением из действия фильтра части абонентов (в частности запредельных операторов). Ну и суды никто не отменял, поэтому есть возможность внести любой ресурс из судебного решения. Помимо этого, управляющее ПО настраивает перенаправление трафика на узлы фильтрации, готовит отчеты о поисковых запросах пользователей, мониторит узлы фильтрации и протоколирует все активности.

Поворот трафика и фильтрация

Трафик направляемый абонентами на IP адреса соответсвующие блокированным URL'ам на PE поворачивали в специальный VPN, где defult смотрит на пару рутеров в центре. Используя SCU/DCU (похожая функциональность вроде и на кисках имеется) на границе же исключали по адресам источника трафик от абонентов, фильтрации не подлежащих. Софт управления формировал /32 маршруты по IP адресам реестра, правил конфиг на центральном маршрутизаторе и изменения вступали в силу. От посылки BGP апдейтов, помнится, отказались, потому как нехорошо это.

На двух центральных маршрутизаторах настраивали копирование проходящего трафика уже с учетом портов. Соответственно на весь РТК получалось от силы несколько мегабит. Копировать можно было либо на внешний сервер, либо на MS-DPC. И там и там принцип дальнейшей обработки был одинаков. ПО фильтрации ловит пакет, если в нем get с URL’ом из списка, то в сторону сервера шлем сброс, а в сторону браузера редирект на сайт с рассказом про то, как важны моральные принципы для современного российского общества.

Минимальное время ответа от серверов, входивших в реестр год назад, превышало 100 мс, а софтина, анализирующая URL, выдавала ответ за 5-6 мс при нагрузке в 3 Гб/с. Посему решили, что городить прокси, обеспечивать его надежность и прочее в том же духе смысла не имеет. При сбое ПО фильтрации все будет работать, кроме фильтрации понятно. Правда по просьбе РТК запроектировали все равно по паре серверов фильтрации.

Сейчас понятно, что можно было и чуть проще сделать, использовать маленький DPI в центре вместо своего ПО фильтрации. Но так мы уже другому оператору сделали. Может статься, что выбранные внедренцы скомбинируют свое ПО работы с реестром с обычным DPI, через который пойдет только выбранный трафик. Нам же на тот момент хотелось понять есть ли хоть какая-то задача, которую стоило бы реализовывать на сервисных модулях в маршрутизаторе, а не снаружи. То, что Juniper закрыл для внешних разработчиков доступ к модулям, дает четкий ответ на этот вопрос, но нас тогда еще мучили сомнения.

Что касается стоимости, то из того миллиона, о котором идет речь, больше половины составляли серверы, так что большой прибыли на софте там не планировалось.

Настройка фильтрации передачи файлов и URL-адресов для обмена мгновенными сообщениями (IM)

 

Тема последнего изменения: 2012-11-01Topic Last Modified: 2012-11-01

Инструмент интеллектуального фильтра мгновенных сообщений помогает защитить развертывание Lync Server 2013 от распространения наиболее распространенных форм вирусов с минимальным снижением качества для взаимодействия с пользователем.The Intelligent IM Filter tool helps protect your Lync Server 2013 deployment against the spread of the most common forms of viruses with minimal degradation to the user experience. Используйте интеллектуальный фильтр мгновенных сообщений для настройки фильтров, чтобы блокировать непредусмотренные или потенциально опасные мгновенные сообщения от неизвестных конечных точек за пределами корпоративного брандмауэра.Use Intelligent IM Filter to configure filters to block unsolicited or potentially harmful instant messages from unknown endpoints outside the corporate firewall. Вы можете настроить фильтры, указав условия, которые будут использоваться для определения того, что следует блокировать (например, мгновенные сообщения, содержащие гиперссылки с определенными префиксами и файлами с определенными расширениями).You configure filters by specifying the criteria to be used to determine what should be blocked, such as instant messages containing hyperlinks with specific prefixes and files with specific extensions.

Интеллектуальный фильтр мгновенных сообщений предоставляет следующие возможности:Intelligent IM Filter provides the following:

  • Улучшенная фильтрация URL-адресов.Enhanced URL filtering.

  • Улучшенная фильтрация передачи файлов.Enhanced file transfer filtering.

Настройка интеллектуального фильтра мгновенных сообщений включает в себя следующее:Configuring Intelligent IM Filter includes the following:

  • Настройка фильтрации URL-адресов.Configuring URL filtering.

  • Настройка фильтрации передачи файлов.Configuring file transfer filtering.

Применение параметров фильтрации к мгновенным сообщениямHow Filtering Options Are Applied to Instant Messages

Прежде чем развертывать инструмент интеллектуального фильтра сообщений, необходимо понять, как будут применяться параметры фильтрации, так как сообщения пересылаются с одного сервера Lync Server 2013 на другой.Before you deploy the Intelligent IM Message Filter tool, you need to understand how filtering options are applied as messages are routed from one Lync Server 2013 server to another. Способ применения этих параметров фильтрации одинаков, независимо от того, находятся ли серверы в одной организации или на разных организационных границах.The way these filtering options are applied is consistent, regardless of whether the servers are located in a single organization or across organizational boundaries. Это соответствие распространяется на то, как настроенные тексты уведомлений и предупреждений вставляются в сообщения и отправляются на другие серверы.This consistency applies to the way that the customized notice and warning texts are inserted into messages and sent across servers.

Примечание

Фильтр мгновенных сообщений увеличивает объем ресурсов ЦП, необходимых для обработки URL-адресов в сообщении.The instant message filter increases the amount of CPU resources required to process URLs in a message. Это повышение спроса на ЦП также влияет на производительность сервера Lync.This increase in CPU demand also affects the performance of Lync Server.

С помощью страницы фильтра URL-адреса в группе " мгновенные сообщения и присутствие " на панели управления Lync Server вы можете заблокировать некоторые или все гиперссылки или настроить предупреждение.By using the URL Filter page in the IM and Presence group in Lync Server Control Panel, you can block some or all hyperlinks or configure a warning. Предупреждение будет вставлено в начало мгновенного сообщения, которое содержит гиперссылку, если вы выбрали параметр

префикс гиперссылки Отправить сообщениес предупреждением.The warning is inserted at the beginning of an instant message that contains a hyperlink when you choose the Hyperlink prefix option Send warning message.

Если мгновенное сообщение передается с одного сервера на другой, применяются следующие общие правила.When an instant message travels from one server to another, the following general guidelines apply:

  • Если сервер блокирует мгновенное сообщение (так как вы установили флажок блокировать URL-адреса с расширением файла на странице фильтра URL-адреса или если вы выбрали параметр префикс гиперссылки ), будет возвращено сообщение об ошибке. **** клиент.If a server blocks an instant message (because you selected the Block URLs with file extension check box on the URL Filter page or because you chose the Hyperlink prefix option Block hyperlinks), an error message is returned to the client. Последующие серверы не получают это мгновенное сообщение.Subsequent servers do not receive this instant message.

  • Если сервер (Server1) добавляет предупреждение в мгновенное сообщение, содержащее активную гиперссылку, последующий сервер (Server2), получающий это мгновенное сообщение, по-прежнему может выполнять различные действия на основе этой активной гиперссылки в мгновенных сообщениях и блокировать Мгновенное сообщение или добавление предупреждения.If a server (Server1) adds a warning to an instant message that contains an active hyperlink, a subsequent server (Server2) that receives this instant message can still take a different action based on this active hyperlink present in the instant message and block the instant message or add a warning. Если Server2 настроен только на добавление предупреждений для этого URL-адреса, то предыдущее предупреждение, добавленное с помощью Server1, удаляется, а предупреждение, настроенное на Server2, добавляется в начало мгновенного сообщения.If Server2 is configured only to add a warning for this URL, the earlier warning added by Server1 is removed, and the warning configured on Server2 is added to the beginning of the instant message.

Примечание

Если на компьютере установлено приложение Lync Server 2013 в смешанной среде, то для использования интеллектуального фильтра мгновенных сообщений требуется минимальная версия сервера Live Communications Server 2005 с пакетом обновления 1 (SP1).If you are running Lync Server 2013 in a mixed environment, Live Communications Server 2005 with SP1 is the minimum version required to use the Intelligent IM Filter application. Интеллектуальный фильтр для обмена мгновенными сообщениями не поддерживается на сервере Live Communications Server 2005 без пакета обновления 1 (SP1).The Intelligent IM Filter is not supported on Live Communications Server 2005 without SP1.

Фильтрация URL-адресовURL Filtering

URL-адреса фильтруются в соответствии с префиксом гиперссылки.URLs are filtered according to their hyperlink prefix. Ниже приведены примеры допустимых префиксов.The following examples are valid prefixes:

  • www*.www*.

  • адреса.ftp.

  • черезhttp:

Если вы не настраиваете фильтр мгновенных сообщений для фильтрации URL-адресов, все URL-адреса, содержащиеся в мгновенных сообщениях, будут передаваться без изменений с сервера.If you do not configure the instant message filter to perform any URL filtering, all URLs contained in instant messages are passed unmodified through the server. Если настроить фильтр мгновенных сообщений для фильтрации URL-адресов, URL-адреса в мгновенных сообщениях фильтруются в соответствии с параметрами, выбранными в диалоговом окне

Изменение фильтра URL-адреса или фильтра по новому URL-адресу .If you configure the instant message filter to perform URL filtering, URLs in instant messages are filtered according to the options that you select in the Edit URL Filter or New URL Filter dialog box.

  • Включить фильтр   URL-адресов этот параметр позволяет применять фильтрацию URL-адресов для глобального развертывания или для выбранного сайта.Enable URL filter   This option enables URL filtering for the global deployment or for the site that you select.

  • Заблокируйте URL-адреса с помощью расширения   . фильтр мгновенных сообщений блокирует любой активный URL-адрес в интрасети или Интернете, содержащий файл с расширением, указанным в поле

    расширения типа файлов , которое будет заблокировано в диалоговом окне Изменение фильтра файлов .Block URLs with file extension   The instant message filter blocks any active intranet or Internet URL that contains a file with an extension listed under File type extensions to block in the Edit File Filter dialog box. Если URL-адрес заблокирован, для отправителя выводится сообщение об ошибке.When a URL is blocked, an error message is displayed to the sender. Если установлен этот флажок, этот параметр имеет приоритет над всеми остальными параметрами фильтрации для всех расширений файлов, определенных в разделе расширения типа файла для блокировки.When selected, this option takes precedence over all other filtering options for any file extensions defined under File type extensions to block.

    Важно!

    Фильтрация расширений файлов ограничена стандартными именами файлов.Filtering of file extensions is limited to standard file names. Фильтрация не работает с расширениями файлов, внедренными в другие имена.Filtering may not work with file extensions embedded in other names.

Чтобы настроить способ обработки гиперссылок в текстовых беседах, выберите один из следующих параметров в разделе префикс гиперссылки:To configure how hyperlinks are handled in instant message conversations, select one of the following options under Hyperlink prefix:

  • Не фильтруйте   URL-адреса в сообщениях, отправляются с сервера.Do not filter   URLs in messages are sent through the server. Если выбрать этот параметр, появится диалоговое окно Разрешить сообщение .When you choose this option, the Allow message box appears. В диалоговом окне Разрешить введите текст уведомления, которое вы хотите вставить в начало каждого мгновенного сообщения, содержащего гиперссылки.In the Allow message box, specify the notice that you want to insert at the beginning of each instant message containing hyperlinks. Это уведомление может состоять не более чем из 65535 знаков.This notice can consist of no more than 65535 characters.

  • Блокировать гиперссылки   . Доставка мгновенных сообщений с активными гиперссылками блокируется сервером Lync Server, а отправителю выводится сообщение об ошибке.Block hyperlinks   Delivery of instant messages containing active hyperlinks is blocked by Lync Server, and an error message is displayed to the sender.

  • Отправить предупреждение   в Lync Server разрешены активные гиперссылки в мгновенных сообщениях, но это сообщение содержит предупреждение.Send warning message   Lync Server permits active hyperlinks in instant messages, but it includes a warning. При выборе этого параметра появится окно сообщения с предупреждением.When you choose this option, the Warning message box appears. В диалоговом окне предупреждение необходимо ввести предупреждение, которое вы хотите включить в мгновенные сообщения, содержащие действительные гиперссылки.In the Warning message box, you must type the warning that you want to include with instant messages containing valid hyperlinks. Например, это предупреждение может выдать список возможных опасностей выбора неизвестной ссылки или ссылаться на нужные политики и требования вашей организации.For example, this warning might state the potential dangers of clicking an unknown link, or it might refer to your organization’s relevant policies and requirements. Предупреждение может состоять не более чем из 65535 символов.The warning can be no more than 65535 characters.

Если выбрать команду блокировать гиперссылки или Отправить предупреждение, будут доступны следующие параметры:If you select Block hyperlinks or Send warning message, the following options are available:

  • Исключить локальную интрасеть гиперссылки   . фильтр мгновенных сообщений блокирует только URL-адреса в Интернете.Exclude local intranet hyperlinks   The instant message filter blocks only Internet URLs. URL-адреса для расположений в интрасети передаются без изменений с сервера.URLs for locations within your intranet are passed unmodified through the server. Тем не менее URL-адреса в интрасети, на которых работают индивидуальные серверы Lync Server, зависят от того, какие типы локальных сайтов считаются частью своей зоны интрасети.However, the intranet URLs that individual servers running Lync Server pass depend on which types of local websites are considered part of their intranet zone. Чтобы проверить параметры зоны интрасети сервера, в разделе "Настройка параметров интрасети в Internet Explorer" измените фильтр URL-адресов по умолчанию в Lync server 2013.To check a server’s intranet zone settings, see the “To configure your intranet settings in Internet Explorer” procedure in Modify the default URL filter in Lync Server 2013.

  • Отфильтруйте эти префиксы   гиперссылок, чтобы выбрать, какие префиксы нужно заблокировать, нажмите кнопку выбрать, а затем в списке выберите префикс гиперссылкидобавьте префиксы в список префиксов гиперссылок .Filter these hyperlink prefixes   To choose which prefixes you want to block, click Select, and then, in Select Hyperlink Prefix, add the prefixes to the Hyperlink prefixes list.

    Все префиксы, кроме href , должны заканчиваться точкой или двоеточием или звездочкой, за которой следует точка.All prefixes except href must end with a period or a colon, or an asterisk followed by a period. Допустимые префиксы могут содержать символы из набора допустимых URL-знаков, кроме звездочки*().Valid prefixes can contain any characters in the set of valid URL characters except the asterisk (*). Набор допустимых символов URL-адреса: # *+/0123456789 = @ABCDEFGHIJKLMNOPQRSTUVWXYZ ^_ ` абкдефгхижклмнопкрстуввксиз | ~The set of valid URL characters is: #*+/[email protected]^\_\` abcdefghijklmnopqrstuvwxyz|~

Фильтрация передачи файловFile Transfer Filtering

Фильтрация передаваемых фильтров влияет на мгновенные сообщения и конференции.Filter transfer filtering affects both instant messages and conferences. Для конференций эти параметры влияют на функцию раздаточных материалов в клиенте Office Live Meeting 2007 и в средствах воспроизведения мультимедиа.For conferences, these settings affect the handout feature in the Office Live Meeting 2007 client and multimedia playback features.

Примечание

Lync Server также включает параметры настройки передачи файлов.Lync Server also offers file transfer setting options. Этот параметр на стороне сервера предлагается в дополнение к элементам управления на стороне клиента, доступным в Lync Server.This server-side option is offered in addition to the client-side controls available in Lync Server.

Вы можете отфильтровать передачу файлов в текстовых беседах, когда вы используете функцию выдач в клиенте Office Live Meeting 2007 и для воспроизведения мультимедиа для всех типов файлов.You can filter file transfers during instant message conversations, when you are using the handout feature in the Office Live Meeting 2007 client, and for multimedia playback features for all file types. Для управления передачей файлов можно настроить следующие параметры:You can set the following options to control file transfers:

  • Включить фильтр   файлов этот параметр включает фильтрацию файлов для глобального развертывания или для выбранного сайта.Enable file filter   This option enables file filtering for the global deployment or for the site that you select.

    Если вы включите фильтр файлов, вы можете выбрать один из следующих вариантов передачи файлов.When you enable the file filter, you can choose one of the following options in File transfer:

    • Заблокируйте определенные типы   файлов, на которые отфильтруются запросы на передачу файлов, указав список блокируемых расширений файлов.Block specific file types   You specify which file transfer requests are filtered by the server by specifying a list of file extensions to block. Записи в списке могут содержать все стандартные символы, но не подстановочные знаки (*).Entries in the list can contain all standard characters, but not the wildcard character (*). В клиенте Office Live Meeting 2007 функция выдач включена, но любой файл с этим расширением не удается загрузить или загрузить.In the Office Live Meeting 2007 client the handout feature is enabled, but any file with this extension cannot be uploaded or downloaded. Если установить флажок блокировать URL-адреса с расширением файла на вкладке Фильтр URL-адреса, то фильтр URL-адреса использует тот же список для блокирования активных гиперссылок, которые содержат любое из этих расширений файлов.If you select the Block URLs with file extension check box on the settings for a URL filter listed on the URL Filter tab, the URL filter uses this same list to block active hyperlinks that contain any of these file extensions. Чтобы выбрать типы файлов, которые вы хотите заблокировать, нажмите кнопку выбрать, а затем в списке выберите тип файладобавьте расширения типов файлов в список выбранные расширения типов файлов .To choose which file types you want to block, click Select, and then, in Select File Type, add the file type extensions to the Selected file type extensions list.

    • Блокировать весь   сервер удаляет все мгновенные сообщения, содержащие запросы на передачу файлов, и возвращает сообщение об ошибке отправителю запроса.Block All   The server drops all instant messages that contain file transfer requests and returns an error message to the sender of the request. Функция выдач в клиенте Office Live Meeting 2007 отключена.The handout feature in the Office Live Meeting 2007 client is disabled.

Важно!

Фильтрация расширений файлов ограничена стандартными именами файлов.Filtering of file extensions is limited to standard file names. Фильтрация не работает с расширениями файлов, внедренными в другие имена.Filtering may not work with file extensions embedded in other names.

СодержаниеIn This Section

Как заблокировать все веб-сайты социальных сетей с помощью Web Content Filter (Фильтра Веб Контента)?

Мы начинаем публикацию серии статей об оборудовании Draytek с описанием кейсов и необходимых настроек для разного рода задач. Надеемся, что эти статьи будут вам полезны. Итак, начнем:

Facebook или другие зашифрованные HTTPS сайты могут блокироваться с помощью «URL Content Filter»(Фильтр URL контента) и «DNS Filter» (Фильтр DNS). Тем не менее, если мы хотим заблокировать все веб-сайты социальных сетей, Web Content Filter (Фильтр Веб контента) – это самый удачный выбор.

Web Content Filter – простой фильтр на основе категорий, который помогает сетевым администраторам эффективно контролировать использование Интернета, чтобы удовлетворять все запросы бизнеса. Здесь показано, как использовать Web Content Filter и DNS Filter и блокировать все веб-сайты социальных сетей.

1. Перейдите в CSM >> Web Content Filter Profile (CSM>>Профиль Фильтра Веб контента).
a. Убедитесь, что лицензия Cyren активирована. (Проверьте: «Как зарегистрировать мой маршрутизатор Vigor и активировать бесплатную лицензию WCF Trial?»).
b. Щелкните на Index 2 (Индекс 2), чтобы установить профиль.

2. Для того, чтобы установить профиль Web Content Filter, необходимо выполнить следующие действия:
a. Отредактируйте profile name (название профиля), в данном случае мы вводим название Social Network (Социальная Сеть)
b. Выберите тип действия Block (Блокировать)
c. Выберите Social Network (Социальная Сеть) в Категориях

3. Перейдите в CMS >> DNS Filter (CMS >> Фильтр DNS) и активируйте DNS Filter
a. Щелкните на номер Индекса профиля в Таблице DNS Filter Profile (Профиль DNS Фильтра)
b. Введите Profile Name (Название профиля)
c. Выберите WCF в качестве Web Content Filter Profile, созданного на Этапе 2
d. Щелкните OK и сохраните

Если клиент LAN использует Маршрутизатор Vigorв качестве DNS-сервера, не забудьте использовать DNS Filter Local Setting (Локальные настройки фильтра DNS), показанные на рисунке ниже. Ознакомьтесь со статьей: «В чем разница между DNS Filter Profile и DNS Filter Local Setting?». И узнайте больше.

4. Чтобы применить Web Content Filter и DNS Filter, перейдите в Сетевой экран >> Установка Фильтра >> Шаг 2. (Фильтр данных по умолчанию)
a. Щелкните на номер Filter Rule (Правило фильтра)
b. Активируйте Filter Rule
c. Отредактируйте Источник IP, если вы хотите заблокировать только некоторые IP социальных сетей
d. Выберите Фильтр как Pass Immediately (Пройти немедленно)
e. Выберите Web Content Filter в качестве профиля, созданного на Этапе 2
f. Выберите DNS Filter в качестве профиля, созданного на Этапе 3
g. Щелкните OK и сохраните

5. После завершения вышеуказанных настроек, все веб-сайты социальных сетей будут заблокированы с помощью Web Content Filter и DNS Filter с Маршрутизатором Vigor, даже если веб-сайт использует HTTPS. На картинке ниже Вы видите заблокированный Facebook, Instagram и Twitter.

Исправление проблем:

Если веб-сайты не блокируются, как ожидалось, пожалуйста, сделайте следующее:

1. Очистите куки браузера и его историю.

2. Очистите кэш DNS на компьютере, для пользователей Windows, это можно сделать путем ввода команды «ipconfig/flushd» в командной строке.

3. Убедитесь, что шлюз по умолчанию – это Маршрутизатор Vigor

4. Проверьте DNS-сервер компьютера, введите «nslookup» и проверьте DNS-сервер Вашего компьютера.

a. Если сервер является открытым DNS-сервером, убедитесь, что шлюз компьютера установлен на Маршрутизатор Vigor. Также проверьте, есть ли другое Правило фильтрации (Filter Rule), которое может уже провести пакет.
b. Если сервер является внутренним сервером DNS, убедитесь, что шлюз внутреннего сервера DNS устанавливается на Маршрутизатор Vigor.
c. Если сервер – «Ваш Маршрутизатор Vigor», включите DNS Filter Local setting в CSM >> DNS Filter (Локальные настройки фильтра DNS >> Фильтр DNS) вместо применения DNS Filter Profile (профиль фильтра DNS) для Firewall Rule (Правило брандмауэра) и обратите внимание, что DNS Filter Local Setting (Локальные настройки фильтра DNS) будут применяться ко всем клиентам в локальной сети, которые используют маршрутизатор в качестве DNS-сервера.

Фильтрация отчета с помощью параметров строки запроса в URL-адресе - Power BI

  • Время чтения: 7 мин

В этой статье

Когда вы открываете отчет в службе Power BI, можно заметить, что каждая страница отчета имеет собственный уникальный URL-адрес.When you open a report in Power BI service, each page of the report has its own unique URL. Для фильтрации этой страницы отчета можно использовать область "Фильтры" на холсте отчета.To filter that report page, you could use the Filters pane on the report canvas. Также для предварительной фильтрации отчета можно добавить параметры строки запроса в URL-адрес.Or you could add query string parameters to the URL to pre-filter the report. Возможно, у вас есть отчет, который вы хотите показать коллегам и который для этого необходимо предварительно отфильтровать.Perhaps you have a report you'd like to show colleagues and you want to pre-filter it for them. Это можно сделать, добавив параметры фильтрации к заданному по умолчанию URL-адресу отчета и затем отправив новый URL-адрес коллегам по электронной почте.One way to filter it is to start with the default URL for the report, add the filter parameters to the URL, and then email them the entire new URL.

Использование параметров строки запросаUses for query string parameters

Предположим, что вы работаете в Power BI Desktop.Say you're working in Power BI Desktop. Вы хотите создать отчет, содержащий ссылки на другие отчеты Power BI, но в них нужно отображать только определенные сведения.You want to create a report that has links to other Power BI reports, but you want to show only some of the information in the other reports. Сначала отфильтруйте отчеты с помощью параметров строки запроса и сохраните URL-адреса.First, filter the reports using query string parameters and save the URLs. Затем в Desktop создайте таблицу с этими новыми URL-адресами отчета.Next, create a table in Desktop with these new report URLs. После этого опубликуйте отчет и предоставьте к нему общий доступ.Then publish and share the report.

Параметры строки запроса можно также использовать для создания расширенного решения Power BI.Another use for query string parameters is for someone creating an advanced Power BI solution. С помощью DAX можно создать отчет, который динамически формирует URL-адрес отфильтрованного отчета на основе выбора, осуществляемого клиентом в текущем отчете.Using DAX, they create a report that generates a filtered report URL dynamically based on the selection their customer makes in the current report. Когда клиенты выберут URL-адрес, они увидят только нужные сведения.When customers select the URL, they see only the intended information.

Синтаксис параметров строки запроса для фильтрацииQuery string parameter syntax for filtering

С помощью параметров можно отфильтровать отчет по одному или нескольким значениям, даже если эти значения содержат пробелы или специальные символы.With parameters, you can filter the report for one or more values, even if those values contain spaces or special characters. Базовый синтаксис довольно прост: начните с URL-адреса отчета, добавьте знак вопроса, а затем — синтаксис фильтра.The basic syntax is fairly straightforward; start with the report URL, add a question mark, and then add your filter syntax.

URL?filter=Таблица/Поле eq 'значение'URL?filter=Table/Field eq 'value'

  • Имена переменных Таблица и Поле чувствительны к регистру, а значение — нет.Table and Field names are case-sensitive, value isn't.
  • Поля отчета, которые являются скрытыми для просмотра, также можно отфильтровать.Fields that are hidden from report view can still be filtered.

Отчеты в приложенияхReports in apps

Если вы хотите добавить фильтр URL-адреса в отчет в приложении, форматирование будет немного отличаться.If you want to add a URL filter to a report in an app, the formatting is a little different. Ссылки на отчеты в приложении имеют параметр запроса (ctid), который добавляется к URL-адресу.Links to reports in an app have a query parameter (ctid) that gets added to the URL. Разделяйте параметры запроса амперсандом (&).Separate the query parameters with an ampersand (&). Сохраните "?filter=" и переместите параметр ctid в конец URL-адреса, поставив перед ним амперсанд (&).Keep “?filter=” and move the ctid parameter to the end of the URL, preceded by an ampersand (&).

как в следующем примере:Like this example:

app.powerbi.com/groups/me/apps/app-id/reports/report-id/ReportSection?filter=Table/Field eq 'value'&ctid=ctidapp.powerbi.com/groups/me/apps/app-id/reports/report-id/ReportSection?filter=Table/Field eq 'value'&ctid=ctid

Типы полейField types

Поля могут иметь тип number, datetime или string. Используемый тип должен соответствовать типу, заданному в наборе данных.Field type can be a number, datetime, or string and the type used must match the type set in the dataset. Например, столбец таблицы с типом string не будет работать, если вы ищете значение с типом datetime или number в столбце набора данных с типом date (например, Table/StringColumn eq 1).For example, specifying a table column of type "string" won't work if you're looking for a datetime or numeric value in a dataset column set as a date, such as Table/StringColumn eq 1.

  • Строки (string) должны быть заключены в одинарные кавычки, например 'manager name'.Strings must be enclosed with single quotes, as in 'manager name'.
  • Для чисел (number) специальное форматирование не требуется.Numbers require no special formatting. Подробные сведения см. в разделе Числовые типы данных этой статьи.See Numeric data types in this article for details.
  • Даты и время: подробные сведения см. в разделе Типы данных Date этой статьи.Dates and times See Date data types in this article.

Если эти инструкции вам непонятны, см. подробные объяснения ниже.If it's still confusing, continue reading and we'll break it down.

Фильтрация по полюFilter on a field

Предположим, URL-адрес нашего отчета выглядит так:Let’s assume that the URL to our report is the following.

Как видно на визуализации карты (см. выше) у нас есть магазины в Северной Каролине.And we see in our map visualization (above) that we have stores in North Carolina.

Чтобы отфильтровать отчет для отображения данных, связанных только с магазинами в Северной Каролине (значение NC), добавьте в URL-адрес следующий текст:To filter the report to show data only for stores in "NC" (North Carolina), append the URL with the following;

?filter=Store/Territory eq 'NC'?filter=Store/Territory eq 'NC'

Примечание

NC — это значение, которое хранится в поле Territory в таблице Store.NC is a value stored in the Territory field of the Store table.

Отчет отфильтрован по Северной Каролине, следовательно, все визуализации на странице отчета показывают данные только по Северной Каролине.Our report is filtered for North Carolina; all the visualizations on the report page show data for only North Carolina.

Фильтрация по нескольким полямFilter on multiple fields

Можно также применять фильтр по нескольким полям, добавив дополнительные параметры в URL-адрес.You can also filter on multiple fields by adding additional parameters to your URL. Вернемся к исходным параметрам фильтра.Let's go back to our original filter parameter.

?filter=Store/Territory eq 'NC'

Чтобы применить фильтр по дополнительным полям, добавьте and и еще одно поле в том же формате, как показано выше.To filter on additional fields, add an 'and' and another field in the same format as above. Пример приведен ниже.Here is an example.

?filter=Store/Territory eq 'NC' and Store/Chain eq 'Fashions Direct'

ОператорыOperators

Кроме and, Power BI поддерживает и другие операторы.Power BI supports many operators in addition to 'and'. Эти операторы и поддерживаемые ими типы содержимого приведены в таблице ниже.The table below lists those operators along with the content type they support.

Операторoperator Определениеdefinition строкаstring числоnumber ДатаDate ПримерExample
andand иand даyes даyes даyes product/price le 200 and price gt 3.5product/price le 200 and price gt 3.5
eqeq равноequals даyes даyes даyes Address/City eq 'Redmond'Address/City eq 'Redmond'
nene не равноnot equal даyes даyes даyes Address/City ne 'London'Address/City ne 'London'
gege больше или равноgreater than or equal нетno даyes даyes product/price ge 10product/price ge 10
gtgt больше чемgreater than нетno даyes даyes product/price gt 20product/price gt 20
lele меньше или равноless than or equal нетno даyes даyes product/price le 100product/price le 100
ltlt меньше чемless than нетno даyes даyes product/price lt 20product/price lt 20
in**in** включаяincluding даyes даyes даyes Student/Age in (27, 29)Student/Age in (27, 29)

** При использовании in значением справа от in может быть разделенный запятыми список, заключенный в круглые скобки, или одно выражение, которое возвращает коллекцию.** When using in, the values to the right of in can be a comma-separated list enclosed in parentheses, or a single expression that returns a collection.

Числовые типы данныхNumeric data types

Фильтр URL-адреса для Power BI может содержать числа в следующих форматах.A Power BI URL filter can include numbers in the following formats.

Числовой типNumber type ПримерExample
integerinteger 55
longlong 5 L или 5 l5 L or 5 l
doubledouble 5,5 или 55e-1, или 0,55e+1, или 5D, или 5d, или 0,5e1D, или 0,5e1d, или 5,5D, или 5,5d, или 55e-1D, или 55e-1d5.5 or 55e-1 or 0.55e+1 or 5D or 5d or 0.5e1D or 0.5e1d or 5.5D or 5.5d or 55e-1D or 55e-1d
decimaldecimal 5 M или 5 m либо 5,5 M или 5,5 m5 M or 5 m or 5.5 M or 5.5 m
floatfloat 5 F или 5 f либо 0,5e1 F или 0,5e-1 d5 F or 5 f or 0.5e1 F or 0.5e-1 d

Типы данных DateDate data types

Для типов данных Date и DateTimeOffset Power BI поддерживает OData V3 и V4.Power BI supports both OData V3 and V4 for Date and DateTimeOffset data types. При использовании OData V3 значения дат должны быть заключены в одинарные кавычки и им должно предшествовать слово datetime.For OData V3, dates must be enclosed in single quotes and be preceded by the word datetime. В OData V4 не требуется применять одинарные кавычки и слово datetime.Single quotes and the word datetime aren't needed in OData V4.

Для представления даты используется формат EDM (2019-02-12T00:00:00). При указании даты в формате "ГГГГ-ММ-ДД" Power BI интерпретирует ее как "ГГГГ-ММ-ДДT00:00:00".Dates are represented using the EDM format (2019-02-12T00:00:00): When you specify a date as 'YYYY-MM-DD', Power BI interprets it as 'YYYY-MM-DDT00:00:00'. Убедитесь, что для месяца и дня используются две цифры (ММ и ДД).Make sure month and day are two digits, MM and DD.

Почему это различие имеет значение?Why does this distinction matter? Предположим, вы создаете параметр строки запроса Table/Date gt '2018-08-03'.Let's say you create a query string parameter Table/Date gt '2018-08-03'. Будет ли дата 3 августа 2018 г. включена в результаты или же результаты будут начинаться с даты 4 августа 2018 г.?Will the results include August 3, 2018 or start with August 4, 2018? Power BI преобразует запрос в Table/Date gt '2018-08-03T00:00:00'.Power BI translates your query to Table/Date gt '2018-08-03T00:00:00'. Поэтому ваши результаты будут включать все даты с ненулевой частью времени, так как значение таких дат будет превышать '2018-08-03T00:00:00'.So, your results include any dates that have a non-zero time part, because those dates would be greater than '2018-08-03T00:00:00'.

Существуют также другие различия между V3 иV4.There are other differences between V3 and V4. OData V3 не поддерживает типы Date, а только DateTime.OData V3 does not support Dates, only DateTime. Поэтому если вы используете формат V3, вам нужно указать полную дату и время.So if you use the V3 format, you must qualify it with the full date time. Литералы дат, такие как "datetime'2019-05-20'" не поддерживаются в нотации V3.Date literals like "datetime'2019-05-20'" aren't supported in V3 notation. Но в нотации V4 вы можете просто записать ее как "2019-05-20".But you can just write it as "2019-05-20" in V4 notation. Приведем два эквивалентных запроса фильтров в V3 и V4:Here are two equivalent filter queries in V3 and V4:

  • формат OData V4: filter=Table/Date gt 2019-05-20;OData V4 format: filter=Table/Date gt 2019-05-20
  • формат OData V3: filter=Table/Date gt datetime'2019-05-20T00:00:00'.OData V3 format: filter=Table/Date gt datetime'2019-05-20T00:00:00'

Специальные символы в фильтрах URL-адресовSpecial characters in URL filters

Для специальных символов и пробелов требуется дополнительное форматирование.Special characters and spaces require some additional formatting. Если запрос содержит пробелы, дефисы или другие символы не из набора ASCII, добавьте перед этими специальными символами escape-код в следующем формате: символ подчеркивания и X (_x), четырехзначный символ Юникода и еще один символ подчеркивания.When your query contains spaces, dashes, or other non-ASCII characters, prefix those special characters with an escape code starting with an underscore and an X (_x), then the four-digit Unicode, then another underscore. Если символ Юникода содержит менее четырех знаков, заполните его нулями.If the Unicode is fewer than four characters, you need to pad it with zeroes. Ниже приведено несколько примеров.Here are some examples.

ИдентификаторIdentifier ЮникодUnicode Кодировка для Power BICoding for Power BI
Имя таблицыTable Name Пробел — 0x20Space is 0x20 Table_x0020_NameTable_x0020_Name
Столбец@НомерColumn@Number @ — [email protected] is 0x40 Column_x0040_NumberColumn_x0040_Number
[Столбец][Column] [ — 0x005B, ] — 0x005D[ is 0x005B ] is 0x005D x005B_Column_x005Dx005B_Column_x005D
Столбец+PlusColumn+Plus + — 0x2B+ is 0x2B Column_x002B_PlusColumn_x002B_Plus

Table_x0020_Name/Column_x002B_Plus eq 3 Table_x0020_Name/Column_x002B_Plus eq 3

Table_x0020_Special/x005B_Column_x0020_Brackets_x005D eq '[C]' Table_x0020_Special/x005B_Column_x0020_Brackets_x005D eq '[C]'

Использование DAX для фильтрации по нескольким значениямUse DAX to filter on multiple values

Еще один способ фильтрации по нескольким полям заключается в следующем: можно создать вычисляемый столбец, который сцепляет два поля в одно значение.Another way to filter on multiple fields is by creating a calculated column that concatenates two fields to a single value. Затем можно выполнить фильтрацию по этому значению.Then you can filter on that value.

Например, у нас есть два поля: Territory и Chain.For example, we have two fields: Territory and Chain. В Power BI Desktop нужно создать новый вычисляемый столбец (поле), который называется TerritoryChain.In Power BI Desktop, create a new Calculated column (Field) called TerritoryChain. Помните, что имя поля не может содержать пробелы.Remember that the Field name can't have any spaces. Вот формула DAX для этого столбца:Here is the DAX formula for that column.

TerritoryChain = [Territory] & " - " & [Chain]TerritoryChain = [Territory] & " - " & [Chain]

Опубликуйте отчет в службе Power BI, а затем используйте строку запроса в URL-адресе для фильтрации и отображения данных, связанных только с магазинами Lindseys в Северной Каролине.Publish the report to Power BI service and then use the URL query string to filter to display data for only Lindseys stores in NC.

https://app.powerbi.com/groups/me/reports/8d6e300b-696f-498e-b611-41ae03366851/ReportSection3?filter=Store/TerritoryChain eq 'NC – Lindseys'

Закрепление плитки на основе отфильтрованного отчетаPin a tile from a filtered report

Отфильтровав отчет с помощью параметров строки запроса, вы можете закрепить на панели мониторинга связанные визуализации.Once you've filtered the report using query string parameters, you can pin visualizations from that report to your dashboard. Плитка на панели мониторинга отображает отфильтрованные данные. Выбрав эту плитку на панели мониторинга, вы откроете отчет, на основе которого она была создана.The tile on the dashboard displays the filtered data and selecting that dashboard tile opens the report that was used to create it. При этом фильтрация, выполненная на основе URL-адреса, не сохраняется вместе с отчетом.However, the filtering you did using the URL isn't saved with the report. Когда вы выбираете плитку панели мониторинга, отчет открывается в неотфильтрованном состоянии.When you select the dashboard tile, the report opens in its unfiltered state. Это означает, что данные, отображаемые на плитке панели мониторинга, не соответствуют данным, отображаемым в визуализации отчета.Thus, the data displayed in the dashboard tile doesn't match the data displayed in the report visualization.

Это удобно, когда вам нужно увидеть разные результаты: отфильтрованные данные на панели мониторинга и неотфильтрованные в отчете.This discrepancy is helpful when you want to see different results; filtered on the dashboard and unfiltered in the report.

Рекомендации и устранение неполадокConsiderations and troubleshooting

Есть несколько моментов, которые следует учитывать при использовании параметров строки запроса.There are a couple of things to be aware of when using the query string parameters.

  • При использовании оператора in справа от in должен в круглых скобках идти список значений, разделенных запятыми.When using the in operator, the values to the right of in must be a comma-separated list enclosed in parentheses.
  • Сервер отчетов Power BI позволяет вам передавать параметры отчета, включая их в его URL-адрес.In Power BI Report Server, you can pass report parameters by including them in a report URL. Эти параметры URL-адреса не имеют префиксов, так как они передаются непосредственно в подсистему обработки отчетов.These URL parameters aren't prefixed because they're passed directly to the report processing engine.
  • Фильтрация строки запроса не поддерживается при веб-публикации или экспорте в PDF.Query string filtering doesn't work with Publish to web or Export to PDF.
  • Фильтры URL-адреса не поддерживаются при внедрении с помощью веб-части отчетов в SharePoint Online.Embed with report web part in SharePoint Online doesn't support URL filters.
  • Из-за ограничений JavaScript тип данных long равен (2^53-1).The long data type is (2^53-1) due to Javascript limitations.
  • Фильтры URL-адреса могут содержать не более 10 выражений (10 фильтров, соединенных AND).Report URL filters have a 10-expression limit (10 filters connected by AND).

Дальнейшие действияNext steps

Закрепление визуализации на панели мониторингаPin a visualization to a dashboard
Зарегистрируйтесь для получения бесплатной пробной версииSign up for a free trial

Появились дополнительные вопросы?More questions? Попробуйте задать вопрос в сообществе Power BI.Try asking the Power BI Community

Топ-8 полезных фильтров Google Analytics / Habr

По умолчанию Google Analytics (GA) собирает всю статистику посетителей веб-сайта, но для анализа весь массив данных может не понадобиться. Очистить и переработать информацию можно с помощью фильтров на уровне представления. Самые полезные из них разберем в этой статье.

Что нужно знать о фильтрах?


Фильтры в Google Analytics бывают двух видов:
  • Пользовательские;
  • Встроенные.

Встроенные фильтры — простой и понятный инструмент, который позволяет включать и исключать трафик.

С помощью пяти параметров пользовательского фильтра можно создать более гибкие условия фильтрации трафика:

  • Исключить
  • Включить
  • Нижний регистр/Верхний регистр
  • Найти и заменить
  • Расширенный

Настройки можно применять к большинству параметров исходных данных: источники трафика, характеристики браузера, названия страниц и др.

Подробнее о фильтрах – в официальной справке Google Analytics.

До начала работы важно оставить представление, созданное по умолчанию, без изменений и не применять к нему никакие фильтры. Так у вас всегда будет доступ к исходным данным и возможность оценить эффективность примененных фильтров.

Фильтрацию трафика следует настраивать в отдельном представлении.

Настройка фильтров сугубо индивидуальна для каждого проекта и для каждой задачи. Исходя из своей практики мы составили список универсальных и полезных фильтров, далее рассмотрим их на примерах.

Исключение трафика по IP


Важный фильтр, описание которого можно встретить даже в справке GA — исключение трафика с IP-адресов вашей компании.

Пример: сотрудники интернет-магазина часто заходят на сайт по работе, не совершая покупок. В связи с этим падает конверсия, данные искажаются, выводы некорректны. Этого можно избежать с помощью фильтра.

Настройка фильтра

Чтобы исключить внутренний трафик, который искажает данные, создаем встроенный фильтр. Он исключает трафик со всех IP-адресов, которые начинаются с 209.185.108.1. То есть фильтр не допустит до представления данные с IP-адресов 209.185.108.100, 209.185.108.101, 209.185.108.102 и так далее.

Критерий “Начинается с” — лишь один из четырех способов определения IP-адресов в фильтре.

Их также можно определить как:

  • идентичные регулярному выражению
  • заканчивающиеся регулярным выражением
  • содержат регулярное выражение

Разделение событий TEST и PROD


Представьте, что разметка на вашем сайте реализована через разработчиков и после тяжелой недели стажер-разработчик случайно отправляет в GA задвоенное событие об ошибках на вашем сайте интернет-магазина. До обнаружения вами ошибки разработчика пройдут выходные. Итог — данные искажены, анализировать их сложно. Искажения данных из-за неправильной разметки можно избежать с помощью пользовательского фильтра и пользовательского параметра.

Пользовательский параметр h_HIT_TYPE с областью действия на уровне хита (обращения) принимает значение типа события. По умолчанию каждому идентификатору события соответствует тип [test]. После проверки корректности разметки при помощи GTM Lookup Table, тип события вручную меняется на [prod].

Настройка фильтра

Пользовательский фильтр допускает до представления данные только тогда, когда параметр h_HIT_TYPE соответствует шаблону фильтра [prod]. Обратите внимание: поле “Шаблон фильтра” работает в режиме регулярных выражений.

При применении такого фильтра задвоенное событие никогда не попадет в представление, исказив данные. Подобное разделение актуально для всех событий, кроме pageview. Для него параметр h_HIT_TYPE всегда должен принимать значение [prod].

Разделение сред STAGE и PROD


Тестовая среда (или stage) — это область разработки на вашем сайте, где удобно тестировать изменения. Нередко такое тестирование происходит на поддомене с ограниченным доступом. Сгенерированные тестировщиками и разработчиками данные могут негативно отразиться на всей статистике, поэтому важно тщательно контролировать переход сайта из тестовой среды в боевую (prod). Для этого можно создать фильтр по типу среды, предварительно создав пользовательский параметр с областью действия на уровне хита h_ENVIRONMENT_TYPE. Достаточно менять его значение со [stage] на [prod] при переносе сайта из тестовой среды в боевую, чтобы не допустить попадания некорректных данных в представление.
Настройка фильтра

Аналогично настройке предыдущего фильтра, допускаем до представления данные только тогда, когда параметр h_ENVIRONMENT_TYPE соответствует шаблону фильтра [prod].

Таким образом фильтр начнет пропускать данные в представление только после изменения типа среды со [stage] на [prod].

Объединение браузера и его версии


В стандартном интерфейсе Google Analytics бывает затруднительно строить отчет по браузерам и их версиям. Например, для анализа версий браузера существует отчет Браузер и ОС.

По клику на название браузера проваливаемся в отчет по его версиям:

Представьте, что вам нужно получить статистику по всем версиям браузеров. Есть много способов построения подобных отчетов, но для удобства обработки данных приведем их к подобному виду:

Настройка фильтра

В пользовательском расширенном фильтре используем два поля: Поле А и Поле В, создаем на их основе Поле Вывода. Выражения “Извлечь А” и “Извлечь В” служат для поиска текстовых соответствий. В нашем случае используем регулярное выражение (.*), соответствующее любому значению параметров “Платформа операционной системы” и “Версия операционной системы”.

В Поле Вывода выбираем параметр “Версия операционной системы” и ссылаемся на извлеченные значения при помощи обозначений $A1 и $B1.

Таким образом записываем название браузера вместе с его версией.

Подобный фильтр также удобен в применении к версии операционной системы:

Приведение URL к единому виду


Google Analytics чувствителен к регистру. Открывая отчеты по страницам, можно столкнуться с подобными данными:

Это один и тот же ресурс, но GA искажает статистику из-за регистра. Важно учитывать это при построении отчетов. Объединить страницы и избежать ошибок такого рода в сборе данных можно с помощью фильтра, который приведет URL сайта к единому регистру.

Настройка фильтра

В пользовательском фильтре выбираем тип регистра и нужное поле. В нашем случае — приводим URL запроса к нижнему регистру.

Скорректированный URL позволит объединить данные по странице с одинаковым URL, но c разным регистром, приведя их к общему виду. Например — “/balkon.html”. Благодаря оставленному представлению без фильтров, вы всегда будете иметь доступ к данным неизмененного URL.

Приведение названий источников, каналов и кампаний к единому виду


Несмотря на фильтр для изменения регистра URL, источник, канал и кампания останутся с исходным регистром. Это происходит из-за того, что utm-метки передаются в профили Google Analytics в качестве отдельных параметров из “сырых” данных. Каждый из них требует отдельного фильтра для приведения к единому регистру.
Настройка фильтра

Как и в настройке предыдущего фильтра, выбираем нужный тип регистра и поле фильтра. В нашем случае приводим к нижнему регистру источник кампании.

Аналогично настраиваются фильтры для канала и самой кампании.

Исключение www. из имени хоста


Проблема разделения одинаковых страниц по URL может возникнуть не только из-за разного регистра. Например, Google Analytics разделяет данные таких страниц как www.forexample.ru и forexample.ru.

Эту проблему можно решить с помощью фильтра для приведения URL к одинаковому виду.

Настройка фильтра

В пользовательском расширенном фильтре используем Поле А и Поле Вывода. Из имени хоста извлекаем все, что находиться после “www.” с помощью регулярного выражения www\.(.*). Выбираем параметр «Имя хоста» в Поле Вывода и записываем в него полученное значение с помощью выражения $A1.

Корректировка SEO-трафика


Для продвижения сайта в рейтинге выдачи поисковиков важно анализировать данные по переходам из этих систем. Но Google Analytics не всегда корректно определяет SEO-трафик из поиска Яндекса: часть органического трафика попадает в канал referral. Скорректировать данные можно с помощью фильтра.
Настройка фильтра

В пользовательском расширенном фильтре используем два поля, Поле А и Поле В, и перезаписываем на их основе Поле Вывода. Если источник кампании соответствует регулярному выражению yandex, а канал кампании соответствует регулярному выражению referral, фильтр перезапишет канал пользователей как organic.

Подобная проблема затронула и SEO-трафик Mail.ru, фильтр для этой поисковой системы настраивается аналогично.

Фильтры в Google Analytics обладают гибким функционалом. В этой статье мы рассмотрели основные настройки фильтров, позволяющие привести данные к удобному для анализа виду. Важно помнить, что порядок фильтров также играет важную роль в фильтрации трафика.

Фильтруем вся и всё / Habr

Данная статья представляет из себя скорее более FAQ, чем полноценный мануал. Впрочем, многое уже написано на хабре и для того присутствует поиск по тегам. Смысла переписывать всё заново большого нет.

В последнее время наше государство, к счастью или не к счастью, принялась за интернет и его содержимое.
Многие, несомненно, скажут что нарушаются права, свободы и т.п. Конечно, думаю мало у кого возникнуть сомнения по поводу того, что то что придуманные законы сделаны мало понимающими людьми в деле интернетов, да и основная их цель это не защита нас от того, что там есть. Будучи ответственным человеком да подгоняемый и прокурорами в некоторых учреждениях, встаёт вопрос ограничения поступающей информации. К таким учреждениям, к примеру, относятся школы, детсады, университеты и т.п. им учреждения. Да и бизнесу то-же надо заботится об информационной безопасности.
И первый наш пункт на пути к локальному контент фильтру-это

Анализ того, что такое есть интернет и как он работает.

Не для кого не секрет, что 99 процентов интернета-это http. Далее известно, что у каждого сайта есть имя, содержания страницы, url, ip адрес. Известно, также, что на одном ip может сидеть несколько сайтов, как и наоборот. Так-же, url адреса могут быть как динамичны, так и постоянны.
А то, что записано на страничке, то написано. Отсюда делаем выводы, что сайты можно мониторить по:
  1. Имени сайта
  2. url страницы
  3. По содержанию написанного на страничке сайта
  4. По ip адресу.

Далее, весь контент в интернете можно разделить на три группы:
  1. Это плохое
  2. Это неизвестное
  3. Это хорошее.

И отсюда вытекает два идеологических пути:
  1. Разрешаем только то, что хорошее и запрещаем плохое и неизвестное. Данный путь носит название — БООЛЬШОЙ(а бывает и маленький) Белый список
  2. Разрешаем только то, что хорошее и неизвестное. Запрещаем только плохое. Данный путь носит гордое имя Чёрный список.

Ну и конечно между двумя этими путями существует золотая середина-запрещаем плохое, разрешаем хорошее, а неизвестное анализируем и в режиме онлайн выносим решение-плохо или хорошо.
Cредства их осуществления.

Тут опять два пути:
  • Берём готовое решение.
Такие решения тоже бывают 3 видов-платные, бесплатные, ограниченные(пока не дашь денежку).

Платные решения-это аппаратные(тобишь коробка с неизвестно чем, но делающая своё дело), аппаратно-программные(это то-же коробка, но уже с полноценной ос и соответствующими приложениями) и программные.
Бесплатные решения-это только программные. Но бывают и исключения, но это как раз тот случай, подтверждающий правило.
К платным относятся такие, как Kaspersky антивирус соответствующего функционала, ideco.ru, netpolice, kerio и т.п. Найти их легко, ибо их хорошо рекламируют и достаточно в строке поиска ввести что-то вроде — контентный фильтр купить.
Бесплатные решения имеют один недостаток-они всё сразу делать не умеют. найти их затруднительнее. Но вот их список: PfSense, SmoothWall(бывает двух видов-платный и бесплатный. Бесплатный немного не функционален), UntangleGateway, Endian Firewall(тоже есть платный и бесплатный), IPCOP, Vyatta, ebox platform, Comixwall(Чудное решение. Можете скачать с моего сайта 93.190.205.100/main/moya-biblioteka/comixwall). Все данные решения обладают одним недостатком — ограниченность.

  • Делаем всё руками.
Данный путь самый трудный, но самый и гибкий. Позволяет сотворить всё, что душа пожелает(в том числе и лазейку).
Тут есть великое множество компонентом. Но самые мощные и нужные это-
  1. Squid.Без прокси ни куда.
  2. Dansguardian. Это сердце всего контентного фильтра. Единственный ему бесплатный соперник(не считая его форков)-это POESIA фильтр(но он очень дремуч).
  3. DNS сервер Bind.
  4. Clamav. Антивирус.
  5. Squidguard, режик и им подобные редиректоры для прокси.
  6. Squidclamav.
  7. Sslstrip. Эта утилита делает из зашифрованного https трафика, расшифрованный http трафик.
    www.thoughtcrime.org/software/sslstrip. Аналоги ей прокси-сервер flipper и charly proxy. Но работают аналоги на Windows. А второй платен. Но кому надо, то можно и wine развернуть.
  8. Чёрные списки. Данные списки можно взять с www.shallalist.de (1,7 миллионов сайтов), www.urlblacklist.com (а именно версию big с более чем 10 миллионами сайтов), www.digincore.com (около 4 миллионов), списки режика.
  9. Белые списки. Тут всё очень туго. Единственный нормальный(значит-большой) русскоязычный список можно получить от лиги безопасного интернета, и то только в качестве proxy лиги безопасного интернета или программы www.ligainternet.ru/encyclopedia-of-security/parents-and-teachers/parents-and-teachers-detail.php?ID=532. Кстати в связи с digest авторизацией на прокси лиги, данный прокси не подцепить к squid. Если кто знает как подцепить в качестве родительского прокси, прокси сервер с digest аутентификацией, прошу сообщить.
  10. DNS списки. Тут есть два известный варианта. Первый-это skydns фильтр www.skydns.ru.
    Второй-это yandex dns dns.yandex.ru.
    Skydns более функционален, в отличии от яндекса.
Где происходит фильтрация.

Возможны следующие варианты:
  1. На компьютерах пользователя без централизованного управления, в качестве системного компонента или приложения.
  2. То-же, что и первое, но с централизованным управлением(как пример KASPERSKY ADMINISTRATION KIT).
  3. Компонент к браузеру. Есть для хрома и лиса соответствующие плагины
  4. На отдельном компьютере или кластере компьютеров(включая вариант-на шлюзе).
  5. Распределёнка.

1 и 2, 3 варианты с точки зрения быстроты фильтрации-самые быстрые при массовом использовании сети.
С точки зрения трудозатрат, 1 и 3-самые трудозатратные.
С точки зрения надёжности не обхода фильтрации пользователем, то 4-первое место.
5 вариант-мечта. Но его нет нигде.

Теперь следующий вопрос:

Надёжность фильтрации.

Думаю, ясно. Защиту нужно делать многоуровневой, ибо то, что просочится на одном уровне защиты, перекроется другим уровнем.

Давайте поговорим о

О недостатках уровней защиты.

Интернет-это постоянно и главное-очень быстро меняющаяся среда. Понятно, что наши списки будут не поспевать за интернетом, а уж тем более если мы их будем вести руками. Потому участвуйте в сообществах составления списков и используйте не только файлы со списками, но и сервисами списков, где всё сделают за нас(пример — skydns и yandex).
Да и список не гарантирует того, что на какой-то страничке написано что-то не то, а сам сайт полностью белый и пушистый.
Используйте несколько списков. Что не попало в один, может попало в другой.!!!
К программам, работающим по спискам относятся Netpolice(http://netpolice.ru), цензор(http://icensor.ru/), Traffic Inspector для школ(http://www.smart-soft.ru/ru ) и др. Обычно программы, умеющие делать лексический разбор, умеют работать и по спискам.
Цензор имеет старенькую базу от 2008 года. Но бесплатен во всем. Netpolice существует множество версий и есть бесплатная, но урезанная.
И не забываем-ни чёрные, ни белые списки не смогут вас оградить на 100%. На то способен только лексический анализ.
  • Анализ на вирусы.
Тут главная проблема-антивирусные базы. Опять же, один антивирус на шлюзе, другой-на рабочем месте.
  • Анализ содержания написанного на страничке.
Тут главная проблема — лексический разбор текста. На искусственный разум, понятно, денег нет ни у кого, потому используют базу слов и выражений с весовым коэффициентом. Чем меньше база-тем менее эффективна фильтрация, но и чем больше база, тем более она эффективна, но и трудозатратна. К примеру, разбор произведения Жюль Верна Таинственный остров с lib.ru занимает 8 секунд с моей базой и dansguardian(core2duo 2,66). Да и базу надо где-то взять. Нормальную базу мне пришлось делать самому, чем с вами и делюсь 93.190.205.100/main/dlya-dansguardian/spiski/view.

Следующий вопрос-это

Возможность обхода пользователем контентной фильтрации.

Данный вопрос можно решить двумя радикальными способами.
  1. Запретить прямой выход в сеть, за исключением прохода через прокси сервер(на прокси надо и метод CONNECT ограничить списком доменов или/и ip или mac адресов.) Это делаем или при помощи iptables, или просто в sysctl.conf пишем net.ipv4.ip_forward=0. Ну iptables — это вопрос уже отдельной статьи.
  2. Запретить пользователям на рабочих местах что-то ставить. Ясно дело: нет программы-нет обхода.

Вопрос-производительность.

Тут более или менее всё ясно-больше памяти, больше герц, больше кэша. И очень полезно для тех, у кого мощности маленькие, использовать оптимизацию по CFLAGS. Это позволяют делать все линуксы и фряхи, но особо удобны gentoo, calculate linux, slackware, freebsd.
У кого многоядерные процессоры, то используйте OPEMNP(dansguardian пригодный для оного можете взять у меня 93.190.205.100/main/dlya-dansguardian. Кстати, в нём-же исправлена ошибка с невозможностью загрузки данных в интернет.) CFLAGS="-fopenmp". LDFLAGS="-lgomp". Не забудьте включить -O3 -mfpmath=sse+387. Про автопатчинг здесь.
Вопрос-иерархия кэшей и прокси.

Если у вас много компьютеров и вы имеете возможность использовать несколько в качестве фильтрации, то делайте так. На одном ставите прокси сервер squid и указываете на нём параметры родительских кэшей с параметром round-robin(http://habrahabr.ru/post/28063/). В качестве родительских на каждом конкретном компьютере выступает выступает dansguardian со squid в связке(ибо без вышестоящего dansguardian не умеет). Вышестоящие располагаются на тех-же компьютерах, на которых располагаются и dansguardians. Для вышестоящих большой кэш не имеет смысла делать, а для первого-обязательно самый большой кэш. Даже если у вас одна машина, то на ней всё-равно делайте связку squid1->dansguardian->squid2->провайдер с таким-же распределением кэширования. На dansguardian не возлагайте ничего, кроме анализа написанного на страницах, перерисовки контента, заголовков и некоторых url, блокировки mime типов. Не в коем случае не вешайте на него антивирус и чёрные листы, иначе будут тормоза.

Анализ по спискам пусть будут делать squid1 и squid2.
Проверку на вирусы пусть будет делать squidclamav через c-icap на squid2. Белые списки вешаем на squid1.
Всё, что в белом списке, должно идти напрямую в интернет, минуя родительские прокси.!!!

DNS сервер обязательно используем свой, в котором используем перенаправление на skydns или dns от yandex. Если есть локальные ресурсы провайдера, то добавляем зону forward на dns провайдера. Так-же в dns сервере прописываем локальную зону для нужных внутрисетевых ресурсов(а что-бы было красиво, они нужны). Указываем nosslsearch поиска google. В конфигах squid обязательно используем свой dns.
Для всего используем вебку Webmin и командную строчку. На windows серверах всё делаем через мышку.

Настройка локальной сети

  1. Используйте аутентификацию по ip адресам. Если вы не «серьёзная» организация, доступ с обязательным логинированием ни к чему.
  2. Используйте логически разделённые сети в одной сплошной физической сети. IP адреса выдавайте по MAC адресам. Запрещайте коннект на порт прокси-сервера при несовпадении MAC адреса машины с присвоенному данному MAC адресу, IP адреса.
  3. Настройте iptables таким образом, чтобы обращения на любые порты(3128, 80, 80, 3130, 443) шло через порт прокси сервера.
  4. Настройте автоматическую настройку прокси-сервера в сети через dns и dhcp. www.lissyara.su/articles/freebsd/trivia/proxy_auto_configuration
  5. Группы и уровень фильтрации делайте по ip адресу.
  6. Можно настроить прокси в настройках браузера.
К нам идёт проверка.

В данном случае-все ползунки в максимум.
Дополнительно-запрещаем все видеосайты, контакт, социальные сети, музыкальные порталы, файлообменники и файлообменные сети.
Запрещаем mp3.
Ставим галочку напротив безопасного поиска в личном кабинете SKYDNS.
Обязательно приводим в порядок документацию!!!
Фильтрация https

Для этого между squid2 и провайдером, вклиниваем sslstrip. Эта утилита делает из зашифрованного https трафика, расшифрованный http трафик. www.thoughtcrime.org/software/sslstrip. Можно также в правилах squid1 задать соответствия на 443 порт и доменов на запрет/разрешение.
Ещё пара советов.

  • Не все сайты корректно фильтруются. Потому используйте возможность обхода, заблокированного dansguardian. Готовую страничку можно взять у меня 93.190.205.100/main/dlya-dansguardian/stranichka-blokirovka-i-razblokirovka-dlya-dansguardian/view .
  • Всегда ведите логи посещений сайтов и храните статистику за год. Всегда найдутся умные люди, хотящие что-то сделать противозаконного в интернете. Достаточно идентификатора по ip, в силу достаточности и во имя исполнения закона защиты персональных данных. Статистику делайте открытой.
  • Есть сайты, не подвластные dansguardian. Это те, кто использует json. Это, например, yandex.ru, video.yandex.ru. Делайте для них авторизацию по паролю, через squid1.
  • Не все провайдеры исполняют закон и от того то, что написано в федеральном списке экстремистских материалов и на zapret-info.gov.ru не блокируется. Потому, для первого-читайте и заполняйте базу слов и выражений, а для второго-используйте выгрузку antizapret.info.
    Знайте, большинству прокуроров без разницы, кто виноват. Видно-значит видно. И хоть что делай.
  • Не забываем и ставим snort со snortsam. Безопасность превыше всего, тем паче если у вас белый ip адрес на шлюзе.
  • У многих поисковых систем есть возможность фильтровать выдачу результатов. Это происходит путём добавки к запросу специального параметра, или через куки. В последнее время всё чаще стали переходить на куки, потому нужна соответствующая настройка dansguardian. Да и конфиги оного можете взять у меня. Там они прописаны. В дополнение, списки обязательно делайте в 4 кодировках(1251, utf8, koi8r, utf16) и выберите правильный метод фильтрации(подробнее в конфигах). Для youtube используем edufilter.
  • Хороший мануал по настройке squid можно найти здесь.

URL-фильтрация - Service Gateway Engine

Функциональность URL-фильтрации, реализованная в решениях «РДП.РУ», позволяет оператору связи выполнять требования законодательства (ФЗ-139; ФЗ-149; ФЗ-187; ФЗ-436) в отношении фильтрации нежелательных и запрещенных ресурсов в сети Интернет, а также оказывать дополнительные услуги типа «детский интернет» с фильтрацией по большим спискам (до 30 млн URLs).

Поддерживается фильтрация URL (вида host/путь) для протокола HTTP и хостов для протокола HTTPS по всем TCP-портам. Причем, списки фильтруемых URL могут назначаться как всем абонентам сразу, так и каждому персонально в зависимости от его тарифного плана. Для идентификации пользователя используется Radius или проприетарный TCP-интерфейс. Устройство EcoFilter может быть дополнено функциональностью сервисного шлюза (нарезка скоростей абонентам, переадресация на страницу отключения, URL-based open garden, URL-based policing, CG-NAT).

Самой распространенной на сегодняшний день схемой URL-фильтрации в РФ является метод, при котором на систему DPI направляется не весь трафик, а лишь его небольшая часть, предварительно отфильтрованная маршрутизаторами (ACL, оттягивание BGP-маршрутов и т.д.). Этот подход имеет принципиальный неустранимый недостаток. Дело в том, что многие из запрещенных (и нежелательных) сайтов размещены на CDN-сетях и их IP-адреса, выдаваемые серверами DNS, постоянно динамически меняются. Кроме того, для фильтрации https необходим весь входящий трафик (именно в нем содержится сертификат хоста), и, если его нет, такие ресурсы корректно фильтроваться не могут. Таким образом, нужный для URL-фильтрации трафик просто не попадает в ACL и проходит в обход фильтрующего DPI-оборудования, что обычно дает 1-2% пропусков по системе Ревизор и приводит к штрафам и неприятным разговорам с РКН.

В отличие от большинства аналогов, ориентированных на работу с предфильтрованным трафиком, EcoFilter имеет достаточную производительность и позволяет анализировать весь трафик провайдера по всем TCP-портам, что гарантирует 100% фильтрацию по данным системы Ревизор. Производительность DPI-системы составляет до 160 Гбит/c в 1U, что является лучшим результатом в РФ и хорошим результатом даже по мировым меркам. При необходимости эта производительность легко масштабируется путем использования нескольких устройств, собранных в LAG.

В решении EcoFilter предусмотрены механизмы обнаружения URL в запросах HTTP, даже если абонент использует средства обхода блокировки, такие как доступ с использованием нестандартного порта на сервере, маскировка URL путем фрагментации GET-запроса, использование нестандартной последовательности заголовков и др.

При обнаружении URL в заголовке производится его сопоставление с заданными «черными» и «белыми» списками. Выгрузка списка РКН производится автоматически по расписанию.

Устройство EcoFilter позволяет производить экстракцию всех GET-запросов абонентов с записью их на внешний сервер (сбор BIG data). Функция экспорта информации о GET-запросах дает возможность проводить анализ и строить профили интересов и рисков — как для отдельных пользователей, так и для всей абонентской базы провайдера. В числе прочего, данная функциональность позволяет вывести на качественно новый уровень работу с оттоком благодаря возможности предсказывать потерю конкретного абонента.

EcoFilter является российским продуктом, что официально подтверждено решением межведомственного экспертного совета при Минпромторге РФ (МЭС) и Минкомсвязи РФ.

Отправить ответ

avatar
  Подписаться  
Уведомление о