Формируем черные списки в автоматическом режиме

Одним из важнейших направлений в области информатизации является ограничение доступа к информации учащихся, на основании закона No 436-ФЗ от 29.12.2010 г. «О защите детей от информации, причиняющей вред их здоровью и развитию», Федерального закона No 139-ФЗ от 28 июля 2012 года «О внесении изменений в Федеральный закон «О защите детей от информации, причиняющей вред их здоровью и развитию» и отдельные законодательные акты Российской Федерации по вопросу ограничения доступа к противоправной информации в сети Интернет». И как показывает практика, сотрудник отвечающий на информатизацию в школе, также и отвечает за организацию контентной фильтрации в образовательном учреждении. Т.е., как минимум, использует в работе «черные списки».

От школы же требуется не много ни мало:

  • ограничить доступ несовершеннолетних к электронным ресурсам, несовместимым с задачами с задачами обучения и воспитания (содержащим в сети Интернет информацию экстремистского характера, суицидальной направленности, идеи криминальной идеологии и субкультуры, межнациональной и межконфессиональной розни и др.);
  • специалистам, ответственным за функционирование средств контентной фильтрации доступа к сети Интернет, ежемесячно производить принудительное обновление «Черного списка» средств контентной фильтрации согласно Федеральному списку экстремистских материалов.

Распространенным решением поставленной задачи является  организация фильтрации на персональных компьютерах учащихся доступа в сеть Интернет по «белым спискам» (ранее мы уже писали о том, как это сделать), а на персональных компьютерах сотрудников  — по «черным спискам». И если «белые списки» школа может формировать самостоятельно, то формирование «черных списков» и их наполнение работа достаточно сложная, так как уследить за всеми запрещенными ресурсами в сети Интернет, практически, невозможно.

Если мы попытаемся найти Федеральный список экстремистских материалов, то сможем его найти только в таком виде: http://minjust.ru/ru/extremist-materials. Его, также, можно выкачать, но для формирования «черных списков» он абсолютно непригоден.

Также в нашем распоряжении имеется Единый реестр доменных имен, указателей страниц сайтов в сети «Интернет» и сетевых адресов, позволяющих идентифицировать сайты в сети «Интернет», содержащие информацию, распространение которой в Российской Федерации запрещено

Единый реестр доменных имен, указателей страниц сайтов в сети «Интернет» и сетевых адресов, позволяющих идентифицировать сайты в сети «Интернет», содержащие информацию, распространение которой в Российской Федерации запрещено

Но данном сайте, мы можем только проверить является ли ресурс запрещенным или нет. Получить базу может только оператор связи, которым образовательное учреждение не является:

Данный ресурс может служить только подспорьем в решении поставленной задачи.

Однако, на просторах сети существует также сайт antizapret.info.

Данный сервис предназначен для сбора, обработки и хранения информации о доменах, ip-адресах и страницах, находящихся в Едином реестре доменных имен, указателей страниц сайтов в сети "Интернет" и сетевых адресов, позволяющих идентифицировать сайты в сети "Интернет", содержащие информацию, распространение которой в Российской Федерации запрещено (http://zapret-info.gov.ru)

Как сообщают владельцы сайта — они имеют доступ к запрещенным ресурсам со стороны провайдера и постоянно пополняют Реестр запрещенных сайтов и Федеральный список экстремистских материалов. После выборочной проверки предоставленных ресурсов, мы убедились, что они, действительно, относятся к списку запрещенных. Также antizapret.info предлагает механизм, для скачивания запрещенных списков. Для нас интересны следующие:

Получение текущего содержания реестра: URL: http://api.antizapret.info/all.php

Получение текущего содержания базы Минюста: URL: http://api.antizapret.info/minjust.php

Т.е. мы  можем автоматизировать процесс формирования списка запрещенных материалов —  «черных списков».

1. Выкачиваем список:

wget http://api.antizapret.info/all.php

Он приходит в виде:

2016-07-22;https://www.hollywoodbets.net/;hollywoodbets.net;197.96.4.94,196.36.224.155
2016-07-22;https://www.nevada-bets.com/;nevada-bets.com;104.28.17.32,104.31.74.124,104.31.75.124,185.56.28.235,199.27.134.112,199.27.135.112,104.28.16.32
2016-07-22;https://www.tab.co.nz/sport/#;tab.co.nz;104.16.60.48,190.93.244.199,190.93.245.199,104.16.59.48
2016-07-22;http://allbuker.ru/leonbets/#adres;allbuker.ru;104.27.167.102,104.27.166.102
2016-07-22;http://kino-sezon.ru/boeviki/film-boj-s-tenyu-2-revansh/;kino-sezon.ru;91.215.155.213

2. Так как нас интересуют адреса, то формируем список при помощи утилиты awk:

awk -F»;» ‘{print $2}’ all.php > all

Получаем файл с содержимым вида:

http://tr.betboo332.com/
https://www.91812888.com/su/

3.  Файл с содержанием Федерального списка экстремистских материалов поступаем аналогично.

4. Для автоматизации процесса скачивания и формирования списков воспользуемся скриптом:

#!/bin/bash

#backlist all
wget http://api.antizapret.info/all.php
awk -F»;» ‘{print $2}’ all.php > /var/lib/redirector/banlists/blacklist/urls
#minjust
wget http://api.antizapret.info/minjust.php
awk -F»;» ‘{print $2}’ minjust.php > minjust.txt

Для Rejik, в нашем варианте, скрипт выглядит так:

#!/bin/bash

#backlist all
wget http://api.antizapret.info/all.php
rm /var/lib/redirector/banlists/blacklist/urls
awk -F»;» ‘{print $2}’ all.php > /var/lib/redirector/banlists/blacklist/urls
chmod 777 /var/lib/redirector/banlists/blacklist/urls
rm all.php

#minjust
wget http://api.antizapret.info/minjust.php
rm /var/lib/redirector/banlists/minjust/urls
awk -F»;» ‘{print $2}’ minjust.php > /var/lib/redirector/banlists/minjust/urls
chmod 777 /var/lib/redirector/banlists/minjust/urls rm minjust.php
service squid reload

Скрипт помещаем в crontab и радуемся )

5. В зависимости от того, какой софт использует образовательное учреждение для организации контентной фильтрации -формируем правило фильтрования в данной программе и предоставляем ей сформированные списки.

Скачать списки:

Как организовать систему контентной фильтрации на базе СПО можно прочитать здесь.

Заказать настройку сервера контентной фильтрации

 

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Подтвердите, что Вы не бот — выберите человечка с поднятой рукой:

This blog is kept spam free by WP-SpamFree.