3 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Кейс: Что делать, если ваш сайт заблокировал Роскомнадзор

Кейс: Что делать, если ваш сайт заблокировал Роскомнадзор?

Роскомнадзор (Федеральная служба по надзору в сфере связи, информационных технологий и массовых коммуникаций) учреждён для того, чтобы блокировать доступ к интернет-ресурсам по запросу прокуратуры и других структур. Ограничение доступа осуществляется во внесудебном порядке, поэтому производится достаточно оперативно.

  1. Причины блокировки
  2. Кейс сети «Горилка»
  3. Как снять блокировку Роскомнадзора с сайта

Блокировка РКН происходит на уровне интернет-провайдеров — все операторы связи в обязательном порядке подключаются к информационной системе, в которой содержится список заблокированных сайтов (Единый реестр запрещённых сайтов). За актуальность сведений в реестре отвечает служба Роскомнадзора. Проверить блокировку URL-адресов можно на сайте РКН.

Информацию о причинах блокировки можно найти на сайте Роскомнадзора

В свою очередь провайдеры обязаны обеспечить блокировку ресурса, чтобы исключить доступ пользователей к запрещённому контенту. Также ограничивается доступ к VPN-сервисам и анонимайзерам, своевременно не подключившимся к реестру.

Блокировка сайта РКН: Блокировка и технические нюансы

Сайт попал в запрещенный список ресурсов Роскомнадзора и его заблокировали? В данном материале поделюсь своими наблюдениями и тем, что было с проектом клиента, который попал под блок РКН.

Всем привет. На связи Толстенко Александр. В общих чертах принцип работы Роскомнадзора и инструкцию, что делать если сайт заблокировали, писал в статье: РКН: Что это такое, как работает ведомство, можно ли выйти из под блокировки.

P.S.: Материал вычитали и дополнили профессиональные сеошники.

Для того, чтобы выяснить, как блокировка происходит технически у хостинг провайдера, пришлось провести опрос по разным хостинг провайдерам. Результатами, поделился в статье: Блокировка сайтов по требованию РКН: Как работают хостинги — Опрос.

В данной статье, опишу как вообще происходит блокировка и свои наблюдения за клиентским проектом, который попал под блокировку РКН и что с ним происходило во время и после ее снятия.

P.S.: Рекомендую ознакомиться с первыми двумя ссылками выше, т.к. каждый текст является дополнением текущего. Из за большого объема и множество технической информации, пришлось разбить материал на части. Ниже, напишу только о том, что было с сайтом.

Что происходит с сайтом для поисковых систем, когда его заблокировали?

Ничего. Поисковые роботы Яндекс и Google продолжали индексировать сайт в обычном режиме.

Возможно, это было связано с тем, что на сайте было более 1кк страниц. С небольшими проектами, обычно все происходит не так: Яндекс и Гугл — практически моментально удаляют все страницы сайта из индекса и перестают сканировать новые, т.е. проиндексированных страниц будет ровно — 0.

Ниже, примерно по дням, напишу кратко свои наблюдения за проектом, который попал «под раздачу» РКН.

Почему примерно? Изначально, не планировал делиться наблюдениями за проектом. Хронологию событий восстанавливал по памяти и переписке с клиентом, в которой остались кое какие скрины.

P.S.: P.S.: На продвижении находился очень большой проект. Поэтому он долгое время не индексировался поисковыми системами, особенно Гугл (он упорно не хотел клеить старый домен к новому), в отличие от Яндекса.

День 1

Когда сайт перестал открываться в браузере, причину поняли сразу, как только проверили логи сервера и посмотрели почту на которую был зареган выделенный сервер. От хостинг провайдера, в почте было «письмо счастья» РКН, которое владелец сайта благополучно не прочитал (у меня доступов не было).

По логам сервера, сайт парсился ботами Яндекс и Гугл, как ни в чем, ни бывало.

Ключевые запросы по которым ранее были переходы на портал, по-прежнему держались в ТОП 10 поисковой выдачи, но при попытке перехода по ссылке из серча, проект не работал, т.к. уже был заблокирован хостингом из за выявленных нарушений РКН.

Интересная особенность, не знаю, то ли это особенности работы хостинга, то ли из-за решения РКН, но блокирнули только 443 порт, 80 — работал. Т.е. если убрать 301 редирект с версии сайта на https, сайт бы работал.

P.S.: Если важно сохранить трафик и быстро среагировать, рекомендую настраивать мониторинг минимум раз в сутки, на попадание сайта в список РКН.

День 2

После того, как в первый день погуглил и поизучал инфу, которой было с гулькин нос и она была раскидана по разным источникам, проконсультировались с юристом, опросили знакомых владельцев сайтов, обсудили свои догадки (в постановлении не было четкой причины, было указание только на домен), начали править тексты и убирать блоки за которые могли закрыть сайт.

Т.к. мы не знали, сколько бы длилась эпопея с разблокировкой домена, было принято решение купить домен-зеркало и склеить его через 301 редирект, чтобы можно было побыстрее вернуть трафик и заменить url неработающего домен на новые в результатах поисковой выдачи.

Читать еще:  Голографический прицел (последователь коллиматора): обзор eotech, bushnell, цены, видео

P.S.: Как разблокировать старый домен и какие еще действия еще можно предпринять, подробно написал в статье: РКН: Что это такое, как работает ведомство. (ссылка в самом начале).

День 4

Сайт по прежнему недоступен для пользователей по старому домену, только еще появилось сообщение о блокировки web-ресурса от интернет провайдера.

При попытке определить какие страницы домена остались в индексе поисковой системы посредством запроса в яндексе

увидел, что в выдаче начали появляться страницы нового домена, т.е. пошла склейка нового сайта.

День 5

Решил проверить, начал ли Гугл склеивать новый домен со старым. Для этого вбил в строку поиска выборочно несколько самых посещаемых страниц сайта. В индексе, по-прежнему были ссылки на старый домен.

Попытался ускорить попадание в индекс нескольких важных страниц нового домена закупкой ссылок с сайтов СМИ — особого результата не увидел, хотя ссылки были не с самых дешевых источников и посещаемость у них была 1000-3000 чел/сутки.

P.S.: При проверке на момент написания текста выяснил, что в ТОПе по старому домену еще есть очень много не склеенных страниц портала.

Когда делал выборочную проверку по ключам, которые были в ТОПе в Гугла и давали максимальный трафик, заметил конкурента, который попал под блок чуть раньше нас и по наблюдениям, точно не работал где то недели две, пока они не переехали на другой домен. Или сразу не заметили, или не знали что делать и как быстро решить проблему. У него тоже в ТОПе долго висели url от старого домена по некоторым страницам.

P.S.: В процессе работы увидел еще нескольких конкурентов, которые также попали в список РКН, но они быстро восстановили доступ к старому домену и переклеили информацию на новый.

День 7

После выходных, опять проверял сайт в результатах выдачи Гугла, чтобы посмотреть изменилось ли что-то от проделанных действий. Увидел забавную картину, о которой я бы и не узнал, если бы за выходные не переехал с Краснодара, в соседний небольшой городок.

Так вот, когда перешел по ссылке из результатов выдачи по старому домену и сайт открылся без vpn по новому, сразу не понял, что произошло. Спустя несколько минут, поймал себя на мысли, что домен у нового провайдера не блокируется и меня редиректит на новый.

Тогда пошел проверять блокировку ресурса с мобильного телефона и разных ip-адресов: МСК, Краснодара и смартфона с питерской симкой. Сайт был в блоке, а в соседнем городе нет. Почему так, не знаю, возможно дело в кэше DNS провайдера, а может в другом причина.

P.S.: Была у меня одна забавная история с кэшем dns у одного Севастопольского провайдера. Когда жил в Севастополе и делал сайт на одном хостинге, а потом перенес его на другой. Сайт с кабельного интернета был недоступен, а с мобильного телефона работал. Обратился к провайдеру, который ответил, что видимо закешировался dns. Хоть техподдержка и сказала, что кешь скинула и сайт должен был сразу заработать, через кабель он заработал только спустя 3-5 дней.

День 8

Нужно было каким-то образом возвращать старый домен, поскольку на нем растилась ссылочная масса, с которой на сайт могли совершить переход новые пользователи или пользователи у которых он был в закладках. Для этого решили повесить страницу-заглушку, с похожим контентом, убрать 301 и написать письмо о снятии блокировки в РКН.

P.S.: Пока ждали ответ, в панели Яндекс.Вебмастере сайты расклеились из за различного контента) Что делал, подробно написал в первой ссылке в начале статьи выше.

День 10

Обратную связь от РКН после подачи заявления получили примерно через 7 дней. Когда сняли ограничение, по старым url с поиска, при клике редиректило уже на новый домен без впн.

Что было с трафиком до/после?

После блокировки ресурса, трафик сократился примерно на 80-90%, т.е. откуда то, на сайт все же переходы были. Как выяснилось позже, когда анализировал метрику, остаточный трафик на сайт шел с «глубинки». Об этом бы никогда бы не узнал, не переехав за выходные в другой населенный пункт.

P.S.: На момент написания статьи трафик восстановился примерно на 80% из Гугла и Яндекса. Проблема в том, что портал очень большой и боты его не успевают быстро переиндексировать, хотя и был настроен Last-Modified.

Выводы

РНК — это не фильтр поисковых систем, как многие могут считать. Если у вас ресурс не из одной сотни страниц, для поисковых роботов он будет некоторое время работать в обычном режиме, но через время страницы вывалятся из индекса серча и новые не будут индексироваться.

Ограничение доступа к веб ресурсу и его поддоменам происходит в первую очередь на уровне хостинга, во вторую провайдером связи, где есть нарушения.

Новое зеркало вскоре после переезда будет заблокировано, если не устранены предписания Роскомнадзора.

Если вы хотите быстро восстановить трафик, нужно использовать только 301 редирект. От 302 в результатах выдачи поисковых систем будут url заблокированного домена, кликнув по которому, посетитель будет видеть неработающий сайт.

Если резко упал трафик почти до нуля, первым делом проверяйте блокировку на сайте РКН. Если блока нет, копайте дальше.

А ваш проект блокировал РКН? Наблюдали, что происходит с проектом? Можете поделиться полезной информацией?

Порядок блокировки

Порядок блокировки сайтов органами исполнительной власти включает несколько обязательных этапов:

  1. Подача заявки. Роскомнадзор, как оператор реестра запрещенных сайтов, принимает от граждан обращения о ресурсах, содержащих запрещенную информацию. Сообщить о таких сайтах можно здесь (п. 7 Правил).
  2. Направление заявки в уполномоченный орган. Роскомнадзор проверяет сообщение на предмет спама и в течение суток направляет его в орган, ответственный за запрет информации того или иного характера.
  3. Рассмотрение заявки уполномоченным органом. В течение суток ответственный орган должен отреагировать и признать информацию запрещенной или отказать в признании. При необходимости проведения экспертизы срок рассмотрения продлевается до 7 суток. В этот же срок ответственный орган передает информацию о принятом решении обратно в Роскомнадзор (п. 8 Правил).
  4. Внесение записи в реестр. В течение суток после получения решения, оператор делает реестровую запись. Одновременно с этим направляет оператору хостинга сайта и владельцу ресурса уведомление о включении конкретного сайта в реестр (п. 9 Правил).
  5. Проверка. По истечении суток с момента направления уведомления, сотрудник Роскомнадзора проверяет, приняты ли меры для удаления запрещенной информации с сайта. Если информация удалена, Роскомнадзор удаляет веб-страницу из реестра, если нет – информация об этом передается оператору связи, который обязан в течение суток ограничить доступ к сайту (п. 12 Правил).
Читать еще:  Парадоксальная реальность. ВПО-208 (.366 ТКМ)

Судебная блокировка сайтов происходит в немного ином порядке: на основании административного искового заявления, поданного прокуратурой или физическими лицами. Получив положительное решение, заявители также направляют его в Роскомнадзор, который вносит запись в реестр, уведомляет владельца, а затем блокирует ресурс в случае неудаления запрещенной информации.

Право владельцев присутствовать на суде

В случаях принятия решения о признании информации запрещенной через органы исполнительной власти, все однозначно: решения принимаются в наиболее короткие сроки, владельцы на этапе принятия решений не привлекаются. Аналогичный подход практикуется и при судебных блокировках: прокурор подает заявление о признании информации запрещенной к распространению – это установление юридически значимого факта, в связи с чем в процесс не привлекаются ответчики – владельцы интернет-ресурсов, на которых эта информация размещена.

Но впоследствии это может стать основанием для пересмотра дела. Во всяком случае, к таким выводам пришел Верховный суд, обосновав свое решение тем, что признание информации запрещенной существенно затрагивает права и интересы авторов текстов и владельцев интернет-сайтов (определение ВС РФ № 78-КГ17-101 от 20.04.2018). Данное постановление суда нормативной силы не имеет, потому не может стать обязательным для нижестоящих судов. Но показательным примером и дополнительным инструментом при обжаловании судебной блокировки все же является.

Кроме блокировок придется платить деньги

Исполнительский сбор. Пристав не просто вынесет постановление о блокировке. Он еще будет взыскивать исполнительский сбор:

  • для граждан и ИП — 5000 рублей;
  • для компаний — 50 000 рублей.

Даже если сразу удалить информацию, все равно придется платить эти деньги или ходить по судам, чтобы немного уменьшить сумму.

Штрафы. Если владелец сайта не исполняет решение суда, его будут штрафовать уже по другому закону. Если сайт принадлежит организации, за каждый случай неисполнения требований пристава придется заплатить еще 50 тысяч рублей. Для обычных людей штраф меньше, но тоже есть.

Платить будет именно владелец сайта: это он обязан удалить информацию и выполнить требования суда и пристава. Даже если автор статьи или комментария вообще другой человек, заплатит сайт. А с автором комментария будут другие счеты.

Шесть шагов по восстановлению трафика

Мы стартовали уже через час после блокировки, а основные вещи закончили в течение суток. Вот, что нужно сделать:

1. Расскажите всем

Первое и самое главное: мы начали активно оповещать пользователей о существовании зеркал сайта. Мы распространяли информацию везде, где только можно: по электронной почте, в соцсетях и на форумах.

Еще когда только появились первые слухи о возможной блокировке — примерно полгода назад — мы сразу организовали зеркала и разослали пользователям письма о том, где нас искать, если что. Завели домены HideMe.one и HideMe.wtf — причем второй из них не был зеркалом сервиса, а только содержал кнопку, которая направляла пользователя на зеркало. Вероятность бана этой площадки была минимальная. Доступ нам блокировали не только в России, но еще и в Казахстане, Китае и других странах — и везде HideMe.wtf оказался самым стойким.

Вообще, переезд на новый домен стал для нас хорошим поводом привести всё к одному имени — раньше мы использовали бренд inCloak VPN на западе, множество зеркал с именем HideMe в России. Это было сложно и неудобно. Блокировка дала стимул сделать ребрендинг быстрее и принять новое имя.

2. Воспользуйтесь классным инфоповодом

Блокировка Роскомнадзором — это очень классный инфоповод для СМИ и блогеров.

Мы оказались не подготовлены и не оповестили как следовало журналистов, но даже так все равно получили множество публикаций. Основная наша работа со СМИ — информирование их о том, что мы снова живы. Понятно, что медиа обычно не ставят прямые ссылки, но по ощущениям, именно шумиха в СМИ дала нам львиную долю трафика на новый сайт.

3. Оперативно меняйте ссылки

Разумеется, срочно пришлось заменить все ссылки во внешней рекламе на зеркало или новый домен, чтобы не терять пользователей и рекламные бюджеты.

4. Замените домен и IP-адрес

Мы заменили домен и IP-адрес с установкой 301 редиректа и сохранили пути всех старых ссылок. Если пользователь пытается перейти по адресу hideme.ru/vpn/, он попадает на правильный раздел нового домена https://hidemy.name/vpn/, а не просто на главную страницу.

Это позволит поисковикам правильно связать старые и новые ссылки, перенести их «вес» и вернуть прежние позиции всем страницам. Об этом следующий пункт.

Читать еще:  Русский пистолет-пулемёт пп ср-2 «вереск»

5. Смените основной домен в выдаче

Другой важный этап — смена основного домена в выдаче. Речь, конечно же, про два основных поисковика рунета: Яндекс и Google. Делается это так:

  1. В robots.txt в директиве Host указать новый основной домен;
  2. Добавить старый и новый домен в webmaster.yandex.ru, и в разделе «Переезд сайта» для старого домена — указать новый;
  3. Добавить новый домен в google.com/webmasters/ (функции «переезда» в панели не предусмотрено, поисковик должен сам понять, что произошло);
  4. Загрузить новый файл Sitemap.xml (создать можно с помощью множества онлайн-сервисов в интернете) в обе панели вебмастера;
  5. Ждать. К сожалению, не менее 2 недель.

На мой взгляд, именно проблема с поисковиками — основная причина того, что мы еще не восстановили весь трафик на сайте. Когда поисковики догонят, мы вернемся к прежним значениям по трафику и, думаю, даже увеличим их.

6. Добавьте контекст

На время ожидания замены домена в поисковых сетях, имеет смысл добавить объявления в контекстные сети (Директ и Adwords) по ключевым названиям вашего сайта. Пользователи будут искать, что же случилось, а значит, важно им сразу дать ответ и направить их на нужный адрес. Ключевики мы подбирали так, чтобы охватить по максимуму целевых поисковых запросов: hideme, hideme ru, хайдми и так далее.

Стоит проконсультироваться со специалистом и грамотно составить объявления, подобрать правильные ключевые фразы. Но в целом даже без дополнительных консультаций, на хайпе в СМИ и блогах такие объявления дают отличный CTR.

Забавная блокировка

Роскомнадзор иногда попадает в курьезные ситуации. Бывало и такое. В своем безудержном рвении запретить всё и вся, которое иногда напоминает чуть ли не слепой фанатизм, «специалисты» Роскомнадзора в прошлом году внесли в реестр запрещенных IP-адрес, на котором был расположен домен самого надзорного ведомства. Таким образом ребята отключили себя от Интернета.

В схожую ситуацию загнали Федеральную службу по надзору в сфере связи, информационных технологий и массовых коммуникаций ее «мастера» и тогда, когда «объявили войну» производителю программного обеспечения Comodo Group, чьими услугами ведомство активно пользовалось. Еще одна подножка самому себе! Более того, программой Comodo Internet Security пользовались многие государственные ведомства и другие организации, не говоря уже о частных пользователях.

Еще один занимательный случай произошел, когда Роскомнадзор заблокировал сайты YouPorn и PornHub. Условия разблокировки все те же — устранение противоправного контента. Правда, уточнять что-либо в ведомстве не стали, как не было никакой конкретики и в соответствующем решении суда. В ответ PornHub сделал Роскомнадзору предложение в обмен на снятие блокировки предоставить премиум-аккаунт.

Приведенные в нашем обзоре данные и факты говорят об одном. Никто не спорит с тем, что бороться с чернухой и терроризмом нужно не только в реальности, но и в интернет-пространстве. Однако делать это нужно несколько более обдуманно, да и принципы и методы работы не всегда стоит разрабатывать по единому лекалу. Речь не идет об избирательности, скорее, о правильном определении целей и средств для их достижения. Пока не будет выстроено внятной и объективной стратегии работы Роскомнадзора в Интернете под каток невольных репрессий будет попадать все большее количество обычных россиян, для которых всемирная паутина стала не столько пространством развлечений, сколько площадкой для работы и заработка.

Что стоит знать о блокировке Роскомнадзором?

  1. Блокировка сайта происходит: а) через так называемый Deep Packet Inspection (DPI) б) на уровне DNS. в) По IP ресурса (по-моему уже не блокируют из-за неэффективности метода).
  2. По вариантам а) и б) менять IP адрес сайта бесполезно
  3. Если вы смотрите на заблокированный сайт с российского IP но через VPN, то сайт будет доступен и вы не увидите того, что он заблокирован
  4. Делать редиректы на варианты домена с www, без www, на https и другие варианты не работают. Блокируется домен целиком со всеми алиасами
  5. Если вы хотите восстановить трафик с помощью редиректов (302 например) с заблокированного домена на новый на время выяснений и процесса разблокировки, то это не поможет ввиду метода блокировки описанного в пунтке 1. Люди все равно будут видеть заглушку от РКН и никакого редиректа не будет.
  6. Боты в отличии от людей заходящих на сайт через браузеры видят редиректы и коды страниц как есть. То есть, если поставить 301 редирект со старого сайта на новый, то пользователи редиректится не будут, но код у страницы для ботов будет 301.
  7. Переезд на новый домен со склейкой через 301 редирект без устранения причины блокировки малоэффективна, так как подобные клоны сайтов быстро снова попадают под блокировку.

Не ждите, действуйте!

Что будут делать посетители сайта, зайдя на заблокированный сайт? Всё что угодно, только не искать, как обойти блокировку. Поэтому придется заняться сохранением трафика самостоятельно.

По закону регулирующий орган рассматривает заявку до 30 дней. Потеря клиентов на месяц — ощутимая проблема и серьезные убытки для бизнеса.

Поэтому рекомендуем принять следующие меры:

1. Создаем «зеркало» (то есть копию) сайта на другом доменном имени.

Пример:

avto099.ru — заблокировали.
Создаем — avto99.ru.

2. Настраиваем перенаправление посетителей с avto099.ru на avto99.ru.

3. Ускоряем индексацию нового адреса сайта. Указываем его в социальных сетях и картах. Проводим работы для раскрутки сайта в Google и Яндекс.

Если ваш запрос удовлетворят и снимут ограничения, то можно вернуться к старому домену, проведя аналогичные обратные действия.

Ссылка на основную публикацию
Статьи c упоминанием слов:
Adblock
detector