Борьба с воровством контента – поучительная история

Забавная история о том, как я обратил воровство контента себе во благо.

Недавно заметил, что один мой сайт сильно просел в выдаче по популярному запросу.

Ну думаю, поисковики изменили алгоритм и результат не заставил себя ждать. Надо будет выделить время и переписать текст статьи, чтобы вернуть свои позиции.

Сразу решил посмотреть на сайты конкурентов и обалдел. Они нагло тырили часть моего контента, просто вырезая лирику, которую я добавляю в каждый пост, чтобы посетителям было интересно. Для людей же пишу, а не для ботов.

Сразу скажу, что я и раньше замечал подобное, но те сайты не конкурировали со мной в выдаче и я относился к этому лояльно. Ну решила компьютерная фирма разместить на своем сайте полезную инфу для своих клиентов – да пожалуйста. Вы мне не мешаете – ну и ладно. Всем надо как-то  жить.

Но тут меня подвинул какой-то одностраничник с кучей всплывающей рекламы – тут уже не до смеха. Землю рыть буду, но отомщу. Ребята извиняйте, но под раздачу попадут уже все!

Сижу и злюсь. Глаза горят. Мозг рождает планы мести с трагическими последствиями для воров контента. Идеи генерируются каждые пару секунд, но отметаются из-за недостаточного масштаба последствий. На часах 2 часа ночи. Сон как рукой сняло.

Ладно думаю, сперва приму радикальные меры, а там уже видно будет. Если сейчас не пойду спать, то утром жена со мной не будет разговаривать. И так целыми днями сижу за компом.

Меняю контент, очищаю кэш и проверяю сайты. На некоторых он сразу изменяется. Ээээ…вы чего? Получается при каждом посещении скрипт лезет ко мне на сайт за обновлениями! Ну как так?! Cron же есть!

Блокирую IP адреса сайтов через .htaccess

<Limit GET POST>
order allow,deny
deny from 95.211.169.13
deny from 185.98.6.152
deny from 176.57.216.145
allow from all
</Limit>

C указанных адресов на сайт зайти уже не получится.

Обновляю странички…

На некоторых сразу вылазит ошибка. Видимо грабберы не проверяют доступность моего сайта.

Надо перекурить, чтобы успокоиться и собраться с мыслями. Выхожу на балкон.

После возвращения понимаю, что это полумеры. Прокси никто не отменял да и не эстетично это как-то.

Умом понимаю, что сейчас на этих страницах могу разместить все, что мне захочется.

Была мыслишка написать кучу гадостей и скормить это грабберам контента, но мне показалось этого недостаточно, да и плюсов мне от этого никаких. Ну обнаружат админы. что я их спалил и найдут новое решение или прикроют свои лавочки.

Нет уж. Эмоции надо отбросить и найти решение, которое принесет мне пользу.

Нельзя спешить! Системный подход нужен!

Надо отловить IP всех грабберов, чтобы в случае чего все-же закрыть им доступ.

Узнаем IP граббера контента

Будем палить IP граббера путем добавления HTML комментария с результатом вывода <?php echo $_SERVER['REMOTE_ADDR']; ?> (кеширование на блоге выключил).

Утром проверяю сайты. Большинство уже обновилось и засветило IP своих грабберов. Сохраняю все в блокнот – вдруг пригодится.

Следующим шагом рассматривал добавления meta тега с редиректом на мой сайт через 30 минут (чтобы не спалиться), но из статей в инете понял, что 301 редирект (не смотря на мнение многих пользователей) через meta теги не срабатывает. Значит пользы мне от этого не будет.

Посидел, подумал и ПАБАМ. Идея! Добавил канонический URL со ссылкой на свой сайт, чтобы поисковики знали, кто настоящий автор этого контента.

Каноническая страница — это оригинальная страница или первоисточник.

Сперва думал, что не сработает, так как размещен за пределами head, но прошло пару дней и я  стал гораздо выше в выдаче.

В итоге я еще добавил скрытую ссылку на свой сайт с нужным мне анкором (текст до и после ссылки) – получилось 21 ссылка на блог с тематических сайтов.

Тех, кто был в топе – выкинул из выдачи путем скармливания <meta name="robots" content="noindex, nofollow"> (запретил поисковикам индексировать эти сайты)

Для некоторых сайтов с приличной посещаловкой подсунул рекламный код Adsense "Объявления уровня страницы" (только на мобилках отображается – тоже чтобы не сильно палиться).

Осталось победить только один сайт, который грамотно ворует мой контент и фильтрует все лишнее. IP его граббера я одной хитростью отловил и видимо просто забаню его по нему или по User Agent.

P.S.

Если вы попадали в похожие ситуации, то поделитесь своими наработками в комментариях, ну или просто выскажите свое мнение по данному вопросу.

Да, вот еще что. Была идея подсунуть IP адресам некоторых воров контента информацию, которая привлечет внимание спецслужб. Вебмастеру потом прилетели бы большие неприятности - эту идею откинул, так как посчитал перебором, но не забыл :)