Очередное сражение с армией клонов

Бороться с дублированным контентом нужно всегда и везде. И эту войну нельзя считать завершенной, пока мы не убедимся, что перекрыты все лазейки, через которые клоны текстов могут просочиться в поисковые системы. Потому что один только бессмысленный и ужасный рандом знает, какой фрагмент статьи посчитается источником, а какой — копипастом… В общем, нужно постоянно быть на чеку.

Основные методы борьбы с дублированием

Перечислим кратко основные способы перекрыть роботам поисковых систем путь к дублям статей на блоге:

• закрыть теги, категории, архивы в файле роботс (подробнее о robot.txt можете почитать в отдельной статье)
• закрыть все, что можно тегом noindex
• указать на первоисточник ссылкой с атрибутом rel=»canonical» (об этом чуть ниже)
• сделать анонсы статей уникальными или, если нет такой возможности, максимально сократить их

И если вы думаете, что достаточно использовать один метод, чтобы чувствовать себя в безопасности — это ошибка. Причем, последствия такого легкомыслия могут быть весьма трагичными. Например, когда сведущие люди пытаются предположить, почему Блоготей подвергся гонениям со стороны Яндекса — почти единственную причину они видят в дублированном контенте.

И это при том, что в файле роботс все давно закрыто! — Но, как любят писать в своих сводах правил сами поисковые системы: «Подобные директивы не являются обязательными для исполнения» Другими словами, мы предлагаем роботу воспринимать наш контент определенным образом и можем лишь надеяться, что он прислушается к нашим мольбам…

Поэтому рассмотрим и другие способы закрывания дублей.

Анонсы постов в блоге

Ситуация №1: не уникальный анонс

Что нужно написать над катом (словами «читать далее»), чтобы человеку захотелось узнать, что под ним?! — Вопрос на миллион долларов!

Ответы могут быть разными. Например, если написать что-то, вроде, «у Пугачевой выросла третья нога», то множественные заходы на страницу статьи нам обеспечены. НО! Качество этого трафика будет катастрофически низким. Потому что у Пугачевой, на самом деле, не выросло никакой третьей ноги. А все другие рассуждения по этому и любому другому поводу будут людям уже неинтересны. Это, по сути, обман посетителя, который моментально отплатит автору той же, фальшивой, монетой.

Можно написать ясно и довольно подробно, о чем пойдет речь в статье. Это хороший тон. И если читателю вообще интересна тема вашего блога, то он с большой вероятностью продолжит чтение. НО! Именно эти наши благие намерения рушит совершенно технический момент: чем бОльшую часть текста мы показываем на главной странице (над катом) — тем бОльшая часть статьи теряет уникальность!!!

Пример: у нас есть уникальная на 100% статья, размером 3000 знаков. Мы оставляем над чертой «читать далее» анонс в 300 знаков. И анонс на главной странице блога, и статья на своей отдельной странице индексируются поисковиком (вы же не закроете от индексации главную страницу!). В результате, статья теряет 10% уникальности!

Для справки, выделенный фрагмент — это и есть около 300 знаков. А весь текст, от начала до этого момента — это около 3000 знаков.

Но ужас даже не в потерянных 10%. Ужас в том, что ничто не мешает роботу поисковой системы принять анонс за оригинал текста, а его «повтор» на странице одиночной записи — за «клон», за копию. Конечно, некая логика присуща и поисковикам. Поэтому:

чем меньший фрагмент статьи будет фигурировать на главной, тем меньше шансов, что этот дубль повлияет на мнение поисковых систем о контенте блога.

Ситуация №2: уникальный анонс

Ведя блог на Вордпресс, мы можем прописывать к каждому посту уникальные анонсы. То есть, те, которые будут демонстрироваться только на главной странице и не появятся в тексте статьи. Для этого существует два пути:

1. Использовать поле «цитата» (в редакторе ниже) — здесь можно написать текст, который будет появляться в виде анонса на главной странице блога и на всех других дублирующих страницах (рубрики, архивы и так далее). Но иногда этот трюк не срабатывает… Ну, так построен шаблон.
2. Использовать теги

   <!--more--><!--noteaser-->

   - с первым тегом все прекрасно знакомы (он отделяет анонс от основной части статьи, это и есть кат). А второй тег не дает анонсу повторяться на странице одной записи. Не все визуальные редакторы позволяют автоматически прописать этот тег. Но вставить его руками — это две секунды, а пользы будет… вагон!

И если спросите вы меня, чего ж ты сама не писала себе уникальные анонсы?! — То оправдаться мне, кроме лени и глупости, будет нечем… Теперь, может, и буду, ибо осознала всю глубину безобразия своего блого-поведения 

Покажите, где первоисточник rel=»canonical»

Еще один дорожный знак для роботов поисковых систем — это атрибут rel=»canonical». Его нужно добавлять к ссылке в виде

<link rel="canonical" href="url">

Этот атрибут указывает на адрес, где находится текст, который следует считать первоисточником. Звучит хорошо, но нередко авторы не очень понимают, как использовать данную возможность на практике.

Многие СЕО плагины, например, Platinum SEO Pack прописывают rel=»canonical» к ссылкам. Можно сделать это и собственноручно. Но нужно понимать, чем тег link отличается от тега a. Мы знаем, что при помощи тега а ставятся ссылки. На странице может быть сколько угодно таких ссылок. А тег link прописывается в хедере (header) страницы и не создает никакой видимой ссылки. Вот там-то и нужно добавить атрибут rel=»canonical».

В результате должно получиться следующее:

на каждой странице в header будет указание на ее же адрес с примечанием, что это и есть основной адрес данного текста

Поисковые системы, опять же, не обещают, что их роботы беспрекословно послушаются наших указаний. Например, если на странице появится несколько линков с атрибутом rel=»canonical». Но это еще одна подсказка, мол, оригинальный текст опубликован тут, а все его дубли — просто анонсы.

Использование разных методов борьбы с дублями

Конечно, самым радикальным и, наверное, правильным способом уничтожения клонов являются оригинальные анонсы. Проблема тут возникает только у тех авторов, которые не делали этого с самого начала ведения блога. Например, мне придется переписать анонсы для двухсот статей (или не придется?). Это, мягко говоря, немного напрягает…

Чтобы избежать больших трудозатрат в такой ситуации, стоит прибегнуть к укорачиванию текста анонсов и использованию цитат (excert). Для этого удобнее использовать темы Вордпресс, которые позволяют осознанно выбрать, какой вид будут иметь выдержки текста на главной (а также, на страницах категорий, архивов, тегов и так далее). Например, в теме, которую я использую, можно назначить использование цитат. Правда, размер самой цитаты пришлось подгонять, редактируя саму Index.php.

Плагин Platinum SEO Pack полезен со всех точек зрения, в том числе, и для автоматической простановки атрибута rel=»canonical».

В общем, покой нам только снится