Как убрать дубли страниц в JournalX при бесконечном скролле и сохранить индексацию

В JournalX бесконечный скролл удобен для читателя, но для SEO он часто создаёт побочные эффекты: одна и та же лента может открываться как обычная страница архива, как подгруженный фрагмент, как URL с параметрами и как отдельные страницы пагинации. Если это не контролировать, поисковик начинает индексировать лишние варианты, а сигналы ссылок и поведенческих факторов расползаются по дублям.

Ниже разберём практический сценарий: как найти источник дублей, что править в теме или плагинах, и как проверить, что после правок в индексе остались только нужные URL.

Какие дубли чаще всего появляются в JournalX

Для темы с бесконечным скроллом типичны не только классические дубли пагинации. Проблема обычно шире: один и тот же контент может быть доступен по нескольким адресам, а поисковый робот не обязан сам угадать, какой из них основной.

Типовые сценарии

• /category/news/ и /category/news/page/2/ индексируются вместе, хотя вторая страница не несёт самостоятельной ценности.
• Страница архива доступна и как обычный HTML, и как URL с параметрами подгрузки, например ?load_more=1 или похожими служебными параметрами.
• В карточках постов есть блоки «похожие материалы», которые ведут на те же записи из разных разделов, усиливая внутреннюю конкуренцию.
• Если тема или плагин не проставляют корректный rel="canonical", поисковик может выбрать не ту версию URL.

Если у вас уже есть плагин для SEO, это не значит, что проблема решена автоматически. Плагин может закрыть часть дублей, но не знает, как именно у вас реализован бесконечный скролл в теме.

Диагностика: где именно ломается индексация

Начинать лучше не с правок, а с проверки фактических URL. Сначала нужно понять, какие адреса отдают одинаковый контент и какие из них уже попали в индекс.

Что проверить вручную

• Откройте архив рубрики, страницу 2 и 3, а также версию с бесконечной подгрузкой, если она меняет URL.
• Посмотрите исходный код страницы и найдите тег <link rel="canonical">.
• Проверьте, не появляются ли в HTML ссылки на служебные параметры, которые не должны индексироваться.
• Сравните заголовок <title> и H1 на разных вариантах URL: они не должны быть случайно одинаковыми для страниц, которые вы хотите развести.

Проверка через Search Console и серверные логи

В Search Console откройте отчёт по страницам и найдите дубли с параметрами, пагинацией и архивами. Если робот часто обходит не те URL, это видно по отчёту об индексировании и по логам сервера: Googlebot может тратить бюджет на страницы, которые вы не планировали продвигать.

Если есть доступ к логам, ищите повторяющиеся запросы к одним и тем же материалам через разные адреса. Это особенно полезно, когда проблема не видна в интерфейсе сайта, но уже съедает crawl budget.

Как исправить дубли в теме JournalX

Есть два рабочих подхода: настроить поведение темы и подстраховать его SEO-плагином. В реальном проекте обычно нужны оба слоя.

1. Задайте канонический URL для архивов и страниц пагинации

Если страница 2 и далее не должны ранжироваться отдельно, укажите canonical на основную страницу архива. В WordPress это можно сделать через фильтр в теме или в мини-плагине.

<?php
add_filter('wpseo_canonical', function ($canonical) {
    if (is_paged() && (is_category() || is_tag() || is_archive())) {
        return get_pagenum_link(1);
    }

    return $canonical;
});

Этот пример рассчитан на сайты, где используется Yoast SEO. Если у вас другой SEO-плагин, логика та же, но фильтр будет другим. Смысл не в названии хука, а в том, чтобы у страниц пагинации был предсказуемый канонический адрес.

2. Закройте служебные параметры от индексации

Если бесконечный скролл или AJAX-подгрузка используют параметры в URL, их не стоит оставлять как полноценные страницы для поиска. Самый безопасный вариант — не генерировать индексируемые ссылки на такие адреса вообще. Если это невозможно, добавьте noindex для служебных параметров на уровне сервера или SEO-плагина.

<?php
add_action('wp_head', function () {
    if (!empty($_GET['load_more']) || !empty($_GET['ajax'])) {
        echo '<meta name="robots" content="noindex,follow">' . "\n";
    }
}, 1);

Это не универсальное решение для всех сайтов, но для служебных URL оно часто помогает быстро убрать мусор из индекса. Важно не путать noindex с блокировкой в robots.txt: если страница уже известна поисковику, одна только блокировка может не убрать её из выдачи.

3. Не дублируйте контент в подгружаемых блоках

При бесконечном скролле часто делают ошибку: в HTML сразу выводят и первую страницу, и скрытые фрагменты следующих страниц, а затем ещё и подгружают их через JS. Для пользователя это выглядит нормально, но для поисковика это уже повторяющийся контент.

Правильнее оставить в исходном HTML только первую порцию записей, а следующие подгружать отдельно. Если тема JournalX уже так работает, проверьте, не дублирует ли её кастомизация тот же список дважды.

Пошаговая настройка без лишнего риска

1. Определите, какие URL должны индексироваться: основная страница рубрики, отдельные записи, возможно, первая страница тегов.
2. Проверьте canonical на архивах и пагинации.
3. Уберите из внутренних ссылок служебные параметры подгрузки.
4. Закройте noindex те URL, которые нужны только для интерфейса.
5. После правок очистите кеш страницы и объектный кеш, если он есть.
6. Переобойдите ключевые URL в Search Console и посмотрите, какой canonical выбрал Google.

Как проверить, что решение сработало

Проверка должна быть не на глаз, а по нескольким признакам сразу. Если исправить только HTML, но не посмотреть на индекс и ответы сервера, можно пропустить старые дубли.

• В исходном коде основной страницы архива canonical указывает на неё саму.
• У страниц пагинации canonical ведёт на первую страницу архива, если это ваша стратегия.
• Служебные URL с параметрами отдают noindex или вообще не появляются в ссылках.
• В Search Console уменьшается количество страниц с параметрами и дублирующихся архивов.
• В логах реже встречаются обходы нецелевых URL.

Если после правок Google всё ещё выбирает другой canonical, проверьте, нет ли противоречий: например, canonical ведёт на одну страницу, а внутренняя перелинковка и sitemap — на другую.

Частые ошибки и как их исправить

Canonical указывает не туда

Иногда canonical на странице 2 ведёт не на первую страницу архива, а на главную сайта или на случайную запись. Это ломает логику индексации. Исправление простое: canonical должен быть осмысленным и соответствовать типу страницы.

Noindex ставят на всё подряд

Если закрыть от индексации и архивы, и записи, и рубрики, можно случайно обнулить видимость сайта. Закрывайте только те URL, которые реально являются техническими или дублирующими.

Параметры подгрузки остаются в sitemap

Если служебные URL попадают в карту сайта, поисковик получает сигнал, что их нужно обходить. В sitemap должны быть только канонические страницы.

Кеш не очищают после правок

После изменения canonical или robots meta старые версии могут ещё какое-то время отдаваться из кеша. Очистите кеш плагина, серверный кеш и, если используется CDN, его тоже.

Что делать, если нужен бесконечный скролл и нормальная SEO-структура одновременно

Это нормальный сценарий для JournalX: лента должна быть удобной, но не превращаться в набор дублей. На практике лучше разделить пользовательский интерфейс и SEO-логику. Для пользователя — бесконечная подгрузка. Для поисковика — понятные архивы, корректный canonical и чистые URL без служебных параметров.

Если вы используете дополнительные инструменты для чистки дублей и технической оптимизации, имеет смысл посмотреть на Clearfy Pro: он помогает закрывать часть типовых SEO-ошибок и упрощает контроль над служебными страницами. Но даже с таким плагином базовую логику темы всё равно нужно проверить вручную: именно тема решает, какие URL вообще появляются на сайте.

Практический чек-лист перед публикацией

• Проверить canonical на первой странице архива и на пагинации.
• Убедиться, что служебные параметры не попадают в sitemap.
• Посмотреть, нет ли дублей в исходном HTML и в подгружаемых блоках.
• Проверить, что robots meta не закрывает нужные записи.
• Очистить кеш и повторно проверить HTML в браузере и через Search Console.

Если после этого в индексе остаются лишние URL, проблема уже не в одной настройке. Тогда нужно смотреть шаблоны темы, фильтры SEO-плагина и то, как именно JournalX формирует ссылки при бесконечном скролле.