Что такое карта сайта (Sitemap) и зачем она нужна

XML-карта сайта (XML-Sitemap) — это файл, который помогает поисковым роботам быстрее находить, сканировать и индексировать важные страницы сайта. Для крупных или постоянно обновляемых ресурсов правильно составленная и актуальная карта сайта заметно повышает шансы на хорошую видимость в выдаче.

Что такое XML-Sitemap и почему она важна?

XML-Sitemap — это машиночитаемый файл в формате XML, где перечислены URL-адреса сайта, которые владелец хочет показать поисковым системам. Он сообщает роботам о структуре сайта, новых страницах и изменениях в существующих.

XML-Sitemap выполняет несколько ключевых функций:

• улучшает сканирование новых и глубоко вложенных страниц;
• ускоряет попадание обновлений и новых страниц в индекс;
• сигнализирует о приоритетах страниц со стороны владельца сайта;
• помогает обнаруживать ошибки сканирования и неиндексируемые страницы.

Карта сайта не заменяет корректную внутреннюю перелинковку и продуманную структуру, но дополняет их и делает сайт более понятным для поисковых систем. Наличие Sitemap не гарантирует индексацию всех URL, но значительно упрощает работу роботов.

Различия между XML-Sitemap и HTML-Sitemap

XML- и HTML-карты сайта похожи по названию, но различаются по назначению.

Основные отличия:

• xml-sitemap — машиночитаемый файл для поисковых роботов;
• html-sitemap — страница для посетителей, упрощающая навигацию.

Обе карты полезны: XML ориентирована на инструменты индексации, HTML — на удобство людей и распределение ссылочного веса внутри сайта.

Типы XML-Sitemap

Для разных размеров сайтов используются разные типы карт:

1. Обычная карта сайта.
2. Индексная карта сайта.

Обычная карта сайта

Подходит для большинства ресурсов. Обычная XML-Sitemap содержит список URL-адресов. По стандарту один файл не должен содержать более 50 000 URL и не превышать 50 МБ в несжатом виде; превышение ограничений может привести к игнорированию части или всего файла.

Индексная карта сайта

Используют для очень крупных сайтов или мультиязычных проектов. Индексная карта ссылается на несколько обычных Sitemap; каждый из них должен соответствовать ограничениями (50 000 URL и 50 МБ). Такой подход упрощает управление большим количеством страниц.

Как найти XML-Sitemap

Проверить наличие карты сайта можно несколькими способами:

1. Проверить файл robots.txt.
2. Открыть стандартизированные URL, например sitemap.xml.
3. Использовать поисковые операторы для поиска XML-файлов на домене.

Через файл robots.txt

Файл robots.txt обычно расположен в корне сайта и часто содержит директиву Sitemap с полным URL карты (например, https://site.com/sitemap.xml).

По стандартному URL

Если ссылка в robots.txt отсутствует, попробуйте открыть https://site.com/sitemap.xml или варианты вроде sitemap_index.xml, sitemap-pages.xml и т. п.

С помощью поисковых операторов

Запрос вида site:site.com filetype:xml помогает найти XML-файлы на домене, среди которых может быть карта сайта.

Элементы XML-Sitemap

Понимание структуры Sitemap важно для её правильного создания и поддержки.

Элементы обычной XML-Sitemap

Основные элементы обычной карты сайта:

• строка с указанием версии XML и кодировки UTF-8;
• корневой тег urlset как контейнер для всех URL-адресов;
• тег url для данных об одном URL;
• тег loc с полным URL страницы.

Необязательные элементы внутри тега url:

• тег lastmod с датой последнего изменения страницы;
• тег changefreq с предполагаемой частотой изменений;
• тег priority с приоритетом страницы относительно других.

Формат даты в lastmod должен соответствовать стандарту W3C Datetime (например, 2023-10-27T10:00:00+03:00). Теги changefreq и priority сегодня учитываются поисковыми системами далеко не всегда.

Элементы индексной XML-Sitemap

Основные элементы индексной карты:

• обязательная строка с версией XML и кодировкой UTF-8;
• корневой тег sitemapindex как контейнер ссылок на другие Sitemap;
• тег sitemap для данных об одном файле Sitemap;
• тег loc с полным URL файла Sitemap.

Необязательный элемент для sitemap — тег lastmod с датой изменения самого файла Sitemap.

Как создать XML-Sitemap

Создание Sitemap зависит от размера сайта и технических навыков владельца.

1. Использовать возможности CMS.
2. Создать вручную небольшую карту.
3. Применить онлайн-генераторы Sitemap.
4. Сканировать сайт с помощью специализированного ПО.

С помощью системы управления контентом

Современные CMS предлагают встроенные инструменты или плагины для автоматической генерации и поддержки Sitemap. Для WordPress популярны плагины типа Yoast SEO и Rank Math — они автоматизируют процесс и снижают риск ошибок.

Вручную

Ручное создание подходит только для очень маленьких сайтов (до нескольких десятков страниц). Необходимо строго соблюдать синтаксис XML, поэтому этот метод не подходит для средних и крупных проектов.

С помощью сторонних генераторов

Онлайн-сервисы сканируют сайт и формируют Sitemap автоматически. Многие предлагают бесплатные версии с ограничениями по странице, для больших сайтов доступны платные планы.

Использование специализированного программного обеспечения

Десктопные инструменты для SEO позволяют тонко настраивать генерацию Sitemap, исключать ненужные разделы и создавать карты для изображений, видео и других типов контента.

Рекомендации поисковых систем по XML-Sitemap

Соблюдение рекомендаций поисковых систем повышает эффективность индексации.

Рекомендации Google

Основные практики по работе с Sitemap:

• включайте только канонические и доступные для индексации URL-адреса;
• размещайте файл в корневом каталоге сайта;
• создавайте файлы в кодировке UTF-8;
• не превышайте лимиты: 50 000 URL и 50 МБ на файл;
• исключайте страницы с мета-тегом noindex и страницы, запрещенные в robots.txt;
• обновляйте карту сайта автоматически при изменениях контента;
• помните, что наличие Sitemap не гарантирует индексацию всех URL.

Рекомендации Bing

Если Sitemap соответствует рекомендациям Google (корректные URL, кодировка, лимиты и актуальность), то Bing тоже корректно обработает такой файл.

XML-Sitemap для мультиязычных сайтов

Для сайтов с несколькими языковыми версиями важно указать альтернативы, чтобы избежать проблем с дублированием и направлять пользователей на нужную версию.

Для указания альтернатив в Sitemap используйте следующие шаги:

1. Добавить пространство имен xmlns:xhtml="http://www.w3.org/1999/xhtml".
2. Добавить внутри каждого url теги xhtml:link с rel="alternate" и соответствующим hreflang.

Пример для страницы с версиями на английском, французском и немецком:

<url> <loc>https://site.com/en/page-name/</loc> <xhtml:link rel="alternate" hreflang="fr" href="https://site.com/fr/page-name/" /> <xhtml:link rel="alternate" hreflang="de" href="https://site.com/de/page-name/" /> <xhtml:link rel="alternate" hreflang="en" href="https://site.com/en/page-name/" /> </url>

Атрибут rel="alternate" hreflang в коде страницы — стандартный способ реализации, но добавление этих ссылок в XML-Sitemap полезно для очень больших и сложных проектов.

XML-Sitemap для изображений

Отдельная карта для изображений помогает индексировать графику, особенно если изображения грузятся через JavaScript или находятся на CDN.

Для создания карты изображений выполните следующие шаги:

1. Добавить пространство имен xmlns:image="http://www.google.com/schemas/sitemap-image/1.1".
2. Добавить внутри url тег image:image для каждой страницы с изображениями.
3. Внутри image:image указать обязательный тег image:loc с полным URL изображения.

Важные требования и рекомендации:

• на одной странице можно перечислить до 1000 изображений;
• sitemap для изображений должна соответствовать общим лимитам (50 000 URL и 50 МБ);
• включайте только полноразмерные изображения, а не миниатюры;
• URL изображений должны быть доступны для сканирования;
• если изображения на другом домене, оба домена должны быть подтверждены в панели поиска.

Раньше использовались теги image:caption, image:title и image:license, но они не влияют на ранжирование в текущих рекомендациях.

XML-Sitemap для видео

Отдельная карта для видео помогает поисковым системам обнаружить и правильно обработать видеоконтент.

Для создания карты видео выполните следующие шаги:

1. Добавить пространство имен xmlns:video="http://www.google.com/schemas/sitemap-video/1.1".
2. Добавить внутри url тег video:video для каждой страницы с видео.
3. Внутри video:video указать обязательные элементы, такие как thumbnail_loc, title, description и content_loc или player_loc.

Обязательные теги для описания видео:

• ссылка на миниатюру видео (video:thumbnail_loc);
• название видео (video:title);
• описание видео до 2048 символов (video:description);
• фактический URL видеофайла (video:content_loc) или URL проигрывателя (video:player_loc).

Рекомендации для видео Sitemap: кодировка UTF-8, соблюдение лимитов (50 000 элементов и 50 МБ), открытый доступ к видео и плееру для роботов и регулярное обновление карты.

XML-Sitemap для новостей

Для сайтов, публикующих новости, существует специальная карта для Google News — она помогает быстрее индексировать свежие статьи.

Особенности новостной Sitemap:

• включайте только статьи, опубликованные за последние два дня;
• максимум 1000 URL в одном файле;
• обновляйте карту по мере публикации новых материалов;
• рекомендуется размещать файл в корне сайта или в новостном разделе.

Основные требования к структуре новостной Sitemap:

1. Добавить пространство имен xmlns:news="http://www.google.com/schemas/sitemap-news/0.9".
2. Внутри url использовать тег news:news с обязательными дочерними элементами, такими как news:publication, news:publication_date и news:title.

Как внедрить и сообщить о карте сайта поисковым системам

После создания Sitemap важно уведомить поисковые системы, чтобы они начали её учитывать.

1. Добавить карту через инструменты для веб-мастеров.
2. Указать путь к карте в файле robots.txt.
3. Отправить ping-запрос для быстрого уведомления.

Через инструменты для веб-мастеров

Добавьте URL карты в Google Search Console и в панели другого поисковика, чтобы получать подробные отчеты о статусе индексации и ошибках.

В файле robots.txt

Добавьте директиву Sitemap с полным URL карты сайта — роботы найдут её при следующем сканировании файла.

Использование ping-запроса

Для быстрой нотификации можно отправить HTTP GET-запрос, например: https://www.google.com/ping?sitemap=ПОЛНЫЙ_URL_ВАШЕЙ_SITEMAP. Это удобно при срочных изменениях, но основную работу лучше вести через панели для веб-мастеров.

Распространенные ошибки в XML-Sitemap и их устранение

Даже при внимательной настройке ошибки в Sitemap мешают индексации. Регулярная проверка и валидация необходимы.

Типичные ошибки включают:

• некорректные URL, возвращающие ошибки или перенаправления;
• включение неканонических или дублирующихся URL;
• включение страниц, закрытых от индексации;
• превышение лимитов по размеру или количеству URL;
• неправильная кодировка или некорректное экранирование символов;
• устаревшие данные и отсутствие обновлений;
• синтаксические ошибки в XML.

Для поиска и исправления ошибок используйте следующие инструменты:

• Google Search Console для детальных отчетов о Sitemap и ошибках сканирования;
• валидаторы и SEO-сканеры, которые проверяют структуру и синтаксис Sitemap.

Оптимизация Sitemap для больших сайтов

Для очень больших ресурсов полезно дробить Sitemap на логические части и тестировать, как это влияет на сканирование.

Практические советы:

• создавайте отдельные файлы Sitemap по разделам или типам контента;
• формируйте меньшие файлы для приоритетных или часто обновляемых страниц;
• не создавайте чрезмерно много мелких файлов, чтобы не усложнить управление;
• учтите, что отчеты в панелях могут ограничивать количество отображаемых файлов, проверяйте доступность данных.

Заключение

XML-Sitemap — практичный инструмент для управления индексированием сайта. При правильной настройке, регулярном обновлении и мониторинге она упрощает жизнь как владельцу ресурса, так и поисковым роботам.

Независимо от того, используете ли вы обычную карту, индексную или специализированные карты для изображений, видео и новостей, ключевыми остаются корректность данных, соблюдение лимитов и регулярное обновление.