Що таке карта сайту (Sitemap) і навіщо вона потрібна

XML-карта сайту (XML-Sitemap) — це файл, який допомагає пошуковим роботам швидше знаходити, сканувати та індексувати важливі сторінки сайту. Для великих або постійно оновлюваних ресурсів правильно складена та актуальна карта сайту значно підвищує шанси на гарну видимість у видачі.

Що таке XML-Sitemap і чому вона важлива?

XML-Sitemap — це машиночитабельний файл у форматі XML, де перелічено URL-адреси сайту, які власник хоче показати пошуковим системам. Він повідомляє роботам про структуру сайту, нові сторінки та зміни в існуючих.

XML-Sitemap виконує кілька ключових функцій:

• покращує сканування нових та глибоко вкладених сторінок;
• прискорює попадання оновлень та нових сторінок до індексу;
• сигналізує про пріоритети сторінок з боку власника сайту;
• допомагає виявляти помилки сканування та неіндексовані сторінки.

Карта сайту не замінює коректну внутрішню перелінковку і продуману структуру, але доповнює їх і робить сайт більш зрозумілим для пошукових систем. Наявність Sitemap не гарантує індексацію всіх URL, але значно полегшує роботу роботів.

Відмінності між XML-картою сайту та HTML-картою сайту

XML- та HTML-карти сайту схожі за назвою, але відрізняються за призначенням.

Основні відмінності:

• XML-Sitemap — машиночитабельний файл для пошукових роботів;
• HTML-Sitemap — сторінка для відвідувачів, що спрощує навігацію.

Обидві карти корисні: XML орієнтована на індексаційні інструменти, HTML — на зручність людей та розподіл ваги посилань всередині сайту.

Типи XML-карт Sitemap

Для різних розмірів сайтів використовують різні типи карт:

1. Звичайна карта сайту.
2. Індексна карта сайту.

Звичайна карта сайту

Підходить для більшості ресурсів. Звичайна XML-Sitemap містить список URL-адрес. За стандартом один файл не повинен містити більш ніж 50 000 URL та не перевищувати 50 МБ у несжатому вигляді; перевищення обмежень може призвести до ігнорування частини або всього файлу.

Індексна карта сайту

Використовують для дуже великих сайтів або мультимовних проектів. Індексна карта посилається на кілька звичайних Sitemap; кожен із них має відповідати обмеженням (50 000 URL та 50 МБ). Такий підхід спрощує управління великим числом сторінок.

Як знайти XML-Sitemap

Перевірити наявність карти сайту можна кількома способами:

1. Перевірити файл robots.txt.
2. Відкрити стандартизовані URL, наприклад sitemap.xml.
3. Використати пошукові оператори для пошуку XML-файлів на домені.

Через файл robots.txt

Файл robots.txt зазвичай розташований у корені сайту і часто містить директиву Sitemap з повним URL карти (наприклад, https://site.com/sitemap.xml).

За стандартним URL

Якщо посилання в robots.txt відсутнє, спробуйте відкрити https://site.com/sitemap.xml або варіанти на зразок sitemap_index.xml, sitemap-pages.xml тощо.

За допомогою пошукових операторів

Запит типу site:site.com filetype:xml допомагає знайти XML-файли на домені, серед яких може бути карта сайту.

Елементи XML-Sitemap

Розуміння структури Sitemap важливе для її правильної створення та підтримки.

Елементи звичайної XML-Sitemap

Основні елементи звичайної карти сайту:

• рядок з вказівкою версії XML та кодування UTF-8;
• кореневий тег urlset як контейнер для всіх URL-адрес;
• тег url для даних про один URL;
• тег loc з повним URL сторінки.

Необов'язкові елементи всередині тегу url:

• тег lastmod з датою останньої зміни сторінки;
• тег changefreq з очікуваною частотою змін;
• тег priority з пріоритетом сторінки відносно інших.

Формат дати у lastmod має відповідати стандарту W3C Datetime (наприклад, 2023-10-27T10:00:00+03:00). Теги changefreq та priority сьогодні розглядаються пошуковими системами не завжди.

Елементи індексної XML-Sitemap

Основні елементи індексної карти:

• обов'язкова рядок з версією XML та кодуванням UTF-8;
• кореневий тег sitemapindex як контейнер посилань на інші Sitemap;
• тег sitemap для даних про один файл Sitemap;
• тег loc з повним URL файлу Sitemap.

Необов'язковий елемент для sitemap — тег lastmod з датою зміни самого файлу Sitemap.

Як створити XML-Sitemap

Створення Sitemap залежить від розміру сайту та технічних навичок власника.

1. Використати можливості CMS.
2. Створити вручну невелику карту.
3. Застосувати онлайн-генератори Sitemap.
4. Сканувати сайт за допомогою спеціалізованого ПО.

За допомогою системи управління контентом

Сучасні CMS пропонують вбудовані інструменти або плагіни для автоматичної генерації та підтримки Sitemap. Для WordPress популярні плагіни на кшталт Yoast SEO та Rank Math — вони автоматизують процес і знижують ризик помилок.

Ручна

Ручне створення підходить лише для дуже маленьких сайтів (до кількох десятків сторінок). Необхідно суворо дотримуватися синтаксису XML, тому цей метод не підходить для середніх та великих проєктів.

За допомогою сторонніх генераторів

Онлайн-сервіси сканують сайт та формують Sitemap автоматично. Багато з них пропонують безкоштовні версії з обмеженнями за кількістю сторінок; для великих сайтів доступні платні плани.

Використання спеціалізованого програмного забезпечення

Десктопні інструменти для SEO дозволяють тонко налаштовувати генерацію Sitemap, виключати зайві розділи та створювати карти для зображень, відео та інших типів контенту.

Рекомендації пошукових систем щодо XML-Sitemap

Дотримання рекомендацій пошукових систем підвищує ефективність індексації.

Рекомендації Google

Основні практики роботи з Sitemap:

• включайте тільки канонічні та доступні для індексації URL-адреси;
• розміщуйте файл у кореневому каталозі сайту;
• створюйте файли у кодуванні UTF-8;
• не перевищуйте ліміти: 50 000 URL та 50 МБ на файл;
• виключайте сторінки з мета-тегом noindex та сторінки, заборонені в robots.txt;
• оновлюйте карту сайту автоматично при змінах контенту;
• пам'ятайте, що наявність Sitemap не гарантує індексацію всіх URL.

Рекомендації Bing

Якщо Sitemap відповідає рекомендаціям Google (коректні URL-адреси, кодування, ліміти та актуальність), то Bing також коректно обробить такий файл.

XML-Sitemap для багатомовних сайтів

Для сайтів із кількома мовними версіями важливо вказати альтернативи, щоб уникнути дублювання та направляти користувачів на потрібну версію.

Для зазначення альтернатив у Sitemap використовуйте такі кроки:

1. Додати простір імен xmlns:xhtml="http://www.w3.org/1999/xhtml".
2. Додати всередині кожного URL теги xhtml:link із rel="alternate" та відповідним hreflang.

Приклад для сторінки з версіями англійською, французькою та німецькою:

<url> <loc>https://site.com/en/page-name/</loc> <xhtml:link rel="alternate" hreflang="fr" href="https://site.com/fr/page-name/" /> <xhtml:link rel="alternate" hreflang="de" href="https://site.com/de/page-name/" /> <xhtml:link rel="alternate" hreflang="en" href="https://site.com/en/page-name/" /> </url>

Атрибут rel="alternate" hreflang у коді сторінки — стандартний спосіб реалізації, але додавання цих посилань в XML-Sitemap корисне для дуже великих і складних проєктів.

XML-Sitemap для зображень

Окрема карта для зображень допомагає індексувати графіку, особливо якщо зображення завантажуються через JavaScript або знаходяться на CDN.

Щоб створити карту зображень, виконайте наступні кроки:

1. Додати простір імен xmlns:image="http://www.google.com/schemas/sitemap-image/1.1".
2. Додати всередині url тег image:image для кожної сторінки з зображеннями.
3. Всередині image:image вказати обов'язковий тег image:loc з повним URL зображення.

Важливі вимоги та рекомендації:

• на одній сторінці можна перелічити до 1000 зображень;
• sitemap для зображень повинна відповідати загальним лімітам (50 000 URL та 50 МБ);
• включайте лише повноформатні зображення, а не мініатюри;
• URL зображень повинні бути доступні для сканування;
• якщо зображення на іншому домені, обидва домени повинні бути підтверджені в панелі пошуку.

Раніше використовувалися теги image:caption, image:title та image:license, але вони не впливають на ранжування в діючих рекомендаціях.

XML-Sitemap для відео

Окрема карта для відео допомагає пошуковим системам виявляти та коректно обробляти відеоконтент.

Щоб створити карту відео, виконайте такі кроки:

1. Додати простір імен xmlns:video="http://www.google.com/schemas/sitemap-video/1.1".
2. Додати всередині URL тег video:video для кожної сторінки з відео.
3. Всередині video:video вказати обов'язкові елементи, такі як thumbnail_loc, title, description і content_loc або player_loc.

Обов'язкові теги для опису відео:

• посилання на мініатюру відео (video:thumbnail_loc);
• назва відео (video:title);
• опис відео до 2048 символів (video:description);
• фактична URL-адреса відеофайлу (video:content_loc) або URL-плеєра (video:player_loc).

Рекомендації для video Sitemap: кодування UTF-8, дотримання лімітів (50 000 елементів та 50 МБ), відкритий доступ до відео та плеєра для роботів та регулярне оновлення карти.

XML-Sitemap для новин

Для сайтів, що публікують новини, існує спеціальна карта для Google News — вона допомагає швидше індексувати свіжі статті.

Особливості новинної Sitemap:

• включайте лише статті, опубліковані за останні два дні;
• максимум 1000 URL у одному файлі;
• оновлюйте карту по мірі публікації нових матеріалів;
• рекомендується розміщувати файл у корені сайту або в новинному розділі.

Основні вимоги до структури новинної Sitemap:

1. Додати простір імен xmlns:news="http://www.google.com/schemas/sitemap-news/0.9".
2. Всередині URL використовувати тег news:news з обов'язковими дочірніми елементами, такими як news:publication, news:publication_date та news:title.

Як впровадити та повідомити про карту сайту пошуковим системам

Після створення Sitemap важливо повідомити пошуковим системам, щоб вони почали її враховувати.

1. Додати карту через інструменти для веб-майстрів.
2. Указати шлях до карти у файлі robots.txt.
3. Надіслати ping-запит для швидкого повідомлення.

Через інструменти для веб-майстрів

Додайте URL карти до Google Search Console та на панель іншого пошуковика, щоб отримувати детальні звіти про стан індексації та помилки.

У файлі robots.txt

Додайте директиву Sitemap з повним URL карти сайту — роботи знайдуть її під час наступного сканування файлу.

Використання ping-запиту

Для швидкого повідомлення можна надіслати HTTP GET-запит, наприклад: https://www.google.com/ping?sitemap=ПОВНИЙ_URL_ВАШОГО_SITEMAP. Це зручно при термінових змінах, але основну роботу краще виконувати через панелі для веб-майстрів.

Поширені помилки в XML-Sitemap та їх усунення

Навіть за уважної настройки помилки в Sitemap заважають індексації. Регулярна перевірка та валідація необхідні.

Типові помилки включають:

• некоректні URL, що повертають помилки або перенаправлення;
• включення неканонічних або дублюючих URL;
• включення сторінок, закритих від індексації;
• перевищення лімітів за розміром або кількістю URL;
• неправильна кодування або некоректне екранування символів;
• застарілі дані та відсутність оновлень;
• синтаксичні помилки в XML.

Для пошуку та виправлення помилок використовуйте наступні інструменти:

• Google Search Console для детальних звітів про Sitemap та помилки;
• валідатори та SEO-сканери, які перевіряють структуру та синтаксис Sitemap.

Оптимізація Sitemap для великих сайтів

Для дуже великих ресурсів корисно ділити Sitemap на логічні частини та тестувати, як це впливає на сканування.

Практичні поради:

• створюйте окремі файли Sitemap за розділами або типами контенту;
• формуйте менші файли для пріоритетних або часто оновлюваних сторінок;
• не створюйте надмірно багато маленьких файлів, щоб не ускладнити управління;
• зверніть увагу, що звіти у панелях можуть обмежувати кількість відображуваних файлів; перевіряйте доступність даних.

Висновок

XML-Sitemap — практичний інструмент для управління індексацією сайту. За правильної настройки, регулярного оновлення та моніторингу він спрощує життя як власнику ресурсу, так і пошуковим роботам.

Незалежно від того, чи використовуєте ви звичайну карту, індексну або спеціалізовані карти для зображень, відео та новин, ключовими залишаються коректність даних, дотримання лімітів та регулярне оновлення.