Карта сайта

Правильная карта сайта ускоряет индексацию в 3,14 раз

Какие бывают карты сайта

Карта сайта HTML Sitemap

Карты сайта делятся на 2 основных вида или формата: карта сайта html и карта сайта файл xml. HTML карта сайта — это страница сайта, на которой перечислены ссылки. Обычно это ссылки на самые важные разделы и страницы сайта. HTML карта сайта больше рассчитана на людей, нежели на роботов и помогает быстрее ориентироваться в основных разделах сайта. Для карты сайта в виде html-страницы существуют серьезные ограния по количеству ссылок на одной странице. Если на странице будет слишком много ссылок, далеко не все ссылки могут быть проиндексированы или вовсе страница карты сайта может быть исключена из поиска за чрезмерное количество ссылок, пусть даже внутренних ссылок.

Для того, чтобы карта сайта html правильно индексировалась и адекватно воспринималась посетителями не стоит размещать на странице более 100 ссылок. Этого более чем достаточно, чтобы разместить на странице все разделы и подразделы, которые не влезли в основное меню.

Обычно, карта сайта в формате HTML имеет древовидную структуру, где указаны развернутые разделы и подразделы. Излишне громоздкие HTML карты сайта, зачастую оформляются графическими элементами, CSS-стилями и дополняются Java-script. Однако, карта сайта html не имеет большого значения для поисковых систем.

Карта сайта XML Sitemap

XML карта сайта — это файл формата xml, вида sitemap.xml, который обычно находится в корне сайта. У карты сайта в формате xml есть множество преимуществ перед html картой сайта. Sitemap xml — это специальный формат карты сайта, который определяется всеми популярными поисковыми системами, например Google и Яндекс. В xml sitemap можно указать до 50.000 ссылок. Более того, в sitemap xml можно указать относительный приоритет и частоту обновления страниц.

Стоит сказать, что содержимое карты сайта является лишь рекомендацией для поискового робота. Например, если установить для страницы сайта ежегодную частоту обновления, поисковые роботы все равно будут ходить чаще. А если установить частоту обновления страницы ежечасно, это не значит, что роботы будет индексировать страницу каждый час.

Карта сайта xml имеет определенный синтаксис, давайте рассмотрим структуру xml карты сайта подрбнее.

Пример файла карты сайта sitemap.xml

Правильный sitemap.xml должен иметь кодировку UTF8. Содержимое файла карты сайта sitemap.xml выглядит следующим образом:

  • — родительский тег, в него заключаются все url-адреса;
  • — тег, в котором указываются сведения о конкретном url-адресе;
  • — в данном теге указывается непосредственно url.
  • — этот тег заключает в себе дату последнего изменения страницы;
  • — тег используется, чтобы указать насколько часто изменяется страница: always, hourly, daily, weekly, monthly, yearly, never;
  • — указывает приоритет определенной страницы, относительно других страниц сайта от 0,1 – низкий приоритет, до 1 – высокий приоритет.

Так же, в файле карты сайта в формате xml должно содержаться указание на пространство имен языка XML:

Если файл карты сайта включает более 50 тысяч ссылок или размер sitemap.xml превышает 10 мб, рекомендуется разделить карту сайта на несколько файлов. В таком случае, в карте сайта необходимо указать несколько ссылок на разные файлы карт.

  • — родительский тег, в который заключаются адреса всех карт сайта;
  • — тег, в котором заключается параметры для каждой карты сайта.

Пример файла карты сайта sitemap.txt

Еще одним способом оформления карты сайт в виде файла может быть карта сайта в формате txt:

Все просто. В файле sitemap.txt построчно перечисляются все необходимые ссылки. Карта сайта в формате txt — это «вариант для ленивых». Здесь работает аналогичное sitemap xml ограничение в 50.000 ссылок. Однако, TXT карта сайта лишена возможностей указания даты последнего изменения и приоритета страницы.

Зачем нужен файл Sitemap

Существует два вида Карты сайта, которые различаются форматами и назначением:

HTML-карта

Её составляют для пользователей, чтобы упростить им навигацию по страницам сайта. Это необязательный элемент, такую карту можно составить на большом сайте со сложной иерархией для удобства пользователей.

XML-карта

Нужна для поисковых ботов, она важна для SEO, так как помогает ботам индексировать страницы ресурса.Наличие этого файла подсказывает поисковым роботам, как именно организована структура сайта. Соответственно, Яндекс, Google, Bing и другие поисковики получают возможность более качественно индексировать проект.

В этом материале разберем создание XML-карты.

Для чего нужна Карта сайта:

  • Ускорить процесс полной индексации.
    Поисковые роботы Google могут пропустить недавно созданные или измененные страницы, а Карта поможет в них ориентироваться.
  • Дать дополнительную информацию.
    В Карте указывают дополнительные рекомендации для робота: делают пометки о важности страницы, частоте и дате обновления.
  • Отобразить количество проиндексированных URL
    Сигналы из Sitemap нужны в том числе для отображения проиндексированных ссылок в Search Console.
  • Ускорить процесс пакетной деиндексации.
    Для этого создают временный файл Sitemap, в который включают страницы для удаления. Об этом рассказал Джон Мюллер, он рекомендует обязательно указать дату последнего изменения страниц, когда им был присвоен код ошибки 404 или атрибут noindex. Так Google будет знать, что необходимо заново просканировать содержимое сайта. Через несколько месяцев эту временную карту сайта можно будет убрать.

При этом даже если Google найдет ссылку в Sitemap, но ее не будет в навигации, он не придаст ей веса и не проиндексирует. Ссылки в Карте сайта — это рекомендации, важнее всего составить грамотную структуру сайта, в которой поисковый робот найдет все нужные страницы.

В большинстве случаев грамотной внешней и внутренней перелинковки страниц достаточно, чтобы поисковые роботы узнали о всем содержимом сайта. Лендингам, небольшим корпоративным сайтам из пары страниц, одностраничным визиткам Карта сайта и не нужна — бот разберется в страницах без труда. Карты нужны для сайтов, которые сложно краулить, поэтому для остальных проектов ее рекомендуют создать.

Карта обязательно нужна сайтам с такими признаками:

  • Проект создан недавно, у него мало внешних ссылок. В этом случае поисковому боту сложнее найти сайт.
  • В структуре сайта много архивов веб-документов, не связанных между собой.
  • У проекта большое количество страниц, разделов и подразделов;
  • В структуре преобладают динамические страницы.
  • На сайте есть мультимедийный контент. Бот сможет получить дополнительную информацию из Sitemap для показа в результатах поиска.

Поисковые системы могут не проиндексировать все нужные страницы таких сайтов, если не предложить краулерам файл Sitemap. Разберем, как его создать.

Базовые критерии создания файла Sitemap

У поисковиков есть свои требования к составлению Карты сайта, о которых нужно помнить веб-мастеру.

Общие требования к Sitemap:

  • Количество URL-адресов в файле Sitemap не должно превышать 50 тысяч. Если их больше, необходимо создать несколько отдельных Карт сайта, которые прописывают в файле индекса Sitemap. По словам официального представителя Google, для этого достаточно создать несколько отдельных файлов Sitemap, не больше 50 тысяч ссылок каждая, а в сумме ссылок может быть больше лимита. После этого для нескольких Карт создают общий материнский файл Sitemap.
  • Максимальный размер файла – 50 Мб. Файл можно уменьшить при помощи сжатия gzip, но в несжатом виде он все равно должен быть меньше 50 Мб.
  • Файл Sitemap должен находиться на том же домене, что и веб-сайт, для которого он создан.
  • Можно использовать кодировку UTF-8, а также латинские буквы и цифры.
  • Ответом сервера на обращение к файлу Sitemap должен быть HTTP-статус с кодом 200 OK.
  • URL идентификаторы сессий не должны быть в Карте сайта.
  • Ссылки должны иметь одинаковый синтаксис.
  • В Карте указаны только канонические URL.
  • Карта не конфликтует с информацией в robots.txt — если в robots.txt какие-то страницы закрыты от индексации, то их не должно быть в Карте.

Подробнее о требованиях есть в Справке Google и на странице Помощи Яндекса.

Некоторые веб-мастеры беспокоятся о порядке ссылок в файле, но представитель Google Джон Мюллер сказал, что очередность не имеет значения вообще, главное — поместить в Sitemap самые важные канонические ссылки.

В каких случаях нужен Sitemap

  • Много страниц. Поисковые роботы могут пропустить недавно созданные или измененные страницы;
  • Неоднозначная перелинковка страниц. Ссылка на страницу может быть пропущена роботом, если она указана в скрытом месте или доступна только после определенного события;
  • Отдельные страницы без навигационных ссылок. Нет возможности узнать о странице, на которую не ведут ссылки сайта;
  • Глубокая вложенность. Каждая поисковая система имеет лимит на сканирование страниц, поэтому поисковой робот может вовсе пропустить важные страницы. Особенно, если это подкрепляется неоднозначной перелинковкой страниц.

Для успешного сканирования всех ссылок поисковым роботом необходимо перечислить все ссылки в XML карте сайта.

Оптимизация индексации XML Sitemap

Добавляйте в Sitemap только SEO-релевантные страницы

XML Sitemap включает список страниц, которые наиболее важно «показать» поисковикам. Это не обязательно каждая страница сайта. Краулеры придерживаются того перечня, который вы сами определите.

Очень желательно исключить:

  • Дубликаты страниц и побочные адреса (non-canonical);
  • Страницы с пагинацией;
  • URL, созданные на основе ID сессий и параметров;
  • Результаты поиска;
  • Адреса ответов и комментариев;
  • Адреса для репоста;
  • Результаты фильтрации;
  • Архивные страницы;
  • Редиректы (3**), несуществующие страницы (4**), ошибки сервера (5**);
  • Страницы, заблокированные в robots.txt;
  • Страницы с noindex;
  • Материалы, доступные через форму лидгена (white paper, PDF и т.д.);
  • Страницы, не подходящие в качестве страниц входа (окно логина, контакты, пользовательское соглашение и т.д.).

Помните, что список URL в sitemap чаще всего воспринимается поисковиками в качестве рекомендации, но не прямого запрета на просмотр других страниц.

Используйте отчёты с пользой

Например, отчёта Google Search Console даёт ценные сведения о том, какие ошибки есть в ваших sitemap, но он полезен не только для простой валидации.

Анализ индексации в Google Search Console

Далеко не самые информативные названия. Да и сведения о том, что в районе 64% страниц проиндексировано — не самые полезные. Гораздо интереснее понять, какие именно типы страниц показывают неудовлетворительные результаты. Если продолжить изучать sitemap-1, sitemap-2 и так далее, вы вряд ли что-то поймёте. Совсем другое дело, когда у вас взаимовложенная структура этих файлов, и название каждого отражает сущность собранных в нём страниц.

Информативные названия sitemap работают лучше

Из такого отчёта можно понять, какие конкретно разделы проседают в индексации и что предпринять для улучшения ситуации.

Отследить общую эффективность вследствие оптимизации ресурса поможет Сквозная аналитика Calltouch.

Сквозная аналитика

от 990 рублей в месяц

  • Автоматически собирайте данные с рекламных площадок, сервисов и CRM в удобные отчеты
  • Анализируйте воронку продаж от показов до ROI
  • Настройте интеграции c CRM и другими сервисами: более 50 готовых решений
  • Оптимизируйте свой маркетинг с помощью подробных отчетов: дашборды, графики, диаграммы
  • Кастомизируйте таблицы, добавляйте свои метрики. Стройте отчеты моментально за любые периоды

Узнать подробнее

Чек-лист: как улучшить Sitemap

Чек-листы — великолепный инструмент организации работы, и здесь они также пригодятся. Как создать карту сайта, которая обеспечит наилучший контакт с поисковыми системами и поможет быстро индексировать страницы?

  • Включайте теги hreflang;
  • Обязательно прописывайте и
  • Сжимайте sitemap через gzip;
  • Используйте файл индекса;
  • Используйте sitemap для изображений, видео и новостей только в тех случаях, когда это оправдано спецификой сайта;
  • Генерируйте динамические карты сайта;
  • Ссылайтесь на индексный sitemap в robots.txt;
  • Подключите sitemap в Google Search Console и Яндекс.Вебмастере;
  • Добавляйте только SEO-релевантные страницы;
  • Исправляйте ошибки, обнаруженные в отчётах;
  • Используйте понятные названия и структуру карт сайта.

Обязательно ли наличие sitemap.xml

Непосредственно на то, будет сайт в ТОПе или нет, наличие XML-карты если и влияет, то на какую-то десятую часть процента. Это просто инструмент для ускорения индексации, что особенно важно для молодых ресурсов. Так что ее наличие лишь рекомендация.

Стоит отметить, что карта зачастую нужна многостраничникам. Индексацию всех страниц отслеживать трудно, а sitemap.xml в Вебмастере позволяет оперативно отслеживать этот момент и исправлять ошибки. Например:

  • ошибка 404;
  • наличие закрытых от индексации;
  • ошибка при сканировании URL;
  • возвращение ложной ошибки URL.

Как решать эти проблемы подскажет справка Вебмастера.

Основные требования поисковиков к XML

Перед тем, как перейти к гайду как бесплатно сделать xml-карту сайта (sitemap), важно ознакомиться с требованиями поисковиков. Например, Яндекс просит:

  • размер — до 10 Мб;
  • максимум — 50 000 страниц;
  • код — UTF-8;
  • URL без GET-параметров и идентификаторов сессий.

У Гугл тоже самое, только допускаются файлы до 50 Мб, а кириллицы, ясное дело, в URL быть не должно — только латинские буквы и цифры. Для сжатия файла можно использовать архиватор gzip, а для перевода русских доменов подойдет кодировщик Punycode.

Описание тегов XML карты

Тег Обязательный Описание
Да Инкапсулирует файл карты и указывает стандарт текущего протокола.
Да Родительский тег для каждой записи URL-адреса. Остальные теги являются дочерними для этого тега.
Да Содержит полную ссылку на страницу сайта. Ссылка должна быть каноничной и относится к главному зеркалу сайта.
Нет Содержит дату последнего обновления страницы в формате UTC. Например, 2020-05-12, где 12 – день, 5 – месяц, 2020 – год.
Нет Содержит частоту изменения страницы. Может принимать значения:

  • always
  • hourly
  • daily
  • weekly
  • monthly
  • yearly
  • never

Значение этого тега используется как подсказка для поискового робота, а не как команда. Обычно используется значение weekly, т.к. большинство сайтов имеют изменения только спустя неделю.

Нет Приоритет URL относительно других URL. Может принимать значения от 0,0 до 1,0. Следует учитывать, что назначать высокий приоритет всем URL не имеет смысла. Приоритет – величина относительная, параметр используется определения очередности обработки URL в пределах сайта. Приоритет не влияет на позиции в поисковых система.
Нет Используется для указания альтернативных страниц на других языках. Например, . Подробнее на официальной странице Google.
Нет Дочерний элемент тега . Используется для указания полной ссылки на изображение.
Нет Дочерний элемент тега . Используется для описания того, что изображено на картинке.

Резюме

Итак. HTML-sitemap нужна для юзабилити. XML-карта облегчает работу поисковым роботам и влияет на скорость индексации. Для реализации лучше использовать плагины или сервисы. Если Вебмастер сигнализирует об ошибках, стоит попробовать другой предложенный вариант и повторить процедуру.

Также будет интересно прочитать

Как найти заказ на изготовление мебели

Как найти клиентов на бухгалтерское обслуживание

Как и где найти диджитал маркетолога

Яндекс Директ цены

Семантическое ядро на Яндекс Вордстат

Рекомендации

Обязательно используйте файл sitemap.xml как возможность упростить сканирование вашего сайта роботами поисковых систем. Даже если сайт содержит незначительное количество страниц, поисковому роботу будет проще узнать актуальность и приоритетность сканирования ваших страниц.

Россия, Челябинская область, Челябинск, ул. Энтузиастов, 2, оф. 200

Телефон: +7 (351) 220-45-35


Поделитесь в соц.сетях:

Оцените статью:

1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (Пока оценок нет)
Загрузка...

Добавить комментарий