Оглавление
- Зачем нужна карта сайта?
- Какие бывают карты?
- Как создать Sitemap.xml?
- Примеры Sitemap.xml для медиафайлов
- Требования к файлу
- Проверяем на ошибки Sitemap.xml
- Выводы
Оказавшись в незнакомой местности, мы первым делом ищем, у кого бы спросить дорогу. Так же точно поступает паук в сети: прежде чем идти туда-не-знаю-куда он ищет помощи.
Вопросов не возникнет, только если ваши страницы формируют стройную структуру. Тогда паук не потеряется и быстро добавит их в индекс — и они начнут выпадать при запросе в поиске.
Это идеальный сценарий. На практике же приходится прибегать к ухищрениям. Для улучшения индексирования можно:
- Расставить запреты для роботов. Благодаря этому усилия будут сконцентрированы на важном.
- Улучшить перелинковку. Чем больше дверей между вашими страницами, тем быстрее на всех них побывают пауки.
- Настроить карту.
Про последнее, то есть sitemap.xml, мы поговорим здесь подробнее. Она направляет перемещения пауков и может советовать им, как часто и куда заходить. К сожалению, это просто рекомендации, а не законы.
Зачем нужна карта сайта?
Основная ее задача — показать, что есть на сайте. По сути, это просто перечень URL с пометками. Индексирование она ускоряет, но при определении качества сайта ее наличие/отсутствие не принимается в расчет.
Без нее вполне можно обойтись, если ваш домен маленький, простой и внутренних ссылок на нем немного. Но помощь в навигации необходима, если у вас:
Новый проект. Создавать сайт с нуля самостоятельно сложно, но карта станет хорошим помощником в оптимизации. Она укажет паукам, что следует индексировать в первую очередь. Так они смогут израсходовать краулинговый бюджет с максимальной пользой для вас.
Большой проект. Очень много информации и когда-то логичная структура стала уже сомнительной. А восстанавливать ее — значит перемещать половину страниц сайта.
Когда вы добавляете новые станицы, они нескоро попадают в поиск, потому что краулингового бюджета не хватает на то, чтоб до них добраться. В этом случае вносите в Sitemap свежие станицы и выкручивайте на максимум их приоритет.
Если на сайте есть часто обновляющиеся страницы, то можно гонять пауков их проверять с определенной периодичностью.
Слабая внутренняя перелинковка. В этом случае сделать карту будет быстрее, чем подставлять в ручную контекстные ссылки. Однако, такое решение можно считать временным. Пользователю, уже попавшему на сайт, удобнее переходить по внутренним ссылкам, чем возвращаться в поиск и гуглить непонятное снова (не факт, что это снова приведет его к вам).
Много медиафайлов. Изображения и видео сложно индексировать — пауки не понимают что у них внутри. Нужна помощь — пояснения в карте.
Лишние зеркала. Страницы указанные в Sitemap, с большей вероятностью будут проиндексированы и скорее чем дубли получат статус канонических. Так проблема с зеркалами косвенно, но решается.
Какие бывают карты?
Есть и другие форматы, командующие пауками, помимо XML. Пример — фиды RSS, mRSS, Atom 1.0. Они используются в основном при конструировании блогов. В них вносятся только последние изменения. А XML описывает структуру вообще.
Введение таких фидов в панель принимает Google Вебмастер и использует их как альтернативу XML. Яндексовский же обращаться с ними не умеет и выдает ошибку. И это не единственное отличие в приемах оптимизации между двумя системами. Помните об этом и всегда проверяйте, для кого подходит тот или иной прием.
Отличие XML карты от HTML
Смотреть в файл XML пользователь не станет. Пользу извлечет только косвенную: чем лучше пауки индексируют, тем охотнее поиск выдает ваши страницы.
Для людей можно сделать другую карту — отдельную html страницу со списком гиперссылок, расположенных в соответствии с иерархией страниц.
Это помогает пользователям ориентироваться, но не является обязательным. При внятной структуре можно обходиться и без этого инструмента. Но тогда прибегните другим способам оповещения посетителей о появлении новых статей и рубрик.
Ссылки в карте лучше всего делать анкорными. Они должны быть уникальными и отличать статью от соседних. Тогда все будет понятно и просто.
Если сайт ваш очень большой и страница с гиперссылками на все станицы получается огромной (более 100 адресов), можно прибегнуть к хитростям: сделать для каждого подраздела отдельную карту.
Второй способ — исключить лишнее, оставив только названия рубрик. Что внутри можно будет узнать только после перехода. Зато это будет всего один html
Как создать Sitemap.xml?
Путей несколько. Выбирайте, исходя из нужд своего проекта. Помните, что не получится сделать один раз — и на всю жизнь. Карта должна обновляться вместе с сайтом.
Ручной способ
Годится только для нескольких десятков URL. Иначе велик шанс напортачить. Не пугайтесь большого количества команд, описанных ниже. Скорее всего, вручную вы их заполнять не будете.
Все команды оформляются тегами — то есть помечаются начало и конец сообщения: <teg>смысловая часть</teg>.
Общий вид программы:
<?xml version=»1.0″ encoding=»UTF-8″?>
<urlset xmlns=http://www.sitemaps.org/schemas/sitemap/0.9>…
Основная часть (содержит отдельные страницы внутри тегов <url>)
…</urlset>
Первые две строки рассказывают о том, на каком языке мы разговариваем. Что это xml, для sitemap и записан он в кодировке UTF-8.
Теперь отдельно об элементах внутри смысловой части. Для каждой страницы кусочек кода выглядит так:
<url>
<loc> *адрес* </loc>
<priority>от 0,1 до 1, показывает важность </priority>
<lastmod> когда последний раз вносились изменения </lastmod>
<changefreq> обновления происходят с какой частотой </changefreq></url>
Из четырех команд внутри обязательным является только URL. Остальные можно опустить, более того <priority> и <lastmod> игнорируются Google.
Такой документ с несколькими десятками <url>адрес</url> можно создать в текстовом редакторе и сохранить как .xml. Удобнее всего — в Notepad++.
Через CMS
Bitrix, WordPress и другие дают сгенерировать карту сайта полуавтоматически: выберете категории контента и медиафайлов, которые вы хотите индексировать в первую очередь (и соответственно поместить в карту).
Также есть возможность указать приоритет страниц, частоту обновления и время последней проверки. Все это пишется не напрямую в файле, а отмечается галочками в определенной вкладке. Это намного удобнее ручного способа, особенно если речь идет о большом сайте.
Плагины для создания карт есть у всех систем управления контентом, но они не всегда предустановлены. Обычно в них есть опция автообновления: вы задаете параметры один раз, а дальше файл обновляется при изменениях на сайте. Проверяйте, подключена ли она: в большинстве плагинов исходно стоит ручное обновление.
В онлайн-сервисах
Есть большая группа сервисов, создающих карты. Принцип их работы: сканирование заданного домена с помощью своих пауков. Соответственно это годится для сайта с небольшим числом страниц: иначе потребуется много времени или решение перестанет быть бесплатным.
Из-за своего принципа работы такие сервисы не могут зайти туда, куда нет входа. Запрещенные в robots.txt или мета-тегами страницы в список не попадут. Кроме того, бюджет краулера может быть растрачен на зеркала, поэтому список адресов, полученный вами таким способом, может быть не совсем полным или требовать чистки.
Далеко не все такие сервисы поддерживают необязательные теги и уж тем более их дифференцированную настройку для разных страниц. Про медиафайлы и работу с ними мы поговорим ниже. При генерации карт для них онлайн результат приходится дорабатывать вручную.
Альтернатива онлайн генераторам — компьютерные программы (вроде Screaming frog). Они делают то же самое, но функционал намного больше, даже в бесплатной версии.
После того как отработал краулер, полученный список адресов можно посмотреть, видоизменить, разбить по категориям и задать параметры. Программа также дает работать и с изображениями.
Вывод из обзора инструментов можно сделать следующий. При включенной CMS должно хватать ее инструментов. Если по какой-то причине она не дает результатов, то придется перейти на онлайн генераторы и ручную отладку. При необходимости делать сложную и тонкую настройку стоит обратиться к компьютерным программам. Возможно, за это придется заплатить.
Примеры Sitemap.xml для медиафайлов
Работа с медиафайлами — непростая часть SEO. Пауки понимают их хуже, чем текст. Поэтому индексация таких материалов идет медленно.
Для видео общий способ (его понимает, например Google) выглядит как показано ниже. Это обязательная часть кода:
<url>
<loc>Страница</loc>
<video:video><video:title>Название</video:title>
<video:description>Описание</video:description>
<video:thumbnail_loc>Значок</video:thumbnail_loc>
<video:content_loc>Адрес видео</video:content_loc></video:video>
</url>
Яндекс же использует XML feed вместо адреса. Его генерируют отдельно и проверяют с помощью его сервисов.
Пример кода:
<url>
<loc>Страница, на которой расположено видео</loc>
<ovs:video>
<ovs:feed>XML feed</ovs:feed>
</ovs:video></url>
Этот способ рекомендован, если используется нестандартный плеер (остальные Яндекс должен найти сам). То есть, если у вас ролики играются через плеер Youtube, то применять описанное выше не нужно.
Для картинок есть общая схема, единая для Яндекса и Google.
<url>
<loc>адрес страницы с картинкой</loc>
<image:image>
<image:loc>адрес самой картинки</image:loc>
</image:image></url>
Дополнительно можно передать информацию о подписях, названиях, месте съемки и так далее.
Как создать?
- Вписать в существующую карту или в отдельные для каждого типа медиафайлов.
- Онлайн можно сделать файлы для видео и картинок. Но результат содержит помимо тематических материалов много лишнего — логотипы, иконки и так далее. Поэтому такие файлы приходится чистить вручную.
- Программы вроде Screaming Frog дают работают с изображениями. А проверять и редактировать результат можно прямо в программе.
Плагины WordPress берутся за оба типа материалов.
Требования к файлу
- Внутри должно быть не больше 50 000 адресов.
- Он сервер отвечает на запрос кодом состояния 200.
- Пишите полностью все URL (подробнее о них в разделах про местоположение и маскирование).
- Объем до 50 мегабайт.
Если такого размера недостаточно, то есть обходной путь. Можно разбить на несколько кусочков, а как их соединять прописать в отдельном индексном файле:
<?xml version=»1.0″ encoding=»UTF-8″?>
<sitemapindex xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″><sitemap>
<loc>Где лежит кусочек<loc>
</sitemap>
… и тд.</sitemapindex>
Требования работают те же, что и для нормальных файлов, но индексный может быть только один.
Про оформление команд в файле XML, помните, что:
- Каждый тег используется дважды: открывающий его вариант перед смысловой частью: <teg> — и закрывающий после ее конца: </teg>. Они не могут быть беспарными.
- Теги имеют иерархию. Те, что ниже уровнем, вкладываются внутрь основной части того, что выше. Не нарушайте порядок вложенности.
Местоположение
Карту загрузите в корневой каталог основного зеркала.
Командам будут подчиняться только страницы внутри директории, где лежит файл, и ниже по пути. Подняться на уровень выше невозможно. Эти директивы будут либо игнорироваться, либо приведут к ошибке.
Добавлять карту на главное зеркало очень важно: адреса в файле задаются единообразно и в полном виде. Если зеркала не согласуются (банальная потеря www или что-то иное), то файл не будет прочитан.
Маскирование в Sitemap.xml
Для написания XML документа используют кодировку UTF-8 и стандарт ASCII. Любые другие использовать запрещено: файл карты не будет обработан.
Другие — это все кроме латинского алфавита и нескольких служебных знаков. Для кириллицы или других “лишних” знаков используйте преобразование Punycode.
Остается проблема с символами: > < ” ‘ &. Их использование тоже запрещено, хотя они и есть в ASCII. Для них применяется так называемое маскирование: & становится & , одинарные кавычки — ' , двойные — " , > — > , < — < .
Это знание пригодится вам, только если вы будете вручную заполнять или исправлять карту. Во всех остальных случаях генератор XML преобразует и замаскирует все лишние символы самостоятельно.
Проверяем на ошибки Sitemap.xml
Чтобы пауки быстрее прочитали вашу карту, расскажите вебмастерам, где она лежит. Для этого есть специальные рубрики. Помните, про различия в поддерживаемых форматах.
Google после добавления показывает отчет. В нем прописано: как идет обработка файла, корректны ли URL и в каких именно тегах есть ошибки.
Есть и сторонние сервисы — они проверят карту до того, как вы положите ее на сайт. Screaming frog, например, тестирует коды состояния страниц из файла и корректность команд.
Еще есть Яндексовский анализатор для Sitemap.xml. Он дает детальный отчет и тоже позволяет внести правки перед публикацией.
Отчеты о проверке карты способствуют не только ее совершенствованию, но и помогают улучшить работу всего сайта: вы можете исправить множество сопутствующих проблем.
Выводы
Без карты можно обойтись. Но это должно быть взвешенное решение. Она незаменима для “натравливания” пауков на непроиндексированные материалы. Это простой способ, улучшающий перемещения по сайту.
Без такой помощи большой проект будет просматриваться неравномерно, а свежие статьи — долго ждать попадания в индекс.
