Метатеги для сайта

Мета теги для браузера

Главная задача мета тегов для браузера — это корректно отображать страницу сайта для пользователя.

В этом варианте есть пару важных тегов, давайте рассмотрим каждый из них. Синтаксис мета тега в общем случае следующий:

Могут быть использованы следующие параметры атрибута:

• Content-Type — служит для задания кодировки страницы сайта. Обычно используется кодировка кириллицы Windows-1251 или UTF-8
• Content-Language — задает язык, на котором написана страница. На мой взгляд не очень важный тег
• Cache-Control — параметры кэширования документа
• Refresh — этот мета тег задает промежуток времени для 301 редиректа

Why won’t Google use my title tag?

Sometimes, Google may display a title that doesn’t match your title tag. This can be frustrating, but there’s no easy way to force them to use the title you’ve defined. When this happens, there are four likely explanations…

1. Your title is keyword-stuffed

As discussed above, if you try to stuff your title with keywords (sometimes called «over-optimization»), Google may choose to simply rewrite it. For many reasons, consider rewriting your title to be more useful to search users.

2. Your title doesn’t match the query

If your page is matching for a search query that isn’t well represented in the title, Google may choose to rewrite your display title. This isn’t necessarily a bad thing — no title is going to match every imaginable search — but if your title is being overruled for desirable, high-volume searches, then consider rewriting it to better match those search keywords and their intent.

3. You have an alternate title

In some cases, if you include alternate title data, such as meta tags for Facebook or Twitter, Google may choose to use those titles instead. Again, this isn’t necessarily a bad thing, but if this creates an undesirable display title, you might want to rewrite the alternate title data.

4. You have an old DMOZ listing

In rare cases, search engines may pull a title from DMOZ (aka Open Directory Project). If your display title in search doesn’t match your title tag but does match your DMOZ listing, then you can block that substitution with the Robots NOODP tag, which looks like this:

<meta name="robots" content="noodp">

Meta robots is a fairly technical topic, but if you’re seeing an unexplained display title in SERPs, do a quick search on DMOZ for your business. You might save yourself a few headaches.

Keep learning

• The Beginner’s Guide to SEO 
• A Visual Guide to Keyword Targeting and On-Page SEO
• 7 ‹Title Tag› Hacks for Increased Rankings + Traffic — Whiteboard Friday
• HTML Title Tag
• <title>: The Most Important Element of a Quality Web Page

Значение Title для продвижения сайта

Использование этого метатега для представления сайта в поиске обуславливает и его важную роль в SEO-продвижении.

Для ранжирования сайтов в поисковых системах.

Поисковые системы используют содержимое Title для ранжирования web-ресурсов и формирования релевантной выдачи. Поскольку заголовок ограничен по длине и в нем указывается только самая важная информация, то поисковики придают данному метатегу больший вес, чем остальному тексту, размещенному на странице

Поэтому созданию заголовков для страниц вашего сайта нужно уделять особенное внимание. Необходимо указывать в них актуальную информацию о содержимом страницы и размещать самые важные и частотные ключевые слова, которые на ней продвигаются — так поисковым системам будет проще понять, какая информация находится на странице, и насколько она соответствует поисковым запросам

На основании этих данных сайт будет определенным образом ранжироваться.

Для повышения кликабельности сниппета и улучшения поведенческих факторов.

Поскольку Title используется поисковыми системами для формирования заголовков сниппетов в поисковой выдаче, то включение в него привлекательной для пользователя информации может существенно увеличить показатель кликабельности (CTR ) сниппетов, а также повысить количество заходов на сайт. Часто пользователь принимает решение о переходе на тот или иной ресурс именно на основе информации в заголовке.

description (краткое описание)

Значение description используется для краткого описания содержимого, расположенного на текущей странице. Рекомендуемая максимальная длина такого описания не должна превышать 180 символов:

<meta name="description" content="Описание содержимого на данной странице">

Краткое описание страницы может быть использовано поисковыми система на странице с результатами поиска под названием страницы и URL-адреса:

Также краткое описание используется на сайтах некоторых соцсетей, при добавлении ссылки:

При составлении краткого описания следует учитывать следующие моменты:

• в описании нужно указывать именно ту информацию, которая отражает содержимое, опубликованное на данной странице;
• описание должно быть уникальным и не должно повторяться для разных страниц;
• старайтесь в описание страницы также включать необходимые ключевые слова, которые будут учитываться в поисковых запросах.

Примечание: краткое описание, расположенное под ссылкой на странице с результатами поиска, называется сниппетом.

Практическая реализация заголовка X-Robots-Tag

Заголовок можно добавить в HTTP-ответы с помощью файлов конфигурации в серверном ПО сайта. Например, на серверах Apache такие настройки хранятся в файлах .HTACCESS и HTTPD.CONF. Преимущество использования заголовка в HTTP-ответах состоит в том, что с его помощью можно задать директивы сканирования на уровне всего сайта. А поддержка регулярных выражений обеспечивает дополнительную гибкость.

Например, чтобы добавить заголовок с директивой в HTTP-ответ для PDF-файлов со всего сайта, включите небольшой фрагмент кода в корневой файл .HTACCESS/HTTPD.CONF (Apache) или CONF (NGINX).

Apache:

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX:

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

Заголовки можно использовать для тех файлов, для которых HTML-метатеги robots недоступны, например для изображений. В приведенном ниже примере директива добавляется для файлов изображений (PNG, JPEG, JPG, GIF) на всём сайте:

Apache:

<Files ~ "\.(png|jpe?g|gif)$">
  Header set X-Robots-Tag "noindex"
</Files>

NGINX:

location ~* \.(png|jpe?g|gif)$ {
  add_header X-Robots-Tag "noindex";
}

Как правильно составить тег

4.1. Уникальность <title> внутри сайта

Все страницы на одном сайте должны иметь различный Title. Уникальный

— залог вашего успеха в выдаче всех поисковых системЭто настолько важно, что можно приравнять это к уникальности контента на странице. Я хочу подчеркнуть, что уникальность я подразумеваю в пределах одного сайта

Если не соблюдать правило уникальности, то это будет крайне негативно сказывать на продвижении сайта по данному запросу, поскольку это автоматически создаст дубли страниц на сайте.

4.2. <title> должен отвечать содержанию страницы

Указывайте только те ключевые слова, на которые действительно отвечает страница. С введением поведенческих факторов это стало ещё сильнее влиять на позиции в выдаче.

Например, пользователь заходит на страницу с тайтлом, которой отвечает его требованиям, а содержимое страницы совсем о другом, то логично предположить, что большинство просто закроет страницу и пойдёт дальше искать информацию в поисковик. В итоге у такого ресурса быстро испортится поведенческая картинка, что в итоге может негативно повлиять на позиции всего сайта в целом.

4.3. Порядок следования ключевых слов в теге <title> имеет значение

Первое слово в теге самое весомое для поисковой системы, следовательно, на первом месте необходимо употреблять самое важное ключевое слово на странице. Также стоит отметить, что если некоторые смежные ключевые слова не совсем подходят к содержанию страницы, то, возможно, стоит вообще их не указывать, даже в конце тайтла, этим усиливается важность первого ключевика

Также стоит отметить, что если некоторые смежные ключевые слова не совсем подходят к содержанию страницы, то, возможно, стоит вообще их не указывать, даже в конце тайтла, этим усиливается важность первого ключевика

4.4. Адекватная длина <title>

Количество слов в <title> не должно превышать 5-6. Оптимальное количество символов в title согласно ПС – 70. Обычно эту цифру используют для составления тега title для главной страницы. Для внутренних страниц его длина немного меньше – 40-60 символов. Но опять-таки, это лишь рекомендация. Если есть необходимость сделать тайтл 120 символов, то, значит, делайте его 120 символов. Всё что сделано на благо пользователей — вознаграждается и поощряется.

4.5. Знаки препинания

Используйте знаки препинания в своём <title> только в случае, если это крайне необходимо, и есть уверенность, что поисковая система правильно расценит мысль, которую Вы хотели донести до посетителей. Дело в том, что знаки препинания могут разбить тег <title> на разные смысловые части. Человек сможет разобраться в этом, а вот поисковая система может понять всё совсем иначе.

4.6. Не используйте бесполезные слова

Никогда не указывайте в тайтле слова типо «главная страница». Это бесполезный мусор для пользователей. Есть шансы быть пессимизированным в выдаче за злоупотребление такими словами. В тайтле должно быть всё только по делу.

4.7. Уточняйте <title>, если это нужно

Не делайте тайтл из одного слова. Например, на многих сайтах есть раздел «статьи»

Если обратить внимание, то многие сайты допускают серьёзную ошибку и имеют заголовок в виде одного слова «статьи», но это абсолютно противоречит здравому смыслу. Это слово явно требует уточнения

Например, «статьи про футбол» — в случае если у вас футбольная тематика будет смотреться куда более понятно. А ещё лучше дополнить это ещё одним более уточняющим словом.

4.8. Дублирование может быть полезным

Порой бывает очень полезно в конце тайтла указать название вашей фирмы. Например, «ключевая фраза | Название фирмы«. Это хорошая схема, которая давно себя зарекомендовала. Несмотря на постоянное дублирование в тайтле названия вашей фирмы, такая конструкция позволяет понизить показатель отказов на страницах сайта, поскольку пользователь, который переходит с поисковых систем уже примерно знает, что заходит на сайт организации. Кстати, возможно, о которой он уже что-то слышал ранее.

Определение модели

Особенности работы с поисковыми ботами

Чтобы индексация сайта поисковыми роботами происходила быстро и эффективно, необходимо:

Кроме ошибок в robots.txt, медленной скорости загрузки сайта и блокировки в .htaccess, причинами плохой индексации могут быть:

3.1. Высокая нагрузка на сервер при посещениях роботов

Индексация ботами поисковых систем крайне важна для продвижения, однако в некоторых ситуациях она может перегружать сервер, либо под видом роботов сайт могут атаковать хакеры. Чтобы знать цели, с которыми боты обращаются к ресурсу, и отслеживать возможные проблемы, проверяйте логи сервера и динамику серверной нагрузки в панели хостинг-провайдера. Критические значения могут свидетельствовать о проблемах, связанных с активным доступом к сайту поисковых роботов.

Когда роботы перегружают сервер слишком активными запросами к сайту, можно снизить их скорость обхода. Как это сделать, узнайте из справок и .

3.2. Проблемы из-за доступа фейковых ботов к сайту

Бывает, что под видом ботов Google к сайту пытаются получить доступ спамеры или хакеры. Если возникла такая проблема, проверьте, действительно ли сайт сканирует поисковый робот Google:

1. В логах сервера хостинг-провайдера скопируйте IP-адрес, с которого был сделан запрос к сайту.

2. Проверьте данный IP с помощью сервиса MyIp.

3. Затем проверьте адрес, указанный в строке IP Reverse DNS (Host).

   Полученный IP-адрес должен совпадать с исходным в логах сервера, иначе это говорит о том, что имя бота поддельное. В данном случае сайт действительно сканировал Googlebot Аналогично проверяются и вызвавшие подозрения боты Яндекса.

Узнайте о других причинах плохой индексации из нашего поста «Почему поисковые роботы и Netpeak Spider не сканируют ваш сайт».

Чтобы узнать, как тот или иной поисковый бот сканирует ваш сайт, воспользуйтесь краулером Netpeak Spider, который позволяет имитировать поведение робота. Для анализа необходимо:

1. Открыть настройки «Продвинутые» и выбрать шаблон «По умолчанию: бот» → он предполагает учёт всех инструкций по сканированию и индексации.

2. Перейти на вкладку «User Agent» и из списка ботов выбрать нужного.

   1. Начать сканирование и по окончании ознакомиться с полученными данными.

3.3. Список ботов поисковых систем

Поисковые системы используют различные типы роботов: для индексации обычных страниц, новостей, изображений, фавиконов и прочих типов контента. Список IP-адресов, которые используют боты поисковиков, постоянно меняется и не разглашается.

3.2.1. Роботы Google

Полный список роботов Google можно посмотреть в справке. Рассмотрим наиболее популярных ботов:

• Googlebot — к ним относятся краулеры двух типов: для десктопных и мобильных версий стандартных сайтов. С июля 2019 года для новых и адаптированных под мобильные устройства сайтов включено приоритетное сканирование мобильных версий, соответственно большинство запросов будут обрабатывать мобильные боты.

• Googlebot Images — поисковый робот для индексации изображений. При желании можно запретить индексацию всех картинок на сайте с помощью такой директивы в robots.txt:

  User-agent: Googlebot-Image
  Disallow: /

• Googlebot News — бот, добавляющий материалы в Google Новости.
• Googlebot Video — робот, индексирующий видеоконтент.
• Google Favicon — краулер, собирающий фавиконы сайтов.
• APIs-Google — агент пользователя для отправки PUSH-уведомлений. Такие уведомления используются, чтобы веб-разработчики могли быстро получить информацию о каких-либо изменениях на сайтах без излишней нагрузки серверов Google.
• AdsBot Mobile Web Android, AdsBot Mobile Web, AdsBot — краулеры, проверяющие качество рекламы на различных типах устройств.

3.2.2. Роботы Яндекс

У Яндекса тоже обширный список ботов, который можно детально изучить в Яндекс.Помощи. Расскажу о некоторых из них:

• Основной робот, индексирующий страницы, — YandexBot/3.0. Указания боту можно указывать с помощью директив в robots.txt.
• Бот, скачивающий страницы для проверки их доступности, — YandexAccessibilityBot/3.0. Этот краулер игнорирует команды в файле robots.txt.
• Робот, определяющий зеркала проектов, — YandexBot/3.0; MirrorDetector.
• Бот, индексирующий картинки, — YandexImages/3.0.
• Бот, который скачивает фавиконы сайтов. — YandexFavicons/1.0.
• Краулер, индексирующий мультимедийный контент, — YandexMedia/3.0.
• Бот, собирающий материалы для Яндекс.Новостей, — YandexNews/4.0.
• Краулеры Яндекс.Метрики — YandexMetrika/2.0, YandexMetrika/3.0.

Пример использования

<!DOCTYPE html>
<html>
	<head>
		<meta name = "description" content = "Бесплатные уроки по созданию сайтов" > <!-- мета элемент, который описывает содержимое документа -->
		<meta name = "keywords" content = "HTML, CSS, JavaScript, jQuery"> <!-- мета элемент, который описывает ключевые слова в документе -->
		<meta name = "author" content = "Denis Bolshakov"> <!-- мета элемент, который указывает имя автора документа -->
		<title>Пример использования атрибута name тега <meta></title>
	</head>
	<body>
		<h2> Это заголовок.</h2>
		<p>Это параграф. </p>
	</body>
</html>

В данном примере мы использовали три элемента <meta>:

• первый мета элемент описывает содержимое документа (значением атрибута name мы указали, что это описание страницы (description), а текстовое содержимое указали в атрибуте content. Это описание могут использовать поисковые машины для отображения результатов поиска.
• второй мета элемент описывает ключевые слова в документе (значением атрибута name мы указали, что это ключевые слова (keywords), а текстовое содержимое указали в атрибуте content. Ключевые слова могут использоваться некотрыми поисковыми машинами.
• третий мета элемент описывает имя автора документа (значением атрибута name мы указали, что это автор документа (author), а имя автора указали в атрибуте content.

HTML тег <meta>

Как правильно составить title?

Есть несколько правил грамотного составления мета-тегов. Рассмотрим сегодня примеры для Яндекса.

1. В заголовке — самое главное. Все мы знаем из уроков русского языка, что заголовок — это краткая информация о содержании страницы. Сейчас в моде вирусные, интригующие заголовки, игра словами  – все это нужно для того, чтобы читатель “повелся” на яркий заголовок и начал читать статью. Но мета-теги пишутся не для читателей, а для поисковиков! Им нужны не красивости и каламбуры, а четкая информация.
2. Заголовок должен соответствовать содержимому. Это и так понятно: в противном случае не видать вам поисковой выдачи как своих ушей.
3. Наличие ключевых слов. Помним, что поисковики — это роботы, они заточены на определенные слова. Оптимально будет посмотреть наиболее частые запросы по вашей теме по сервису Яндекс. Вордстат и добавить их в тайтл, желательно ближе к началу
4. Тайтл должен быть коротким, лучше до 40 слов — более длинные заголовки роботы не читают, и ваш текст будет показан не полностью.

Пластиковые окна Воронеж

Ниже еще один неплохой пример, только ключевая фраза должна быть в начале заголовка. Помним, что пользователи найдут ваш сайт не по названию фирмы (они могут о ней не знать), а по своему запросу. А запрос этот — “купить пластиковые окна в Воронеже”, его и надо ставить в начало.

Запрос — “купить пластиковые окна в Воронеже”

Еще одна ошибка: слишком длинный тайтл. Воронежский оконный что — завод, клуб, утеплитель? Читатель должен догадываться, а это нехорошо — нужно дать ему всю информацию.

Пластиковые окна в Воронеже

Мета тег description

Мета-описание (meta description) – также находится в <head> веб-страницы и обычно (хотя далеко не всегда) отображается в сниппете поисковой выдачи вместе с заголовком и URL-адресом страницы.

Например, это мета-описание данной статьи:

И да, само по себе метаописание не является фактором ранжирования. Но для любого вебмастера, старающегося увеличить количество переходов из поиска и улучшить поисковую выдачу своего бренда, это уникальная возможность.

Description занимает большую часть сниппета поисковой выдачи и приглашает пользователей щёлкнуть именно по вашей ссылке, обещая чёткое и комплексное решение их запроса.
Описание влияет на количество получаемых вами кликов, а также может улучшить CTR и снизить показатель отказов, если содержание страницы действительно соответствует обещаниям. Вот почему описание должно быть в равной степени реалистичным, привлекательным и чётко отражать содержание.
Если ваше описание содержит ключевые слова, использованные человеком в своём поисковом запросе, они будут выделены в поисковой выдаче жирным шрифтом

Это помогает вам привлечь внимание и сообщить пользователю, что именно он найдёт на вашей странице.

Невозможно поместить каждое ключевое слово, по которому вы хотите ранжироваться, в мета-описание, и в этом нет реальной необходимости – вместо этого напишите пару связных предложений, описывающих суть вашей страницы, включая основные ключевые слова.

Лучший способ выяснить, что необходимо поместить в мета тег Description для эффективного ранжирования – провести анализ конкурентов. Вбейте главный поисковый запрос вашей будущей или текущей страницы в Яндекс и Google. Посмотрите, кто и как заполнил описание, и возьмите себе всё самое лучшее из топа.

Мета совет

Мета-описание не обязательно должно состоять из одного-двух предложений. Вы можете добавить дополнительную информацию о странице, которая обрабатывается поисковиками и позволит выделиться в SERP.

Например:

• Для авторской статьи вы можете добавить дату публикации, имя автора.
• На странице продукта вы можете указать цену и дату изготовления товара.

Директивы robots.txt

Порядок включения директив:

<Директива><двоеточие><пробел><документ, к которому применяется директива>

Для начала стоит сказать о том, какие директивы могут использоваться в файле robots.txt.

User-agent – указание робота, для которого составлен список директив ниже. Обязательная для robots.txt директива, которая указывается в начале файла.

• Основной User-agent поисковой системы Яндекс – Yandex (, которым можно указать отдельные директивы).
• Основной User-agent поисковой системы Google – Googlebot (список роботов Google, которым можно указать отдельные директивы).
• Если список директив указывается для всех возможных User-agent’ов, ставится – «*»

Disallow – директива запрета индексации документов. Можно указывать как каталог, так и часть названия документа, так и полный путь документа.

• При запрете индексации документа путь определяется от корня сайта (красная стрелка на рисунке 1).
• Для запрета индексации документов второго и далее уровней можно указывать полный путь документа, или перед адресом документа указывается знак «*» (синяя стрелка на рисунке 1).
• При запрете индексации каталога также будут запрещены к индексации все страницы, входящие в этот каталог (зеленая стрелка на рисунке 1).
• Можно запрещать для индексации документы, в url которых содержатся определенные символы (розовая стрелка на рисунке 1).

Рис. 1 Директива Disallow

Allow – директива разрешения индексации документов. Является директивой по умолчанию для всех документов на сайте, если не указано другое.

Используется для открытия к индексации документов (синие стрелки), которые по той или иной причине находятся в каталогах, закрытых от индексации (красные стрелки).

Можно открывать для индексации документы, в url которых содержатся определенные символы (синие стрелки).

Стоит обратить внимание на : «Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно.»

Рис. 2 Директива Allow

Sitemap – директива для указания пути к файлу xml-карты сайта.

Если сайт имеет более 1 карты xml, допустимо указание нескольких путей.

User-agent: * Sitemap: http://site.ru/sitemap-1.xml Sitemap: http://site.ru/sitemap-2.xml

Спецсимволы

• * — означает любую последовательность символов. Добавляется по умолчанию к концу каждой директивы (красная стрелочка на рисунке 3).
• $ — используется для отмены знака «*» на конце директивы (синяя стрелочка на рисунке 3).
• # — знак описания комментариев. Все что указывается справа от этого знака не будет учитываться роботами.

Рис. 3 Спецсимволы

Host – директива указания главного зеркала сайта. Учитывается только роботами Яндекса.

• Данная директива может склеить не только зеркала вида www.site.ru и site.ru но и другие сайты, в robots.txt которых указан соответствующий Host.
• Если зеркало доступно только по защищенному протоколу, указывается адрес с протоколом (https://site.ru). В других случаях протокол не указывается.
• Для настройки главного зеркала в поисковой системе Google используется функция «Настройки сайта» в Google Search Console.

Crawl-delay – директива указания минимального времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей. Учитывается только роботами Яндекса. Директива используется, чтоб роботы поисковых систем не перегружали сайт.

Для ограничения времени между окончанием загрузки одной страницы и началом загрузки следующей в поисковой системе Google используется функция «Настройки сайта» в Google Search Console

Clean-param – директива используется для удаления параметров из url-адресов сайта. Учитывается только роботами Яндекса.

• Может использоваться для удаления меток отслеживания, фильтров, идентификаторов сессий и других параметров.
• Для правильной обработки меток роботами Google используется функция «Параметры URL» в Google Search Console.

Рис. 4 Clean-param

keywords (ключевые слова)

У любого сайта есть набор ключевых слов и словосочетаний, по которым поисковые системы ищут нужные ресурсы в сети. Именно эти слова и должны составлять содержимое keywords.

Самый простой способ подобрать нужные ключевые слова для текущей страницы — это определить по каким словам вы сами стали бы искать материал, представленный на ней? Вот это и будут нужные ключевые слова. Пример:

<meta name="keywords" content="мета тег, meta, метаданные, keywords, description">

Ключевые слова указываются через запятую или пробел и могут быть написаны в любом регистре. Рекомендуется указывать не более 10-15 ключевых слов или словосочетаний.

В настоящее время поисковые системы стали более продвинутые и определяют категорию, к которой относится информация, по содержимому веб-страницы, а ключевые слова отошли на второй план или полностью игнорируются.

Заключение

Эта небольшая статья основана на найденном мной ещё в том году листинге мета-тегов от Lance Pollard, когда мне самому стала интересна эта тема. Поэтому не удивляйтесь, что раздел с мета-тегами Open Graph полностью скопирован оттуда.

По поводу того, стоит ли применять те или иные теги — решать вам. Как бы то ни было, в любом случае, набор мета-тегов для вашего сайта (веб-приложения) будет индивидуальным и строиться на тематике сайта, его возможностях и прочих аспектах.

Другим примером может послужить веб-приложение, по типу Github, которое использует протокол Open Graph и карточки Twitter, иконки для мобильных платформ, оформление плиток (тайлов) для Windows 8.x и даже свои собственные мета-теги.

Поэтому старайтесь относиться с умом к использованию мета-тегов на страницах вашего проекта. Да, лишние мета-теги не помешают ему, но и не прибавят ему веса для поисковых систем. Не будем рассуждать тут о SEO и прочих шалостях, так как я в этом не особо силён, если не сказать, что практически вообще не бум-бум 🙂

Хотя, как мне кажется, сейчас поисковые системы в большей степени обращают своё внимание на содержимое страницы и базовые мета-теги, нежели чем на миллион и ещё один дополнительный мета-тег