Все о файле robots.txt
Те, кто создает веб-сайты, используют так называемые файлы robots.txt, чтобы сообщать веб-роботам, таким как роботы поисковых систем, как сканировать определенные страницы на их веб-сайтах. REP — это набор правил, которые определяют, как роботы могут или не могут сканировать Интернет и обрабатывать контент, с которым они сталкиваются. Файл robots.txt является его частью и указывает, могут ли определенные поисковые роботы сканировать различные части веб-сайта, разрешая (или не разрешая) поведение определенных пользовательских агентов.
Важно узнать о robots.txt, потому что он может действительно помочь или навредить вашему сайту. Читайте дальше, чтобы получить хорошее представление о том, что нужно сделать, чтобы максимально использовать возможности вашего сайта.
ВАЖЕН ЛИ ФАЙЛ ROBOTS.TXT?
Если вы неправильно используете robots.txt, это может серьезно повредить вашему рейтингу, потому что этот файл контролирует то, как роботы поисковых систем или поисковые роботы видят и взаимодействуют с вашими веб-страницами. Боты читают ваш файл robots.txt (если он у вас есть), и это говорит им, должны ли они сканировать ваш сайт, и если да, то в каком объеме и когда.
Первое, на что обращают внимание боты Google, — это файл robots.txt сайта. Он делает это для того, чтобы увидеть, есть ли у него разрешение на обход. Ваш файл robots.txt представляет собой набор инструкций для ботов, и если вы знаете, что делаете, вы можете заставить его говорить все, что захотите. Вы даже можете настроить задержку, чтобы боты сканировали, но через период времени, который вы указываете в файле robots.txt.
Как узнать, есть ли у вас файл robots.txt
Есть способы узнать, есть ли у вас уже файл robots.txt. Наиболее распространенным является ввод URL-адреса вашего корневого домена, а затем добавление /robots.txt в конце. Например, если ваш сайт www.fansofthegrimreaper.com, введите www.fansofthegrimreaper.com/robots.txt. Если страницы в формате .txt нет, значит, в настоящее время у вас нет запущенного и работающего файла robots.txt.
Это может быть хорошо или плохо в зависимости от того, что вы хотите делать со своим сайтом. Если у вас есть плитка robots.txt, вы должны убедиться, что она не повредит вашему рейтингу, блокируя контент, который вы не хотите блокировать.
Причины иметь файл robots.txt
Хотя вам не обязательно иметь файл robots.txt, в некоторых случаях полезно иметь его в рабочем состоянии. Если у вас есть контент, который вы хотите заблокировать от определенных поисковых систем, или если вы хотите точно настроить доступ от авторитетных роботов, необходимо, чтобы файл robots.txt работал. Или, возможно, ваш сайт работает, но вы все еще работаете над его редактированием, поэтому пока не хотите появляться в поисковых системах.
Вы можете настроить robots.txt, чтобы он соответствовал всем вашим критериям. Большинство веб-мастеров имеют возможности и разрешения для создания, настройки и успешного использования файла robots.txt.
Когда не нужен файл robots.txt
Если ваш веб-сайт относительно прост, не содержит ошибок и не содержит файлов, которые вы хотите заблокировать от поисковых систем, вам не нужен файл robots.txt. Даже если у вас нет файла robots.txt, роботы поисковых систем все равно смогут иметь полный доступ к вашему сайту, поэтому нет причин беспокоиться о том, что они не смогут вас найти. На самом деле, они могут найти вас гораздо проще, чем если бы у вас был файл robots.txt, особенно если он плохо настроен или содержит ошибки.
Если вы хотите, чтобы все и все, чем больше, тем веселее находили ваш сайт и видели все на нем, лучше всего вообще не иметь файла robots.txt. В этом нет ничего плохого, и это широко распространенная практика. Не думайте, что вы упускаете какой-то ключевой инструмент для ранжирования в поисковых системах. На самом деле, не имея файла robots.txt, вы можете получить более высокий рейтинг, чем в противном случае.
КАК СОЗДАТЬ ФАЙЛ ROBOTS.TXT
Если вы умеете копировать и вставлять, вы тоже можете создать файл robots.txt. Это очень просто и не требует навыков программирования. Достаточно Microsoft Word или Блокнота. Нет необходимости использовать редактор кода. Это было бы перебором. Существует множество сайтов с инструкциями по настройке файла robots.txt.
Просто найдите пример того, что вам нужно, а затем скопируйте и вставьте текст в свой собственный файл. Не бойтесь, потому что проверить и увидеть, правильно ли настроен ваш файл, так же легко, как и сделать или исправить его. Существует множество онлайн-инструментов, которые помогут вам бесплатно.
Что должен сказать файл robots.txt?
Файл robots.txt выполняет три основные функции: разрешает, запрещает или частично разрешает сканирование вашего сайта. Если вы хотите, чтобы весь ваш сайт сканировался, у вас есть три варианта. Во-первых, у вас не может быть файла robots.txt, то есть его вообще не существует на вашем сайте. Когда бот начинает сканировать, он сразу же ищет файл robots.txt. Если он не найдет его, он будет посещать весь контент на всех ваших страницах, потому что ничто не говорит ему не делать этого.
Вы также можете создать пустой файл robots.txt. Это послужит той же цели, что и его отсутствие. Когда бот придет в гости, ему будет нечего читать и он снова будет ползать по всему вашему материалу. Если вы не хотите, чтобы какой-либо ваш контент сканировался ботами, вы должны настроить файл robots.txt с полным запретом. Однако будьте осторожны, потому что это будет означать, что Google и все другие поисковые системы не будут индексировать или когда-либо отображать ваш сайт. Этот метод не рекомендуется.
Почему вы должны использовать файл robots.txt
Если вы потратили время, хлопоты и расходы на создание веб-сайта, скорее всего, вы хотите, чтобы люди смотрели на него и могли найти его, если они еще не знают, что он существует. Сканеры — ваш лучший выбор, когда вы пытаетесь подняться в рейтинге поисковых систем. Иногда вы можете не хотеть, чтобы ваш сайт был пронизан ботами, по крайней мере, сразу.
Примером этого может быть, если у вас есть страница, которая все еще является черновиком. Или задержка сканирования может пригодиться, чтобы ваш сервер не был перегружен из-за слишком большого трафика. Вы также можете не захотеть, чтобы ваша внутренняя страница поисковой системы отображалась где-либо еще, потому что это не будет иметь смысла вне контекста.
КАК ПРОВЕРИТЬ ФАЙЛ ROBOTS.TXT
Если вы настроили файл robots.txt для запрета или частичного запрета, рекомендуется проверить и убедиться, что он работает. Для этого есть несколько бесплатных инструментов. Они могут сказать вам, блокируются ли важные для Google файлы, а также показать вам, что говорит ваш файл robots.txt.
ВЫЗОВ ВСЕХ БОТОВ
Файл robots.txt очень похож на набор направлений для ботов, посещающих ваш сайт. Вы можете оставить конкретные инструкции для определенных ботов или использовать «подстановочный знак», если хотите использовать один и тот же набор инструкций для всех ботов. Googlebot и bingbot — два примера ботов, которые потенциально могут посетить ваш сайт. Вообще говоря, это хорошо, когда боты посещают ваш сайт, при условии, что у вас нет никакой информации или графики, которые вы не хотите индексировать.
Если это так, возможно, подумайте еще раз о размещении вашего личного контента на веб-сайте для начала. Если у вас есть фотография, которую вы не хотите, чтобы кто-либо видел, ее не должно быть в Интернете. Однако, если вы профессиональный фотограф, желающий продавать отпечатки своих работ, вам нужно быть осторожным, чтобы ваши изображения не могли быть украдены.
Хотя вы можете захотеть, чтобы боты могли найти ваш сайт, потому что вы хотите найти новых клиентов, вы можете не хотеть, чтобы реальная картинка, которую вы пытаетесь продать, отображалась в результатах поиска. Если вы это сделаете, убедитесь, что он защищен авторским правом или имеет водяной знак, чтобы его нельзя было легко загрузить или иным образом украсть. Если у вас есть изображение, которое, по вашему мнению, не имеет отношения к вашему сайту, вы можете захотеть частично запретить его использование в файле robots.txt.
Что такое задержка сканирования и почему вас это должно волновать
Иногда боты могут приползти раньше, чем вы этого захотите, и это, мягко говоря, нежелательно. Yahoo, Yandex и Bing — несколько примеров ботов, которые часто появляются очень быстро. Вы можете держать их в страхе, применив Crawl-delay: 10 к вашему блоку в файле robots.txt. Это заставит их ждать десять секунд перед сканированием и повторным входом на ваш сайт. Это поможет, если ваш сайт перегружен трафиком.
Этот метод также полезен, если вы редактируете работающий веб-сайт, чтобы посетители случайно не наткнулись на незавершенную работу. Это может привести к тому, что они подумают, что сайт некачественный, и никогда не вернутся. Если вы задержите поисковые роботы, это уменьшит риск этого.
Контент, которые вы, возможно, не хотите сканировать
В некоторых случаях вы не хотите, чтобы определенный контент на вашем сайте сканировался ботами. Это могут быть личные фотографии, которые вы сделали, или информация, которую вы не хотите обнародовать. Или, возможно, у вас есть внутренняя панель поиска, которая выполняет поиск только на вашем сайте.
Это здорово, но вы не хотите, чтобы Google отображал страницу, на которой могли появиться результаты чьего-то поискового запроса. Это может быть бесполезно или, что еще хуже, сбить с толку потенциального нового посетителя вашего сайта, который не будет тратить время на поиск нужной информации.
Чего следует избегать в отношении файлов robots.txt
Задержки сканирования иногда могут быть полезны, но вы должны быть осторожны, потому что они могут очень легко принести больше вреда, чем пользы. Это может быть особенно вредно, если у вас большой веб-сайт с большим количеством страниц. Вам также следует избегать блокировки ботов, чтобы они не могли сканировать весь ваш сайт, потому что тогда вы никогда не будете отображаться в результатах поиска.
Если вы не делаете для себя какой-то альбом для вырезок или вы очень закрытый человек, который по какой-то причине все еще хочет быть в Интернете, жизненно важно, чтобы вы появлялись в результатах поиска. На самом деле, многие люди тратят много времени и денег, пытаясь улучшить свой рейтинг. Запрещая сканеры на вашем сайте, вы можете, так сказать, выстрелить себе в ногу.
ЗАКЛЮЧЕНИЕ
Очень важно решить, хотите ли вы использовать файл robots.txt, и если вы решите это сделать, убедитесь, что он правильно настроен. Неправильный файл robots.txt может помешать ботам индексировать вашу страницу или страницы, что может нанести ущерб вашему рейтингу в поисковых системах. На самом деле, вы можете даже не появиться вообще. Важно помнить, что не обязательно плохо не использовать файл robots.txt, если вы хотите, чтобы все на вашем сайте сканировалось ботами. Это очень распространенная и полезная практика, и она вполне приемлема.
Robots.txt — это лишь один из множества способов улучшить (или не улучшить, в зависимости от того, что вы в конечном итоге хотите) свой рейтинг в поисковых системах. Некоторые люди живут, чтобы быть лучшими. Другие предпочитают секретность. Это ваш сайт, и вы можете делать с ним все, что хотите.
