Блокировка поисковых роботов скриптом

Материал из 1GbWiki.

Версия 12:02, 7 сентября 2007 (править) Dmach (Обсуждение | вклад) (Новая: Если вы хотите закрыть доступ к какому либо скрипту для поискового робота, вам нужно в начало скрипта ...) ← К предыдущему изменению		Текущая версия (16:13, 28 января 2013) (править) (отменить) Chapay (Обсуждение | вклад)
(2 промежуточные версии не показаны)
Строка 32:		Строка 32:
	*[[Проблема блокировки по IP-адресу]]		*[[Проблема блокировки по IP-адресу]]
	*[[Простой скрипт блокировки скачивания всего сайта]]		*[[Простой скрипт блокировки скачивания всего сайта]]
-	*[http://www.1gb.ru/default.aspx?ti=6&hti=105 Перегрузка поисковыми машинами]	+	*[http://www.1gb.ua/default.aspx?ti=6&hti=121 Перегрузка поисковыми машинами]
		+	*[[Ограничение процессорной нагрузки]]
		+
		+	[[Категория:Серверная нагрузка]]
		+	[[Категория:Программирование]]

---

Текущая версия

Если вы хотите закрыть доступ к какому либо скрипту для поискового робота, вам нужно в начало скрипта вписать следующий код:

<?php

// Crawler definitions

$userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);

if (substr_count($userAgent, 'crawler') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'yandex') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'webalta') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'mail.ru') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'googlebot') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'aport') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'rambler') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'yahoo') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'stackrambler') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'search') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'indexer') > 0) $isCrawler = 1;
else if (substr_count($userAgent, 'cuill.com') > 0) $isCrawler = 1;

if ($isCrawler)
{
	header("HTTP/1.0 403 Hello, Crawler!");
	exit;
}

?>

[править] См. также

• Проблема блокировки по IP-адресу
• Простой скрипт блокировки скачивания всего сайта
• Перегрузка поисковыми машинами
• Ограничение процессорной нагрузки