🧐 Блог Евгения Попова :: 💻 Программы :: DataLife Engine

robots.txt через PHP файл для основного домена и поддоменов

Может пригодится кому-нибудь. В общем иногда есть необходимость чтобы robots.txt был один на основном домене/поддомене, а на всех остальных (зеркала на разных доменах/поддоменах) — другие. Боле наглядно: есть основной домен, есть поддомены, поддомены — это зеркало сайта. На основном домене создается robots.php и прописываются правила для него, и для всех остальных зеркал.

«Пост скорее для того, чтобы не потерять код рабочий и потом не гуглить его заново.»



Создать PHP файл:

<?php
	header("Content-type: text/plain;");
	
	if($_SERVER['HTTP_HOST'] == 'site.ru') {
		
		echo"User-agent: *
		Allow: /engine/classes/min/index.php?
		Allow: /engine/data/emoticons/
		Disallow: /engine/
		Host: https://site.ru
		Sitemap: https://site.ru/sitemap.xml
		";		
	}
	
	if($_SERVER['HTTP_HOST'] != 'site.ru') {
		
		echo"User-agent:
		Disallow: / 
		";		
	}

В htaccess добавить строчку

RewriteRule ^robots.txt?$ robots.php  [L,QSA]

Готово!

Перейти на сайт (скачивать файлы можно только на сайте)