User-Agent: *
Crawl-delay: 4.5 	# задает таймаут в 4.5 секунды
Request-rate: 1/5         # загружать не более одной страницы за пять секунд