Як заборони в Robots.txt впливають на сканування сайту.