User-agent: * Disallow: /admin Disallow: */page/ Disallow: /page-* Disallow: /sortOrder? Disallow: /detail? Disallow: /shop? Disallow: /toyu? Disallow: /my_range? Disallow: /gad_source? Disallow: /search/ # запрещает ссылки страниц встроенного на сайте поиска Disallow: /cart/ Disallow: /public/uploads/instruction/ Disallow: /upload/ User-agent: Yandex Disallow: /admin Disallow: */page/ Disallow: /page-* Allow: /*.css Disallow: /search/ # запрещает ссылки страниц встроенного на сайте поиска Disallow: /*sortOrder= Disallow: /*detail= Disallow: /*shop= Disallow: /*toyu= Disallow: /*my_range= Disallow: /*gad_source= Allow: /*.jse? Disallow: /public/uploads/instruction/ Disallow: /upload/ Clean-param: srsltid&page&searchText&my_range&sortOrder # Ограничение скорости для агрессивных ботов Google User-agent: GoogleOther Disallow: /admin Crawl-delay: 2 User-agent: GoogleOther-Image Disallow: /admin Crawl-delay: 2 User-agent: Google-InspectionTool Disallow: /admin Crawl-delay: 2 # Ограничение для ботов OpenAI User-agent: GPTBot Disallow: /admin Crawl-delay: 2 # Ограничение для ботов Apple User-agent: Applebot Disallow: /admin Crawl-delay: 2 # Ограничение для ботов Amazon User-agent: Amazonbot Disallow: /admin Crawl-delay: 2 # Карта сайта Sitemap: https://smartikon.by/sitemap.xml