2seo.lt
Ieškoti įrankių

robots.txt generatorius

Techninis SEODuomenys apdorojami tik jūsų naršyklėje

robots.txt — tai tekstinis failas svetainės šaknyje, nurodantis robotams, kuriuos svetainės adresus jie gali lankyti. Tai pirmasis failas, kurio paprašo robotas (pvz., Googlebot), todėl klaidos jame gali sukelti didelių problemų.

Pasirinkite reikiamus parametrus — įrankis sugeneruos tekstą, kurį nukopijuosite į robots.txt failą svetainės šaknyje. Apie pavojingas kombinacijas (pvz., visišką svetainės uždarymą) pranešama papildomai.

Pradinis šablonas
robots.txt
User-agent: *
Disallow:

Kaip naudoti

  1. Pasirinkite pradinį šabloną (leidžiama visiems arba savarankiškos taisyklės).
  2. Pridėkite draudžiamus katalogus ar failus ir, jei reikia, specialias robotų taisykles.
  3. Nurodykite sitemap.xml adresą.
  4. Nukopijuokite arba atsisiųskite sugeneruotą failą ir įkelkite jį į svetainės šaknį.

Pavyzdys

Įvestis: Uždraustas katalogas /administratorius/, sitemap https://svetaine.lt/sitemap.xml

Rezultatas: User-agent: * Disallow: /administratorius/ Sitemap: https://svetaine.lt/sitemap.xml

Įrankio apribojimai

  • robots.txt nešalina puslapių iš Google — jis tik nurodo, ko robotams nereikėtų lankyti. Jau indeksuoti puslapiai gali likti rezultatuose net su draudimu.
  • Sistemos, nepaisančios taisyklių, gali robots.txt ignoruoti — draudimas nėra apsaugos priemonė.
robots.txt tikrintuvasĮklijuokite robots.txt tekstą ir patikrinkite dažnas sintaksės klaidas bei klaidinančias kombinacijas.VietinisMeta robots žymos generatoriusSugeneruokite <meta name="robots"> žymą: index/noindex, follow/nofollow ir kitos direktyvos.VietinisSitemap XML generatoriusIš URL sąrašo sugeneruokite korektišką sitemap.xml failą su galimu lastmod įrašu.Vietinis

Dažnai užduodami klausimai

Kaip uždrausti visą svetainę?

Naudokite „Disallow: /“ (pasvirųjį brūkšnį) grupėje „User-agent: *“. Tai tinkama tik testavimo aplinkoje arba svetainei ruošiantis paleidimui — atkreipkite dėmesį į įrankio įspėjimą, nes viešoje svetainėje tai pašalins viską iš paieškos.

Kur turi būti patalpintas robots.txt?

Tik svetainės šaknyje: https://jusu-domenas.lt/robots.txt. Failas kitame kataloge (pvz., /puslapis/robots.txt) neveiks — robotai jo neieško.

Kuo robots.txt skiriasi nuo meta robots?

robots.txt valdo, ką robotas gali lankyti (serverio lygmeniu, visai svetainei). Meta robots žyma (noindex) valdo atskiro puslapio indeksavimą, kai robotas jį jau pasiekė. Kartais tinkamiau naudoti noindex, o ne disallow — pavyzdžiui, norint, kad puslapis dingtų iš rezultatų, bet liktų aptinkamas.