Kako znova poslati posodobljeno ali novo datoteko Robots.txt

roboti txt

Naša agencija skrbi svetovanje o organskem iskanju za več prodajalcev SaaS v industriji. Stranka, s katero smo pred kratkim začeli sodelovati, je opravila dokaj običajno prakso, svojo aplikacijo je postavila na poddomeno in svojo brošuro preselila na jedro domene. To je običajna praksa, saj tako produkcijski ekipi kot tudi marketinški skupini omogoča posodobitev po potrebi, ne da bi bila odvisna od druge.

Kot prvi korak pri analizi njihovega organskega iskanja smo pri spletnih skrbnikih registrirali domeno brošure in aplikacije. Takrat smo ugotovili takojšnjo težavo. Iskalniki so blokirali indeksiranje vseh strani aplikacije. Poiskali smo njihov vnos robots.txt v spletnih skrbnikih in takoj ugotovili težavo.

Med pripravo na selitev njihova razvojna skupina ni želela, da bi se poddomena aplikacije indeksirala z iskanjem, zato so prepovedali dostop do iskalnikov. Datoteka robots.txt je datoteka, ki jo najdete v korenu vašega spletnega mesta - yourdomain.com/robots.txt - to daje iskalniku vedeti, ali naj spletno mesto plazijo ali ne. Lahko napišete pravila, ki omogočajo ali onemogočajo indeksiranje na celotnem spletnem mestu ali določenih poteh. Dodate lahko tudi vrstico, v kateri določite datoteko zemljevida mesta.

O Robots.txt datoteka je imela naslednji vnos, ki je preprečeval iskanje po vsebini in indeksiranje strani na lestvici rezultatov iskanja:

User-agent: * Disallow: /

Zapisano bi moralo biti tako:

Uporabniško sredstvo: * Dovoli: /

Slednji omogoča vsakemu iskalniku, ki plazi po spletnem mestu, dostop do katerega koli imenika ali datoteke na spletnem mestu.

Super ... tako da zdaj robots.txt datoteka je popolna, toda kako Google ve in kdaj bo spletno mesto še enkrat preveril? No, absolutno lahko zahtevate, da Google preveri vaš robots.txt, vendar ni preveč intuitiven.

Pomaknite se na Google Search Console Search Console k Iskanje po vsebini> preizkuševalnik robots.txt. V Testerju boste videli vsebino zadnje iskane datoteke robots.txt. Če želite znova poslati datoteko robots.txt, kliknite Pošlji in prikaže se pojavno okno z nekaj možnostmi.

znova pošljite datoteko robots.txt

Končna možnost je Prosite Google za posodobitev. Kliknite modri gumb Pošlji poleg te možnosti in se nato vrnite na Iskanje po vsebini> preizkuševalnik robots.txt možnost menija za ponovno nalaganje strani. Zdaj bi morali videti posodobljeno datoteko robots.txt skupaj z datumskim žigom, ki kaže, da je bila znova iskana.

Če posodobljene različice ne vidite, lahko kliknete Pošlji in izberete Ogled naložene različice za navigacijo do vaše dejanske datoteke robots.txt. Številni sistemi bodo to datoteko shranili v predpomnilnik. Dejansko IIS ustvari to datoteko dinamično na podlagi pravil, ki jih vnese njihov uporabniški vmesnik. Najverjetneje boste morali posodobiti pravila in osvežiti predpomnilnik, da boste objavili novo datoteko robots.txt.

robots-txt-tester

Kaj menite?

Ta stran uporablja Akismet za zmanjšanje nezaželene pošte. Preberite, kako se vaš komentar obravnava.