Hogyan küldhetünk be egy frissített vagy új Robots.txt fájlt

robotok txt

Ügynökségünk kezeli organikus keresési tanácsadás az ipar számos SaaS-eladójának. Egy kliens, akivel nemrég kezdtünk együtt dolgozni, meglehetősen szokásos gyakorlatot végzett, alkalmazását egy aldomainre helyezte, és a prospektus webhelyét az alaptartományba helyezte. Ez egy szokásos gyakorlat, mivel lehetővé teszi, hogy a gyártói csapat és a marketing csapat is szükség esetén frissítéseket hajtson végre, anélkül, hogy a másiktól függene.

Az organikus keresés állapotának elemzésének első lépéseként regisztráltuk mind a prospektust, mind az alkalmazási területeket a Webmesterekben. Ekkor azonosítottunk egy azonnali problémát. A keresőmotorok blokkolták az összes alkalmazásoldal indexelését. Navigáltunk a robotok.txt bejegyzéséhez a Webmesterekben, és azonnal azonosítottuk a problémát.

A migrációra való felkészülés során fejlesztőcsapatuk nem akarta, hogy az alkalmazás aldomainjét a keresés indexelje, ezért nem engedélyezték a keresőkhöz való hozzáférést. A robots.txt fájl a webhely gyökérkönyvtárában található fájl - yourdomain.com/robots.txt - ezzel a keresőmotor tudja, hogy be kell-e térképezniük a webhelyet. Szabályokat írhat az indexelés engedélyezésére vagy tiltására a teljes webhelyen vagy meghatározott útvonalakon. Hozzáadhat egy sort a webhelytérkép-fájl megadásához.

A Robots.txt A fájl a következő bejegyzéssel akadályozta meg a webhely feltérképezését és indexelését a keresési eredmények rangsorában:

User-Agent: * Disallow: /

A következőképpen kellett volna megírni:

Felhasználó-ügynök: * Engedélyezés: /

Ez utóbbi engedélyt ad minden olyan keresőmotor számára, amely feltérképezi a webhelyet, hogy hozzáférhetnek a webhely bármely könyvtárához vagy fájljához.

Nagyszerű ... szóval most, hogy a robots.txt fájl tökéletes, de honnan tudja a Google, és mikor ellenőrzi újra a webhelyet? Nos, feltétlenül kérheti, hogy a Google ellenőrizze a robots.txt fájlt, de ez nem túl intuitív.

Navigáljon a Google Search Console Search Console hoz Feltérképezés> robots.txt tesztelő. A tesztelőn belül megtekintheti a legutóbb feltérképezett robots.txt fájl tartalmát. Ha újra el akarja küldeni a robots.txt fájlt, kattintson a Küldés gombra, és egy felugró ablak néhány lehetőséget kínál.

küldje be újra a robots.txt fájlt

A végső lehetőség az Kérje meg a Google-t a frissítésről. Kattintson az opció melletti kék Küldés gombra, majd navigáljon vissza a Feltérképezés> robots.txt tesztelő menüpont az oldal újratöltéséhez. Most látnia kell a frissített robots.txt fájlt, valamint egy dátumbélyegzőt, amely megmutatja, hogy újra feltérképezték.

Ha nem látja a frissített verziót, kattintson a Küldés gombra, és válassza a lehetőséget A feltöltött verzió megtekintése a tényleges robots.txt fájl eléréséhez. Sok rendszer gyorsítótárba helyezi ezt a fájlt. Valójában az IIS dinamikusan generálja ezt a fájlt a felhasználói felületükön keresztül bevitt szabályok alapján. Valószínűleg frissítenie kell a szabályokat és frissítenie kell a gyorsítótárat egy új robots.txt fájl közzétételéhez.

robotok-txt-tesztelő

Mit gondolsz?

Ez az oldal Akismet-et használ a levélszemét csökkentése érdekében. Ismerje meg, hogyan dolgozik a megjegyzésed.