Kereső robot utasítás
A keresők kiszolgáloja

robots.txt file-ba elmenteni a kapott utasítássort.

Robotokat utasíthatunk, hogy oldaladon mely könyvtárakban kutakodhatnak, melyeket vehetnek fel nyilvántartásukba, indexelhetnek. Kiválaszthatsz 10 ismert kereső robot közül bármelyiket amit külön is utasíthatsz, név szerint.

         Az  User-agent: * sor/jelzés a robot.txt első sora. Ez határozza meg mely keresőknek szól a következő utasítás lista. Fontosabb keresőrobotok nevei, leírása. Ebben az esetben mindegyik érti és használja az utasításokat. minden robot kizárása: Disallow: / . Ha szeretnénk kizárni a Google index-éből a honlapot vagy a honlapnak egy bizonyos részét, akkor létre kell hozni a szerveren egy robots.txt fájlt. Doménenként csak egy lehetséges. Csak a kisbetüs írás érvényes tehát soha "Robots.txt" vagy "robots.TXT".

       Általában a honlaphoz használt képek az images könyvtárban vannak. Ezt célszerű a robotok elöl letiltani. Nincs értelme egy dobozt, egy aláhúzást, hátteret neten mutogatni. A példában az images könyvtár és alkönyvtárai tiltva vannak.($) Saját képeket képek, foto könyvtárba helyezd el. Egy file letiltása: Pl.: Disallow: akarmi.html. Ha több téma akkor témakörönként tilthatunk. A sorok elején nem lehet üres hely, space. Az utasításokat kisbetűvel kell megadni. Egy sor csak egy utasítást tartalmazhat.

 

Egyéb robot utasítások.

      Noindex, nofollow

      Mint említettük, nagy a veszélye annak, hogy szándékainktól függetlenül spam-nek értelmezik lapjainkat. Ennek egyik gyakori oka az, hogy ilyen-olyan technikai okokból site-unkon szerepel két egyforma, vagy nagyon hasonló lap. Én pl. a browser nyelvét a főlapon megvizsgálom, de amikor a site egy lapjáról valaki visszamegy a főlapra, akkor a főlap duplikátumára érkezik, amelyben már nincsen benne a nyelvi ellenőrzés (egy Javascript). Magyarán két főlapom van, amelyeket ki is zárt az Altavista, spamnak ítélve azt. (A logika ebben az, hogy aki agresszíven akar látogatókat szerezni, azonos tartalmú, de különböző nevű lapokkal egy egész találati oldalt is meg tud tölteni, ami a kereső robotokkal szembeni visszaélésnek minősül, mert gátolja a szabadversenyt.) Az ilyen esetek ellen az alábbi metatag-gel lehet védekezni:

      <meta name="robots" content="Utasítás a robotnak ">

      Mik lehetnek ezek az utasítások?

      Ennek a metatag-nek a használatában nyilvánvalóan a tiltásoknak van fontos szerepe. Pl. a fenti esetben az egyik lapomat el kell látni egy "noindex, follow" utasítással. A "nofollow" pl. arra használható, hogy korlátozzuk a site-unk belépési pontjait, vagyis a kereső robot csak az általunk belépési pontnak minősített lapokat indexelje le (ilyen célú használatról azonban mindenkit lebeszélek, hiszen minél több lapunk jelenik meg a találati listákon, annál nagyobb az esélyünk, hogy megtalálnak minket). A "noimageindex" korlátozza a képeink lopkodását, hiszen szeretünk értelmes nevet adni a képeknek a jobb kezelhetőség miatt, így viszont a képgyűjtögetők könnyebben rátalálnak képeinkre.

      Kutatók szerint a kereső robotok nem esznek akármit.
      Pl. a frames oldalakat használó website-oknak nem árt az óvatosság. A kereső robotok ugyebár úgy működnek, hogy ha valaki regisztrál egy domain nevet, akkor esetleg csak pár hét múlva(!) keresik fel a címet, és kezdik a munkát az index.html oldallal, majd ha ezt leindexelték (szöveges tartalmát kielemezték és eltárolták), követik a lapról tovább mutató linkeket, és az így talált lapokat is leindexelik. Ám e ponton emberi sorsok futnak zátonyra, mert a webpolgár azt hiszi, a frames megoldás a menő, a kereső robotok meg fütyülnek erre. Ha egy kereső robot egy frameset-es lapot talál, már megy is tovább, s a szerencsétlen webpolgár meg nem érti, miért nem szerepel még mindig a kereső adatbázisában, pedig már ötször beregisztrálta az URL-ét. A robotok ugyanis nem hajlandók a Frameset utasítás src-jében megadott útvonalat követni!

      A megoldás persze nem az, hogy dobjuk el a frames lapjainkat, hanem az, hogy:
      1, Regisztráljuk be külön-külön a továbbmutató linkeket tartalmazó frameket (vagyis a frameset-ben megadott oldalakat)!
      2, A <noframe></noframe> részbe tegyünk egy továbbmutató linkeket tartalmazó, kulcsszavaktól hemzsegő oldalleírást, ezt ugyanis a kereső robotok kielemzik.
      3, Oldjuk meg Javascript segítségével, hogy akkor is a többframe-s oldal jöjjön be, ha valaki csak az egyik frame-t találja meg egy keresővel

Forrás: http://www.behsci.sote.hu/ismert1.htm