Mik az a crawlers?
A crawler egy olyan program, amely weboldalak látogatásával és az oldalak olvasásával adatokat és információkat gyűjt az internetről. A keresőmotorok használják, és spiderként is ismerik. Ez a program minden adatot, valamint a külső és belső hivatkozásokat egy adatbankban tárolja. Információkat tárol a weboldal tartalmáról, a metacímkékről, a weboldal címéről és még sok másról. Segít a webhely indexelésében, egy-egy oldalt feltérképez egy webhelyen, amíg az összes oldalt indexelték.
