Nov 16 – Dec 15 2026

BLACK FRIDAY

UPTO 75% OFF For new accounts the first 6 months

Keresőrobot

SEO DigitalMarketing AffiliateMarketing WebCrawlers

A Google bejáró robotjairól szóló dokumentáció ismerteti a Google által használt robot- és letöltő (fetcher) kategóriákat. Ezt a dokumentációt használd, amikor ellenőrzöd, hogyan fér hozzá egy adott Google-robot egy affiliate weboldalhoz.

Mi az a keresőrobot?

Az alapdefiníció

A keresőrobot egy automatizált program – más néven webrobot, pókbot vagy egyszerűen csak bot –, amely szisztematikusan böngészi a világhálót, hogy felfedezze, elolvassa és összegyűjtse a weboldalak tartalmát. A robot által összegyűjtött adatokat visszaküldi a keresőmotornak, amely azokat egy hatalmas, indexnek nevezett adatbázisba rendezi. Amikor valaki keresési lekérdezést indít, a motor ebből az indexből húzza elő a releváns találatokat, nem az élő webről.

A „spider" elnevezés onnan ered, ahogyan ezek a programok navigálnak a weben: hiperhivatkozásokat követnek oldalról oldalra, ahogyan a pók mozog a hálója szálain. A legkorábbi ismert bejáró robot, a WebCrawler, 1994-ben indult, és nagyban hozzájárult a máig is használt hasonlat elterjedéséhez.

Az alapdefiníció

A keresőrobot egy automatizált program – más néven webrobot, pókbot vagy egyszerűen csak bot –, amely szisztematikusan böngészi a világhálót, hogy felfedezze, elolvassa és összegyűjtse a weboldalak tartalmát. A robot által összegyűjtött adatokat visszaküldi a keresőmotornak, amely azokat egy hatalmas, indexnek nevezett adatbázisba rendezi. Amikor valaki keresési lekérdezést indít, a motor ebből az indexből húzza elő a releváns találatokat, nem az élő webről.

A „spider" elnevezés onnan ered, ahogyan ezek a programok navigálnak a weben: hiperhivatkozásokat követnek oldalról oldalra, ahogyan a pók mozog a hálója szálain. A legkorábbi ismert bejáró robot, a WebCrawler, 1994-ben indult, és nagyban hozzájárult a máig is használt hasonlat elterjedéséhez.

Spider, robot vagy bot: mi a különbség?

A Google a Googlebotot, a Bing a Bingbotot használja, és mindkettő olyan robot, amely ugyanazt az alapfeladatot látja el.

PostAffiliatePro Logó

Indítsd el affiliate programodat még ma

Állítsd be a fejlett nyomkövetést percek alatt. Bankkártya nem szükséges.

Hogyan működik a keresőrobot?

A feltérképezési folyamat megértése segít a webhelytulajdonosoknak jobb döntéseket hozni az oldalfelépítés, az oldalak fontossági sorrendje és a technikai SEO terén.

Kiindulási URL-ek és felfedezés

Minden robot ismert webcímek listájával indul, amelyeket kiindulási URL-eknek (seed URL) nevezünk. Ezek származhatnak korábban feltérképezett oldalakból, beküldött XML oldaltérképekből vagy korábbi feltérképezések során felfedezett linkekből. Minden kiindulási pontról a robot letölti az oldalt, és kinyeri az összes benne található hiperhivatkozást. Ezek a linkek egy sort – más néven feltérképezési frontvonalat – alkotnak a következőként meglátogatandó oldalak számára.

Feltérképezés, megjelenítés és indexelés

Amikor egy robot elér egy oldalt, három dolgot tesz:

  1. Lekéri az oldalt — A robot HTTP-kérést küld, ugyanúgy, ahogyan a böngésző teszi. Egy User-Agent fejlécsztringgel azonosítja magát (pl. Googlebot/2.1).
  2. Megjeleníti és elolvassa a tartalmat — A modern robotok, köztük a Googlebot is, megjelenítik a JavaScriptet, és feldolgozzák a teljes Document Object Modelt (DOM). Olvassák a látható szöveget, a meta címkéket, a fejlécstruktúrát, a képek alt attribútumait és a strukturált adatok jelöléseit.
  3. Adatot küld az indexbe — A kinyert tartalom a keresőmotor indexelési folyamatába kerül, ahol feldolgozzák, relevancia és minőség szempontjából értékelik, majd tárolják a visszakereshetőség érdekében.

A feltérképezési ciklus a gyakorlatban

A folyamat folyamatos ciklusban fut:

  • Fedezz fel egy URL-t → Töltsd le az oldalt → Elemezd a tartalmat, és nyerd ki a linkeket → Add az új URL-eket a sorhoz → Ismételd

A robot emellett a feltérképezés előtt minden domainen ellenőrzi a robots.txt fájlt is. Ha a fájl letilt egy elérési utat, egy jól nevelt robot kihagyja azt. A robotok betartják továbbá a meta robots címkéket és az X-Robots-Tag HTTP fejléceket is, amelyek arra utasítják őket, hogy ne indexeljenek egy oldalt, vagy ne kövessék a linkjeit.

Milyen keresőrobotok léteznek?

Minden nagyobb keresőmotor a saját robotját üzemelteti. Íme azok, amelyek legnagyobb valószínűséggel felkeresik az oldaladat:

A robot neveKeresőmotorUser-Agent azonosító
GooglebotGoogleGooglebot
BingbotBingBingbot
Slurp BotYahoo (a Bing alapjaira épülve)Slurp
DuckDuckBotDuckDuckGoDuckDuckBot
BaiduspiderBaidu (Kína)Baiduspider
Yandex BotYandex (Oroszország)YandexBot
ApplebotApple (Siri, Spotlight)Applebot

Googlebot

A Googlebot két változatban létezik: egy asztali robot, amely egy asztali böngészőt szimulál, és egy mobil robot, amely egy okostelefont. Mióta a Google áttért a mobil-first indexelésre, a mobil Googlebot a webhelyek túlnyomó többségének elsődleges feltérképezője.

Bingbot, DuckDuckBot és a többi

A Bingbot a Bing indexét működteti, és a Yahoonak és más szindikációs partnereknek is szolgáltat találatokat. A DuckDuckBot a DuckDuckGo számára járja be a webet, amely saját indexét a Bing találataival egészíti ki. A Baiduspider és a Yandex Bot a kínai, illetve az orosz piacot szolgálja ki, és érdemes beengedni őket, ha van közönséged ezekben a régiókban.

Mit látnak a keresőrobotok?

A feldolgozott tartalom és a HTML

A keresőrobotok mindezt látják, amikor meglátogatnak egy oldalt:

  • Látható szöveges tartalom (fejezetcímek, bekezdések, listák)
  • HTML-struktúra és szemantikai elemek
  • Meta címkék (title, description, robots)
  • Képek alt szövege és fájlnevei
  • Belső és külső hiperhivatkozások
  • Strukturált adatok (Schema.org jelölések)
  • Kanonikus címkék és hreflang megjegyzések
  • Oldal válaszkódjai (200, 301, 404 stb.)

Amit a robotok nem látnak

A robotok nem „látják" az oldalakat úgy, ahogyan az ember. Az alt szöveg nélküli képekbe ágyazott tartalom, a sikertelenül lefutó komplex JavaScriptben megjelenített szöveg, valamint a bejelentkezési falak vagy fizetőfalak mögötti tartalom a legtöbb robot számára láthatatlan. Az interaktív elemek – például űrlapok, legördülő menük és a felhasználói kattintást igénylő végtelen görgetésű tartalmak – szintén kimaradhatnak, hacsak az oldal nem használ megfelelő szerveroldali vagy dinamikus megjelenítést.

Mi az a crawl budget, és miért számít?

A crawl budget (feltérképezési keret) azoknak az oldalaknak a száma, amelyeket egy keresőrobot egy adott időszakon belül feltérképez az oldaladon. A Google két tényező alapján határozza meg a crawl budgetet:

  • Feltérképezési sebességkorlát — milyen gyorsan tudja a Googlebot lekérni az oldalakat anélkül, hogy túlterhelné a szerveredet.
  • Feltérképezési igény — mennyire akarja a Google feltérképezni az oldalaidat, amit a népszerűség, a frissesség és a webhely mérete határoz meg.

Nagy webhelyeknél – e-kereskedelmi katalógusoknál, hírportáloknál vagy több ezer termékoldallal rendelkező affiliate oldalaknál – a crawl budget számít. Ha a robotok alacsony értékű URL-eken (szűrőparaméterek, munkamenet-azonosítók, ismétlődő oldalak) töltenek időt, előfordulhat, hogy a feltérképezési időablak lezárulta előtt nem jutnak el a fontos tartalmadhoz.

A crawl budget optimalizálása

  • Blokkold az alacsony értékű URL-eket a robots.txt-ben (találati oldalak, szűrt nézetek, admin elérési utak).
  • Használj kanonikus címkéket az ismétlődő oldalak összevonásához.
  • Tartsd tisztán és naprakészen az XML oldaltérképedet.
  • Javítsd a szerver válaszidejét — a gyorsabb oldalakat többször térképezik fel.
  • Javítsd ki a törött linkeket és az átirányítási láncokat, amelyek pazarlják a feltérképezési erőforrásokat.

Hogyan irányíthatod a keresőrobotokat az oldaladon?

Három fő eszközöd van a robotok viselkedésének irányítására.

A robots.txt használata

A domain gyökerében elhelyezett robots.txt fájl megmondja a robotoknak, hogy az oldalad mely részeit látogathatják, és melyeket nem. Egyszerű szintaxist használ:

User-agent: *
Disallow: /admin/
Disallow: /search/
Ez a példa minden robotot eltilt a /admin/ és a /search/ alatti elérési utak feltérképezésétől. Konkrét robotokat a user-agent azonosítójukkal célozhatsz meg:

User-agent: Googlebot
Disallow: /private/
A robots.txt fájl kérés, nem parancs. A rosszindulatú botok figyelmen kívül hagyhatják, de minden legitim keresőrobot tiszteletben tartja.

Meta Robots címkék és X-Robots fejlécek

Oldalszintű szabályozáshoz használd a meta robots címkét a HTML <head> részében:

<meta name="robots" content="noindex, nofollow">
Ez arra utasítja a robotokat, hogy ne indexeljék az oldalt, és ne kövessék a linkjeit. Ugyanezek az utasítások HTTP-fejlécként (X-Robots-Tag) is elküldhetők, ami a nem HTML fájloknál, például PDF-eknél hasznos.

XML oldaltérképek

Az XML oldaltérkép felsorolja azokat az URL-eket, amelyeket a robotoknak prioritásként kell kezelniük. Küldd be a Google Search Console vagy a Bing Webmaster Tools felületén. Az oldaltérkép nem garantálja a feltérképezést, de segít a robotoknak gyorsabban felfedezni az új és frissített oldalakat — különösen a mély felépítésű vagy korlátozott belső linkelésű webhelyeken.

Webrobotok vs. webes kaparók: mi a különbség?

A kifejezéseket gyakran összekeverik, pedig különböző célokat írnak le:

SzempontWebrobot (keresőrobot)Webes kaparó
CélOldalak felfedezése és indexelése a kereséshezMeghatározott adatok kinyerése az oldalakról
ÜzemeltetőKeresőmotorok (Google, Bing)Magánszemélyek, vállalatok, kutatók
HatókörSzéles körű — a teljes elérhető webCélzott — konkrét oldalak vagy adatpontok
EredményKereshető indexStrukturált adatok (CSV, adatbázis, API)
Tiszteletben tartja a robots.txt-tIgen (a legitim robotok)Változó; sok kaparó figyelmen kívül hagyja

A robot térképet készít; a kaparó a területet bányássza. Mindkettő automatizált, de alapvetően különböző célokat szolgálnak. Egyes eszközök, mint például a Screaming Frog SEO Spider, elmossák a határt — úgy járják be a webet, mint egy robot, de webhelyauditálásra használják őket, nem keresési indexelésre.

Ártalmasak a webes robotok?

Nem önmagukban. A legitim keresőrobotok hasznosak — nélkülük az oldalad nem jelenne meg a keresési találatok között. De nem minden bot barátságos.

Jó botok vs. rossz botok

  • A jó botok egyértelműen azonosítják magukat, tiszteletben tartják a robots.txt-t, elfogadható ütemben járják be a webet, és értéket nyújtanak (keresési láthatóság, webhelyfigyelés, archiválás).
  • A rossz botok kaparhatják a tartalmat újraközlés céljából, biztonsági sebezhetőségek után kutathatnak, hitelesítő adatokkal való visszaélésre (credential stuffing) próbálkozhatnak, vagy túlzott kérésekkel püfölhetik a szerveredet.

A káros bottevékenység jelei:

  • Ismeretlen user-agenstől érkező szerverterhelés-csúcsok
  • Tartalom megjelenése más oldalakon forrásmegjelölés nélkül
  • Feltérképezési forgalom olyan oldalakon, amelyeknek tiltva kellene lenniük
  • Bejelentkezési oldalak vagy űrlapok ismételt lekérése

Hogyan védd meg az oldalad?

  • Ellenőrizd a szerverlogokat gyanús user-agent sztringek és IP-tartományok után.
  • Használj CDN-t vagy webes alkalmazástűzfalat (WAF) botkezelő funkciókkal.
  • Blokkold az ismert rossz botokat a robots.txt-ben — bár a rosszindulatúak figyelmen kívül hagyják, egyeseknél ez működik.
  • Korlátozd az agresszív robotok kérési gyakoriságát szerver- vagy CDN-szinten.

A ChatGPT webes bejáró robot?

Az OpenAI GPTBot egy webes bejáró robot, amelyet MI-modellek képzési adatainak gyűjtésére használnak. Nem keresőmotoros robot — nem működtet nyilvános keresési indexet.

User-agent: GPTBot
Disallow: /
Hasonlóképpen az Anthropic ClaudeBotja és a Google-Extended (amelyet a Google az MI-képzéshez használ, külön a Googlebottól) ugyanezzel a mechanizmussal szabályozható. Ezek a robotok nem befolyásolják a keresési helyezéseidet — a blokkolásuk nem árt az SEO-dnak.

Melyik keresőmotor nem követi nyomon a tevékenységedet?

Ha aggódsz az adatvédelem miatt: a DuckDuckGo és a Brave Search az a két nagy keresőmotor, amely nem követi nyomon a felhasználókat, és nem épít személyes profilokat. Mindkettő saját robotot üzemeltet (a DuckDuckBot és a Brave robotja), és indexeiket más források találataival egészítik ki. A találatok rangsorolásához kontextuális kulcsszavakra támaszkodnak a felhasználói előzmények helyett, ami azt jelenti, hogy az oldalad on-page SEO-ja még fontosabb a láthatóság szempontjából ezeken a platformokon.

Robotok és affiliate marketing: miért fontos?

A keresőrobotok közvetlenül hatnak az affiliate marketing ökoszisztéma minden szereplőjére.

Hirdetőknek (márkák, amelyek affiliate programot működtetnek)

Az affiliate programod céloldalainak, feltételeket ismertető oldalainak és promóciós tartalmainak feltérképezhetőnek és indexelhetőnek kell lenniük. Ha a robotok nem érik el a programinformációidat, a potenciális affiliate partnerek, akik a „[a márkád] affiliate program" kifejezésre keresnek, lehet, hogy nem találnak rád organikusan. Kulcsfontosságú lépések:

  • Győződj meg róla, hogy az affiliate regisztrációs oldalad szerepel az XML oldaltérképben, és nem blokkolja a robots.txt.
  • Használj tiszta URL-struktúrákat — kerüld a munkamenet-azonosítókat és a felesleges paramétereket, amelyek ismétlődő oldalakat hoznak létre, és pazarolják a crawl budgetet.
  • Figyeld a Google Search Console-t a kulcsfontosságú konverziós oldalak feltérképezési hibái miatt.

Kiadóknak (affiliate partnereknek)

Minden termékértékelés, összehasonlító cikk és útmutató, amelyet közzéteszel, attól függ, hogy megtalálják-e a keresésben — ez pedig feltérképezettséget és indexeltséget jelent. A robotok a kapuőrök. A bevált gyakorlatok:

  • A belső linkelés számít: A robotok a linkeket követik. Egy jól összefűzött cikkcsoport jelzi a fontosságot, és segít a robotoknak gyorsabban felfedezni az új tartalmakat.
  • A frissesség újrafeltérképezést indít: A meglévő tartalmak frissítése és az oldaltérképed lastmod dátumának módosítása arra ösztönözheti a robotokat, hogy hamarabb újra meglátogassák az oldalaidat.
  • Kerüld a vékony affiliate oldalakat: A kevés eredeti tartalmat és sok affiliate linket tartalmazó oldalakat a keresési algoritmusok alacsony értékűnek minősíthetik. A robotok ugyan feltérképezik őket, de lehet, hogy nem rangsorolják jól — vagy egyáltalán nem.

Affiliate programmenedzsereknek

A robotok viselkedésének megértése segít jobban támogatni az affiliate partnereidet:

  • Ha egy affiliate partner tartalma nem rangsorol, a probléma technikai lehet — ellenőrizd, hogy az oldalaik indexelve vannak-e (használd a site: keresést), és hogy nem blokkolják-e véletlenül a robotokat.
  • Ha átköltözteted az affiliate platformodat vagy módosítod az URL-eket, használj 301-es átirányításokat, és időben frissítsd az oldaltérképedet. A robotok követik az átirányításokat, és frissítik az indexet, megőrizve az affiliate partnereid linkértékét.
  • A crawl budget szempontjai azokra a nagy affiliate webhelyekre vonatkoznak, amelyek több ezer termékoldallal rendelkeznek. Segíts az affiliate partnereknek megérteni, mely oldalakat érdemes előnyben részesíteniük az oldaltérképükben.

Gyakran ismételt kérdések

Növeld az affiliate marketinged SEO-betekintésekkel

Fedezd fel, hogy a webes robotok megértése hogyan segít optimalizálni az oldaladat a jobb keresési helyezések érdekében, és hogyan növeli az affiliate bevételeidet.

Tudj meg többet

Keresőmotor-bejáró

Keresőmotor-bejáró

Ismerje meg, hogyan fedezik fel és indexelik a keresőmotor-bejárók a weboldalakat, és hogy ez miért fontos a keresőoptimalizálás (SEO) szempontjából.

14 perc olvasás
SEO Crawlers +4

Jó kezekben lesz!

Csatlakozzon elégedett ügyfeleink közösségéhez és nyújtson kiváló ügyfélszolgálatot a Post Affiliate Pro-val.

Capterra
G2 Crowd
GetApp
Post Affiliate Pro Dashboard - Campaign Manager Interface