Keresőmotor-bejáró

+++ term = “Mi az a keresőmotor-bejáró?” lastmod = “2026-10-08” title = “Mi az a keresőmotor-bejáró?” keywords = [ “keresőmotoros rangsorolás”, “keresőmotor”, “rangsorolás”, “keresőoptimalizálás”, “szerep a keresésben”, “bejárók”, “keresés”, “motor” ] url = “/affiliate-marketing-szojegyzek/crawlers/” aliases = [ “/affiliate-marketing-glossary/crawlers/” ] description = “Ismerje meg, hogyan fedezik fel és indexelik a keresőmotor-bejárók a weboldalakat, és hogy ez miért fontos a keresőoptimalizálás (SEO) szempontjából.” date = “2024-11-07 11:14:13” image = "" shortDescription = “A keresőmotor-bejáró automatizált szoftverprogram – más néven bot, pók (spider) vagy spiderbot –, amely szisztematikusan böngészi a World Wide Webet, letölti az oldalak tartalmát, és hiperhivatkozásokat követve új vagy frissített URL-eket fedez fel.” tags = [ “SEO”, “Crawlers”, “Indexing”, “AffiliateMarketing”, “SearchEngines”, “TechnicalSEO” ] categories = [ “Glossary” ] showCTA = true ctaHeading = “Optimalizálja webhelyét a keresőmotorok számára” ctaDescription = “Ismerje meg, hogyan növelheti webhelye láthatóságát és keresőmotoros rangsorolását, ha megérti a bejárókat, és optimalizál rájuk.” ctaPrimaryText = “SEO-tippek kérése” ctaPrimaryURL = “/blog/” ctaSecondaryText = “Próbálja ki a Post Affiliate Pro programot” ctaSecondaryURL = “/trial/”

[[faq]] question = “Tudna példát mondani egy webes bejáróra?” answer = “A Googlebot a legismertebb példa. Ez a Google elsődleges webes bejárója, amely milliárdnyi weboldal felfedezéséért és indexeléséért felel. További példák a Bingbot (Microsoft Bing), a DuckDuckBot (DuckDuckGo), a YandexBot (Yandex) és a Baiduspider (Baidu). Az MI oldalán az OpenAI GPTBotja és az Anthropic Claude-Webje olyan bejárók, amelyek nyilvánosan hozzáférhető adatokat gyűjtenek a modellek betanításához.”

[[faq]] question = “Mi az a bejárási keret (crawl budget), és miért fontos?” answer = “A bejárási keret azoknak az oldalaknak a száma, amelyeket egy keresőmotor egy adott időszakon belül bejár egy webhelyen. A bejárási sebességkorlát (milyen gyorsan tud a motor letölteni anélkül, hogy rontaná a teljesítményt) és a bejárási igény (mennyire akarja a motor bejárni az oldalakat a népszerűség és a frissesség alapján) határozza meg. A több ezer oldalas nagy webhelyeknek gondosan kell gazdálkodniuk a bejárási kerettel – ha az duplikált tartalomra, szemezgetős navigációs URL-ekre vagy hibás oldalakra pazarolódik, előfordulhat, hogy a nagy értékű oldalakhoz a bejáró soha nem jut el.”

[[faq]] question = “Hogyan ellenőrizhetem, hogy a webhelyemet bejárta-e a bejáró?” answer = “A legmegbízhatóbb módszerek:

1. Használja a Google Search Console URL-ellenőrző eszközét – írjon be bármely URL-t, hogy lássa a bejárási és indexelési állapotát.
2. Futtasson a Google-ben egy site:azondomain.hu keresést, hogy lássa, mely oldalak vannak indexelve.
3. Ellenőrizze a szerver-hozzáférési naplókban a Googlebotot vagy a bingbotot tartalmazó user-agent azonosítókat.
4. Küldjön be egy XML-oldaltérképet a Search Console-on keresztül, és figyelje a lefedettségi jelentésben a bejárt és be nem járt URL-eket.”

[[faq]] question = “Letilthatok egy bejárót anélkül, hogy ez hatással lenne a SEO-mra?” answer = “Igen. Használjon adott user agentekre célzott robots.txt-utasításokat. Például a GPTBot letiltása nincs hatással a Googlebotra, a Bingbotra vagy bármely más keresőbejáróra. A kulcs a pontosság – használja a User-agent: GPTBot sort (nem a User-agent: sort), ha egyetlen bejárót szeretne letiltani úgy, hogy a keresőmotorok hozzáférése sértetlen maradjon. A robots.txt-módosításokat mindig tesztelje a Google Search Console-ban, mielőtt élesben bevezetné őket.”

[[faq]] question = “Hogyan használják a bejárókat az olyan MI-cégek, mint az OpenAI?” answer = “Az MI-cégek olyan bejárókat helyeznek üzembe, mint a GPTBot, hogy nyilvánosan hozzáférhető webes adatokat gyűjtsenek nagy nyelvi modellek betanításához, és lehetővé tegyék az élő információlekérést. Ezek a bejárók ugyanazokat az alapmechanizmusokat követik, mint a keresőmotor-bejárók – oldalakat töltenek le, hivatkozásokat követnek, és tiszteletben tartják a robots.txt-et –, de céljuk a modellbetanítás, nem pedig a keresési indexelés.”

[[lnks]] text = “mobil-first indexelés” path = “/blog/mobile-friendliness-affiliate-marketing/” title = “Miért valódi rangsorolási és bevételi tényező a mobilbarátság az affiliate marketingben – a Core Web Vitals mutatóktól a reszponzív designig –, és hogyan tesztelheti és javíthatja affiliate webhelyét mobilon.”

[[lnks]] text = “weboldal-bejárók” path = “/faq/why-are-web-crawlers-called-spiders/” title = “Ismerje meg, miért nevezik a webes bejárókat pókoknak (spider), hogyan működnek, és mi a kritikus szerepük a keresőmotoros indexelésben. Fedezze fel a webes bejárás mögött húzódó technikai mechanizmusokat 2025-ben.”

[[lnks]] text = “keret mindegyikhez” path = “/blog/optimize-affiliate-marketing-budget/” title = “hat gyakorlati stratégia az affiliate marketingkeret optimalizálásához, beleértve a közösségi média kihasználását és a réspiaci influenszerekkel való együttműködést”

[[lnks]] text = “Friss és releváns tartalom” path = “/faq/keep-content-fresh-engaging/” title = “Fedezze fel a hatékony stratégiákat, amelyekkel tartalma friss és lebilincselő marad. Ismerje meg a tartalomformátumokat, az elemzéseket, a közönség bevonását és a professzionális írástechnikákat, hogy fenntartsa a közönség érdeklődését és affiliate marketing sikereket érjen el.”

[[lnks]] text = “affiliate marketingesek” path = “/faq/what-makes-affiliate-marketing-content-rank-well/” title = “Fedezze fel azokat az alapvető tényezőket, amelyek miatt az affiliate marketing tartalom jól rangsorol a keresőmotorokban. Ismerjen meg bevált SEO-stratégiákat, tartalomoptimalizálási technikákat és bevált gyakorlatokat, amelyekkel növelheti affiliate webhelye láthatóságát és konverzióit.”

[[lnks]] text = “Kulcsszó-optimalizálás” path = “/faq/how-to-do-on-page-seo/” title = “Tanulja meg, hogyan optimalizálhatja az on-page SEO-t címetikettekkel, meta leírásokkal, fejlécekkel, kulcsszavakkal és tartalmi stratégiákkal. Sajátítsa el a technikai on-page optimalizálást, hogy javítsa keresési rangsorolását a PostAffiliatePro átfogó útmutatójával.”

[[lnks]] text = “Affiliate marketingesek” path = “/blog/top-keyword-research-tools-for-affiliate-marketers/” title = “Milyen kulcsszókutatási eszközöket használjanak az affiliate marketingesek, hogy tartalmuk magasabban rangsoroljon a Google-ben? Olvassa el ezt a cikket, és megtudja!”

[[lnks]] text = “Az affiliate hivatkozások jellemzően” path = “/affiliate-marketing-glossary/seo-affiliates/” title = “Az SEO-affiliates, más néven kereső-affiliates partnerek segítenek javítani webhelye rangsorolását a keresési találatok oldalán. Fedezze fel, hogyan használják az SEO-affiliates partnerek a szakértői stratégiákat a szerves forgalom növelésére és az affiliate marketing siker fokozására.”

[[lnks]] text = “Webes bejárók” path = “/faq/how-do-web-crawlers-work/” title = “Ismerje meg, hogyan működnek a webes bejárók a kiinduló URL-ektől az indexelésig. Értse meg a technikai folyamatot, a bejárótípusokat, a robots.txt-szabályokat, és azt, hogy a bejárók milyen hatással vannak a SEO-ra és az affiliate marketingre.”

[[lnks]] text = “SEO-ra gyakorolt hatás” path = “/faq/why-are-sitemaps-important/” title = “Ismerje meg, miért kulcsfontosságúak az oldaltérképek a SEO-siker szempontjából. Fedezze fel, hogyan javítják az XML- és HTML-oldaltérképek webhelye bejárhatóságát, indexelését és keresőmotoros láthatóságát.”

[[lnks]] text = “keresőmotorok” path = “/faq/how-to-identify-search-engine-crawlers/” title = “Ismerje meg, hogyan azonosíthatók a keresőmotor-bejárók user-agent azonosítók, IP-címek, kérésminták és viselkedéselemzés segítségével. Elengedhetetlen útmutató webmesterek és fejlesztők számára.”

[[lnks]] text = “kritikus a keresés szempontjából” path = “/faq/what-is-google-spider/” title = “Ismerje meg, mi az a Google Spider (Googlebot), hogyan járja be és indexeli a webhelyeket, és miért elengedhetetlen a SEO szempontjából. Fedezze fel, hogyan optimalizálhatja webhelyét a jobb bejárás érdekében.” +++ A keresőmotor-bejáró automatizált szoftverprogram – más néven bot, pók (spider) vagy spiderbot –, amely szisztematikusan böngészi a World Wide Webet, letölti az oldalak tartalmát, és hiperhivatkozásokat követve új vagy frissített URL-eket fedez fel. Elsődleges feladata, hogy friss adatokkal táplálja a keresőmotor indexét, így amikor valaki beír egy keresőkifejezést, a motor releváns, naprakész találatokat tudjon visszaadni. Bejárók nélkül a keresőmotor nem is tudná, hogy egy oldal egyáltalán létezik.

A bejáró maga nem rangsorol semmit. Felfedezi az oldalakat, és amit talál – szöveget, hivatkozásokat, metaadatokat, képeket –, azt átadja egy külön indexelő és rangsoroló rendszernek. A bejárás, az indexelés és a rangsorolás három különálló szakasz. Egy oldalt bejárhat a bejáró, mégsem jelenik meg soha a keresési találatok között, ha az indexelés során nem felel meg a keresőmotor minőségi követelményeinek.

A Google bejárókkal foglalkozó dokumentációja megkülönbözteti az általános bejárókat, a speciális esetekre szolgáló bejárókat és a felhasználói kérésre működő lekérőket. Ha hozzáférési problémákat vizsgál, ellenőrizze az adott bejáró dokumentált azonosítóját és viselkedését.

Hogyan működik egy webes bejáró?

A webes bejáró néhány alapvető lépésből álló, folyamatosan ismétlődő körforgásban működik. Ha a webhelytulajdonosok megértik ezeket a lépéseket, könnyebben kideríthetik, miért nem jelennek meg az oldalaik a keresési találatok között – a probléma ugyanis gyakran már a bejárási szakaszban felmerül, jóval azelőtt, hogy a rangsorolás szóba kerülne.

Kiinduló URL-ek és a bejárási határvidék

Minden bejáró ismert URL-ek egy halmazával, az úgynevezett kiinduló URL-ekkel (seed URL) kezdi a munkát. Ezek származhatnak korábban már bejárt oldalakról, beküldött oldaltérképekből vagy kézzel kiválasztott kiindulási pontokból. A bejáró letölti az egyes kiinduló oldalakat, kinyeri az összes hiperhivatkozást, és minden még nem látott hivatkozást hozzáad a bejárási határvidéknek (crawl frontier) nevezett futó sorhoz.

A ciklus ezután megismétlődik:

1. Kivesz egy URL-t a bejárási határvidékről.
2. Letölti az oldalt a szerveréről.
3. Kinyeri az összes hivatkozást, és az újakat hozzáadja a sorhoz.
4. Továbbítja az oldal tartalmát az indexelő rendszernek.

Ez a körforgás valójában soha nem ér véget. A web folyamatosan változik, és minden másodpercben új oldalak jelennek meg, ezért a bejáró egyszerűen végigdolgozza a sorban következő URL-eket, időnként visszatér a régi oldalakhoz, hogy ellenőrizze a változásokat, és hozzáadja az újonnan felfedezett URL-eket.

Megjelenítés, letöltés és indexelés

Amint a bejáró letölt egy oldalt, megjeleníti a tartalmat – beolvassa a HTML-t, ahol lehetséges, lefuttatja a JavaScriptet, és kinyeri a szöveget, a képeket, a metaadatokat és a strukturált adatokat. Ezután letölti ezeket az információkat, és továbbítja a keresőmotor indexelőjének.

Nem minden bejáró bánik egyformán jól a JavaScripttel. A Googlebot megjeleníti a JavaScriptet, és megvárja a dinamikusan betöltött tartalmat, a kisebb keresőmotor-bejárók azonban gyakran csak a statikus HTML-t olvassák. Éppen ezért a kizárólag kliensoldali JavaScript-keretrendszerekkel épített oldalak láthatatlanok maradhatnak egyes keresőmotorok számára, hacsak nincs szerveroldali megjelenítés.

Hivatkozások és oldaltérképek követése

A bejárók két fő csatornán keresztül fedeznek fel új oldalakat:

• Hiperhivatkozások: Egyaránt a belső hivatkozások (ugyanazon a webhelyen belül) és a külső hivatkozások (más webhelyekről). Az az oldal, amelyre sehonnan nem mutat bejövő hivatkozás, gyakorlatilag láthatatlan a bejárók számára – ez az úgynevezett “árva oldal” (orphan page) problémája.
• XML-oldaltérképek: Strukturált fájl, amely felsorolja az összes olyan URL-t, amelyet a webhelytulajdonos bejáratni szeretne, olyan metaadatokkal együtt, mint az utolsó módosítás dátuma és a prioritás. Az oldaltérképek rendezett térképet adnak a bejáróknak, így azoknak nem kell kizárólag hivatkozások követésével felkutatniuk minden egyes oldalt.

Indítsd el affiliate programodat még ma

Állítsd be a fejlett nyomkövetést percek alatt. Bankkártya nem szükséges.

Demó kérése 30 napos ingyenes próba indítása

Hogyan határozzák meg a bejárási szabályzatok, hogy mi kerüljön bejárásra?

A bejárók nem bánnak egyformán minden oldallal. Úgynevezett bejárási szabályzatok szerint működnek, amelyek meghatározzák, hogy mely oldalakat látogassák meg, milyen sorrendben és milyen gyakran térjenek vissza.

Kiválasztási szabályzatok

A bejárónak el kell döntenie, hogy a bejárási határvidéken lévő URL-ek közül melyeket részesítse előnyben. A leggyakoribb jelzések a következők:

• Oldal népszerűsége: A több bejövő hivatkozással rendelkező URL-eket általában gyakrabban járja be a bejáró.
• Frissességi jelzések: A gyakran változó oldalak – hírportálok, rendszeresen frissülő blogok – újralátogatása intenzívebb.
• Az URL-struktúra minősége: A tiszta, logikus URL-ek előnyben részesülnek a hosszú, paraméterekkel zsúfolt URL-ekkel szemben, amelyek szemezgetős navigációra (faceted navigation) vagy munkamenet-azonosítókra utalnak.

Újralátogatási szabályzatok

Az, hogy milyen gyakran tér vissza a bejáró egy oldalra, attól függ, milyen ütemben változik az oldal. Egy hírportál főoldalát akár néhány percenként is bejárhatja. Egy statikus “Rólunk” (About Us) oldalra viszont akár havonta is csak egyszer tér vissza. A webmesterek az XML-oldaltérkép <changefreq> címkéivel jelezhetik a változás gyakoriságát, bár a keresőmotorok ezeket inkább javaslatként, semmint utasításként kezelik.

Udvariassági szabályzatok

A bejárókat úgy programozzák, hogy ne terheljék túl a webkiszolgálókat. Tiszteletben tartanak egy bejárási sebességkorlátot (crawl rate limit) – vagyis azt a maximális kérésszámot, amelyet egy adott időszakban egyetlen webhelyre küldenek. Ha a szerver 500-as vagy 503-as HTTP-hibával válaszol, a bejáró visszavonul, hogy ne tetézze a bajt. Ez is hozzájárul ahhoz, hogy a nagy léptékű bejárás igazi mérnöki kihívás legyen.

A robots.txt fájl

A robots.txt fájl egy egyszerű szöveges dokumentum, amelyet a domain gyökerében helyeznek el, és amely megmondja a bejáróknak, hogy mely URL-eket kérhetik le és melyeket nem. Ez a legfontosabb eszköz a bejárók hozzáférésének szabályozására. Egy robots.txt-bejegyzés például így nézhet ki:

User-agent: Googlebot
Disallow: /private/
Allow: /public/

Bejárási keret (crawl budget)

A bejárási keret (crawl budget) azoknak az oldalaknak a száma, amelyeket egy keresőmotor adott időszakon belül bejár egy webhelyen. Két tényező határozza meg:

• Bejárási sebességkorlát: Milyen gyorsan tudja a motor letölteni az oldalakat anélkül, hogy rontaná a webhely teljesítményét.
• Bejárási igény (crawl demand): Mennyire akarja a motor bejárni a webhelyet, amit a népszerűség, a frissesség és az észlelt érték befolyásol.

Kis webhelyeknél a bejárási keret ritkán okoz gondot. A több millió URL-lel rendelkező nagy e-kereskedelmi platformok vagy tartalmi webhelyek esetében viszont elengedhetetlen a bejárási keret kezelése – a duplikált tartalmakra, szemezgetős navigációs paraméterekre vagy alacsony értékű oldalakra elpazarolt bejárások kevesebb erőforrást hagynak a tényleg fontos oldalaknak.

A legfontosabb keresőmotorok és bejáróik

Minden jelentős keresőmotornak saját bejárója van, egyedi user-agent azonosítóval (user-agent string) – ez az azonosító, amelyet a bot minden HTTP-kéréssel elküld, hogy a szerverek tudják, melyik bejáró látogatja őket.

A Google emellett speciális bejárókat is üzemeltet az egyes tartalomtípusokhoz – a Googlebot Image képeket jár be, a Googlebot Video a videótartalmakkal foglalkozik, a Googlebot News a hírcikkekre összpontosít, az AdsBot pedig a Google Ads hirdetéseinek céloldal-minőségét ellenőrzi.

Iratkozz fel hírlevelünkre

Értesülj elsőként az új funkciókról és termékfrissítésekről.

E-mail cím

Feliratkozás

Hogyan ismerhető fel egy Google-bejáró?

Annak megállapításához, hogy egy látogató valóban a Googlebot-e, többre van szükség, mint a user-agent azonosító ellenőrzése, hiszen ezek az azonosítók hamisíthatók. Egy Google-bejáró ellenőrzéséhez a következőket tegye:

1. Ellenőrizze a user-agent azonosítót a szervernaplókban Googlebot keresőkifejezéssel.
2. Végezzen fordított DNS-lekérdezést az IP-címen. Ennek egy googlebot.com vagy google.com domainre kell mutatnia.
3. Futtasson előre irányuló DNS-lekérdezést azon a domainen, hogy megerősítse: az ugyanarra az IP-címre mutat vissza – ezt a módszert fordított-előre irányuló DNS-ellenőrzésnek nevezik.

A Google hivatalos dokumentációt vezet az IP-tartományairól a google.com/bot.html címen. Az a látogató, aki a Googlebotnak adja ki magát, de nem megy át ezeken az ellenőrzési lépéseken, hamisított bot, ezért gyanúsként kell kezelni.

Hozzáférnek-e a keresőmotor-bejárók a képekhez és videókhoz?

Igen – de korlátozásokkal. A nagy keresőmotorok külön bejárókat üzemeltetnek a nem szöveges tartalmakhoz:

• A Googlebot Image képfájlokat jár be, és elolvassa a kapcsolódó alt szöveget, fájlneveket és az oldal környező szövegét, hogy megértse, mit ábrázol a kép.
• A Googlebot Video a videótartalmakkal foglalkozik, és olyan strukturált adatjelöléseket keres, mint a VideoObject séma, hogy megértse a címet, a leírást, az előnézeti képet és az időtartamot.
• A Google képes indexelni többek között a PDF-eket, a Microsoft Office-dokumentumokat és az egyszerű szöveges fájlokat.

A bejárók azonban nem “látják” a képeket úgy, ahogyan az ember, és nem is “nézik” meg a videókat. A relevancia megállapításához kizárólag szöveges jelzésekre támaszkodnak – fájlnevekre, alt attribútumokra, feliratokra, a környező törzsszövegre és a strukturált adatokra. A bejelentkezési falak mögött, fizetőfalak (paywall) mögött rejlő vagy bonyolult JavaScript-lejátszókba ágyazott tartalmakat előfordulhat, hogy a bejáró egyáltalán nem járja be.

Webbejáró vs. webkaparó: mi a különbség?

Ezeket a kifejezéseket gyakran szinonimaként használják, pedig különböző dolgokról van szó:

Hogyan fedezik fel a keresőmotorok az új oldalakat?

A keresőmotorok több csatornán keresztül találnak új oldalakat:

• Ismert URL-ek újrabejárása: Ha egy korábban indexelt oldal új hivatkozásokat kap, a bejáró követi azokat.
• XML-oldaltérképek: A Google Search Console-on vagy a Bing Webmaster Tools-on keresztül beküldve pontosan megmondják a motornak, mely URL-eket járja be.
• Visszamutató hivatkozások (backlinkek): Ha egy külső webhely olyan oldalra hivatkozik, amelyet a motor még nem látott, ez a hivatkozás felfedezési útvonallá válik.
• URL-beküldés: Az olyan eszközök, mint a Google URL-ellenőrző eszköze (URL Inspection), lehetővé teszik a webhelytulajdonosok számára, hogy egy adott oldal azonnali bejárását kérjék.
• Közösségi jelzések és RSS-hírcsatornák: Bár kevésbé közvetlen, a közösségi platformokon megosztott vagy RSS-hírcsatornákon közzétett hivatkozások felgyorsíthatják a felfedezést.

A leggyorsabb út ahhoz, hogy egy új oldalt bejárjon a bejáró, ha közvetlenül a Search Console-on keresztül küldi be az URL-t, és gondoskodik arról, hogy az oldalra mutasson hivatkozás ugyanannak a webhelynek egy már indexelt oldaláról.

Milyen gyakran látogatják újra a bejárók a weboldalakat?

Nincs rögzített ütemterv. Az újralátogatás gyakorisága a következőktől függ:

• Frissítés gyakorisága: Egy hírportál főoldalát akár néhány percenként is bejárhatják; egy statikus “Kapcsolat” oldal újralátogatására viszont akár hónapokat is várni lehet.
• Tekintély és népszerűség: Az erős visszamutató hivatkozási profillal és nagy forgalommal rendelkező webhelyeket gyakrabban járják be.
• Webhely sebessége: A gyorsan betöltő oldalak gyakoribb bejárásra ösztönöznek, mert oldalanként kevesebbet fogyasztanak a bejárási keretből.
• Hibaarány: Azok a webhelyek, amelyek gyakran adnak vissza szerverhibát (5xx kód), ritkábban kerülnek bejárásra – a bejáró visszavonul, hogy ne pazarolja az erőforrásokat.

A webhelytulajdonosok befolyásolhatják az újralátogatás gyakoriságát azzal, hogy rendszeresen publikálnak tartalmat, gyors szerverválaszidőt tartanak fenn, és frissített oldaltérképeket küldenek be. Végső soron azonban a bejáró dönt a saját ütemezéséről az általa észlelt jelzések alapján.

A mélyweb mely tartalmaihoz nem férnek hozzá a bejárók?

A bejárók általában nem férnek hozzá:

• Jelszóval védett oldalakhoz és csak tagoknak szóló tartalmakhoz
• Fizetőfalak vagy előfizetési kapuk mögötti tartalmakhoz
• Űrlap beküldése után dinamikusan előállított oldalakhoz (például repülőjegy-keresési találatok)
• Intranetekhez és zárt vállalati hálózatokhoz
• A bejáró által nem értelmezhető, nem szabványos formátumú tartalmakhoz

A bejáró csak azt látja, ami nyilvánosan hozzáférhető és hivatkozott. Ha egy oldal megjelenítéséhez hitelesítésre vagy felhasználói interakcióra van szükség, az oldal gyakorlatilag láthatatlan a keresőmotorok számára – hacsak a webhelytulajdonos kifejezetten hozzáférést nem ad, vagy alternatív utat nem biztosít, például az URL-t felsoroló oldaltérképet, amelyet a tartalmat leíró strukturált adatokkal egészít ki.

Miért mondanak csődöt a webes bejárók nagy léptékben?

Bejárót építeni néhány száz oldalnyi működéshez egyszerű feladat. Olyat építeni, amely milliárdnyi oldallal megbirkózik, egészen más probléma. A gyakori meghibásodási pontok a következők:

• Botfelismerés és IP-tiltás: Az agresszív bejárókat a tűzfalak, CDN-ek és botvédelmi szolgáltatások megjelölik és letiltják. Elengedhetetlen az IP-címek váltogatása és a kérési korlátok betartása.
• A JavaScript-megjelenítés költsége: Az egylapos alkalmazások (SPA) nagy léptékű megjelenítéséhez fej nélküli (headless) böngészők kellenek, amelyek számításigénye magas. Az a bejáró, amely minden oldalt teljes böngészőkörnyezetben jelenít meg, nagyságrendekkel lassabb lesz annál, amelyik a statikus HTML-t elemezi.
• Duplikált tartalom és URL-kanonikalizáció: Ugyanaz a tartalom több URL alatt pazarolja a bejárási keretet és szennyezi az indexet. A bejáróknak valós időben kell felismerniük és összevonniuk a duplikátumokat.
• Bejárási csapdák: Egyes webhelyek végtelen számú egyedi URL-t generálnak naptárwidgetek, szemezgetős navigáció vagy munkamenet-azonosítók révén. Az ilyen csapdák ellen nem védett bejáró a végtelenségig járná az oldalakat anélkül, hogy új tartalmat találna.
• Puszta mennyiség: Több billió oldal van a weben. Még a Google sem tud mindent bejárni a hatalmas infrastruktúrája ellenére sem – folyamatosan rangsorolnia kell.

A legtöbb vállalkozás számára nem praktikus nagyméretű webes bejárót üzemeltetni felügyelt infrastruktúra nélkül. A döntés általában arra egyszerűsödik, hogy meglévő eszközt használnak, nem pedig a nulláról építenek sajátot.

Legális-e a webes bejárás?

Az Egyesült Államokban a nyilvánosan hozzáférhető oldalak webes bejárása általában legális. Több bírósági döntés – köztük a *hiQ Labs v.

A jogszerűség azonban több tényezőtől függ:

• Hogy a tartalom nyilvánosan hozzáférhető-e: A hitelesítés mögött lévő oldalak bejárása engedély nélkül szinte biztosan jogellenes.
• Hogy a bejáró tiszteletben tartja-e a robots.txt-et: Bár a robots.txt-nek nincs jogi kötőereje, a figyelmen kívül hagyása rosszhiszeműség bizonyítékaként használható fel egy perben.
• A bejárás célja: A versenytársak megfigyelésére irányuló kaparás jogi kifogásokat vonhat maga után akkor is, ha az adatok nyilvánosak.
• Joghatóság: A törvények országonként eltérőek.

Fontos a különbség a keresési indexelés céljából végzett bejárás (széles körben elfogadott) és a kereskedelmi adatkinyerés céljából végzett kaparás (jogilag vitatottabb) között. A legtöbb jogszerű keresőmotor-bejáró egyértelműen legális területen működik.

A ChatGPT webes bejáró?

Nem – a ChatGPT önmagában nem webes bejáró. A ChatGPT egy beszélgetésre alkalmas MI-modell, amely válaszokat generál. Az OpenAI azonban üzemeltet egy különálló, GPTBot nevű webes bejárót, amely nyilvános weboldalakat jár be, hogy betanítási adatokat gyűjtsön az MI-modellek számára, és támogassa az élő adatlekérési funkciókat egyes OpenAI-termékekben.

A GPTBot a GPTBot user-agent azonosítóval mutatkozik be, és tiszteletben tartja a robots.txt utasításait. Azok a webhelytulajdonosok, akik kifejezetten a GPTBotot szeretnék letiltani, a következőt adhatják hozzá a robots.txt fájljukhoz:

User-agent: GPTBot
Disallow: /

Jelentőség az affiliate marketingesek, hirdetők és programmenedzserek számára

A keresőmotor-bejárók közvetlenül érintik az affiliate marketing ökoszisztéma minden szereplőjét. Ha egy oldalt nem jár be a bejáró, nem is rangsorol, és ha nem rangsorol, nem hoz szerves forgalmat – és affiliate bevételt sem.

Affiliate kiadóknak

Egy kiadó tartalmi webhelyének sorsa a bejárhatóságon múlik. Minden termékismertetőnek, összehasonlító útmutatónak vagy ajánlatgyűjteménynek felderíthetőnek kell lennie a bejárók számára. A kiadók gyakori hibái, amelyek megakadályozzák a bejárást:

• JavaScript használata az affiliate hivatkozások vagy termékadatok betöltésére szerveroldali megjelenítés nélkül.
• Fontos tartalomalkönyvtárak véletlen letiltása a robots.txt fájlban.
• A belső hivatkozások elhanyagolása, így az értékes oldalak árván maradnak, bejárási útvonal nélkül.
• Vékony vagy duplikált tartalmú oldalak létrehozása – például szinte azonos terméklisták –, amelyek pazarolják a bejárási keretet.

A kiadóknak ellenőrizniük kell, hogy legértékesebb oldalaik szerepelnek-e a Google Search Console indexlefedettségi jelentésében, és hogy semmilyen noindex címke vagy robots.txt-szabály ne blokkolja őket véletlenül.

Hirdetőknek és kereskedőknek

Annak a hirdetőnek, aki affiliate programot működtet, szüksége van arra, hogy termékoldalait bejárják és indexeljék, hogy a kiadók élő, látható oldalakra hivatkozhassanak. Ha egy kereskedő termékoldalai nincsenek a Google indexében, a kiadóknak nincs hová irányítaniuk a forgalmat. A konkrét kockázatok közé tartozik:

• A szemezgetős navigáció, amely több ezer, szinte azonos URL-t generál, és felemészti a bejárási keretet.
• A termékoldalak kifutása a készletből és 404-es hibák visszaadása, ami rossz webhely-egészségi állapotot jelez a bejáróknak.
• JavaScripttel megjelenített árak vagy elérhetőségi adatok, amelyeket a bejárók nem tudnak értelmezni.

A kereskedőknek tiszta URL-struktúrát kell fenntartaniuk, termék-oldaltérképeket kell beküldeniük, és figyelniük kell a Search Console bejárási statisztikáit, hogy még azelőtt észrevegyék a problémákat, mielőtt azok a kiadói partnereket is érintenék.

Affiliate programmenedzsereknek

A programmenedzserek a kereskedők és a kiadók között helyezkednek el, ezért érdemes érteniük a bejárók viselkedését ahhoz, hogy elháríthassák a láthatósági problémákat. Amikor egy kiadó azt jelenti, hogy egy kereskedő termékoldala “nem jelenik meg a Google-ben”, a probléma gyakran bejárási vagy indexelési hiba – nem pedig rangsorolási. A gyakorlati lépések a következők:

• Annak ellenőrzése a Google site: keresőoperátorával, hogy az oldal indexelve van-e.
• A robots.txt fájl ellenőrzése a véletlen tiltások miatt.
• Annak biztosítása, hogy az oldalra legalább egy belső hivatkozás mutasson egy indexelt oldalról.
• Az URL beküldése a Google Search Console ellenőrző eszközén keresztül.
• Annak megerősítése, hogy az oldal gyorsan betöltődik, és 200-as HTTP-állapotkódot ad vissza.

Az a programmenedzser, aki képes diagnosztizálni az alapvető bejárási problémákat, közvetlen értéket teremt az affiliate kapcsolat mindkét oldalán – segít a kereskedőknek a technikai hibák kijavításában, és segít a kiadóknak meggyőződni arról, hogy az általuk népszerűsített oldalak megtalálhatók.