Štítek: robot

Pokud vaše stránky indexuje Jyxobot/1 tak ještě nejásejte a podívejte se na IP adresu, ze které k vás navštívil. Při analýze logů jsem zjistil, že zmíněný robot přichází z IP adres uvedených níže, uvádím také procentuální poměr návštěv a IP adresu si můžete překontrolovat na Ripe.

IP adresy přístupů Jyxa:

• 41% – 212.71.128.66 (Ipex – Jyxo??)
• 32% – 195.122.204.15 (Volný – Jyxo??)
• 20% – 212.80.76.38 (Seznam.cz)
• 5%  – 212.47.13.201 (Atlas.cz)
• 2%  – 212.47.18.51 (Atlas.cz)

Při návštěvách Jyxobota se může tedy stát, že vůbec nejde o robota vyhledávače Jyxo, ale o robota dodávajícího data pro databáze Seznamu a Atlasu. Tyto portály totiž využívají technologii Jyxa pro indexování a vyhledávání stránek. Mají také vlastní databázi zaindexovaných webů, vlastní Jyxorank pro řazení výsledků.

Tyto skutečnosti mi potvrdil také pan Illich. Otázka je zda je zcela košer aby se robot, který dodává výsledky do jiných databází, jiným společnostem, jiným vyhledávacím rozhraním, v podstatě jiným vyhledávačům, hlásil vždy stejně a to i když se jedná o stejnou technologii.

Existence vlastních databází Seznamu a Atlasu, je také důvodem proč dochází k „pochybnému“ řazení stránek na Seznamu.

Související:

• Seznam mění Google za Jyxo, Jyxo za Google – (Marek Prokop, Lupa.cz, 27.1.2004)
• Jyxo se vrací na Seznam – (Marek Prokop, Sova v síti, 24.2.2004)
• Na Seznamu už zase hledá Jyxo – (David Kozák, Marketingové komunikace a Internet, 24.2.2004)
• Jyxo mě překvapuje – (Lukáš Mačí, Blog o tvorbě webu, 17.2.2004)
• Experiment: jak dostat stránku na první místo v Jyxu – (Martin Kopta, Lupa.cz, 16.2.2004)
• Proč je Jyxo špatný vyhledavač – (Marek Prokop, Sova v síti, 16.2.2004)
• Pochybné řazení stránek na Seznam.cz – (McLord, WebDot, 28.4.2004 )

Před časem jsem si všiml, při prohlížení logů a při čtení konference SEO, že se začíná objevovat nový robot vyhledávače Google, který se běžně hlásí jako Googlebot/2.1. Jedná se o robota Googlebot/Test. Podle dostupných informací by měl umět interpretovat, například, přesměrování stránek řešené pomocí JavaScriptu. Takové stránky doteď neměly šanci se objevit ve výsledcích Google.

Březen – do Googlu vlezem

Co jsem zjistil z několika logů z března (každý měl skoro 2GB)? Několik zajímavých věcí, v březnu se objevil poprvé 19.3. a do konce března provedl jen několik málo návštěv, přesně 15. Vždy si přečetl jen robots.txt a externí JavaScriptový soubor, jiné stránky si neprohlédl, čili věděl kde JS soubory hledat!

V dubnu je to jinak

Změna je v tom, že nyní chodí Googlebot/Test zcela běžně a současně s Googlebotem/2­.1. Indexuje již tedy nejen externí JS jako v březnu, ale i klasické stránky jako jeho starší bratr.

Kupříkladu včera bylo z 540 návštěv Googlebota 93 přístupů Googlebota/Test.

Co bude dál

Věštit neumím a je dokonce možné, že se v něčem pletu, ale podle mě si na začátku března Google ověřoval, že dokáže pracovat s JS soubory a protože znal adresy těchto souborů z indexovaných stránek tak k nim prostě přistupoval přímo. V dubnu nastal zlom, protože zřejmě testy byly úspěšné a tak se testování dostalo do nové fáze. Stránky jsou nyní indexovány novým robotem s rozšířenými funkcemi.

Chyť si svého robota

Stejně mě zajímá jestli Googlův nový robot umí přesměrování JavaScriptem, na cílovou stránku Test robota Googlebot/Test, cílovou sránkou myslím tu na kterou se dostanete po přesměrování, nevede žádný externí odkaz (opovažte se někdo nějaký vyrobit) a proto ji dokáže zaindexovat jen robot, který má JS „v paži“.

Třeba se pletu, ale stejně to zkusím.

Závěrem

Vím, že titulek spotu je tázací, ale tentokrát je to myslím k věci. Odpovezme si sami kolegové blogeři, prozkoumejte své logy, napiště o svých poznatcích a vyčkejme výsledků pokusu. Pokud narazíte v indexu Google na odkaz, který se tam prokazatelně dostal díky novým vlastnostem, tak mě o tom prosím informujte.