GoogleBot e le sue funzionalità

Google al giorno d’oggi ha indicizzato ben più di 8 milioni di pagine all’interno del suo indice. Tuttavia, prima di essere state inserite nel database di google, sono state scandagliate da uno speciale “spider” conosciuto con il nome di GoogleBot. Sfortunatamente, molti webmaser non sono a conoscenza dell’effettivo lavoro che che compie questo robot.

In effetti Google, attualmente, usa vari spider per scandagliare il Web. Il passaggio dei robot si può vedere e esaminare direttamente dai propri file log.

Questo articolo cercherà di rivelare le funzionalità di alcuni dei più importanti Spider di Google, le loro funzioni, e in che modo i webmaster devono prenderli in considerazione. Cominceremo con il più conosciuto GoogleBot.

GoogleBot

GoogleBot, che probabilmente già conoscete tutti, è il bot di ricerca utilizzato da google per scandagliare il web e trovare nuove pagine. Googlebot si presenta in due versioni, deepbot e freshbot.

Deepbot è un bot che scandaglia in profondità ogni link del web e scarica molte delle pagine che trova per poi indicizzarle nel motore di Google. Deepbot esamina anche la struttura interna di un sito, avendo così una immagine completa pronta per la catalogazione all’interno dell’indice del motore.

Freshbot, molto più preciso e furbo, è un nuovo bot che scandaglia il web tenendo in considerazione i contenuti sempre aggiornati (fresh – freschi) di un sito. Freshbot richiama pagine già presenti nell’indice e le scandaglia tenendo in considerazione dei fattori molto importanti come pagine nuove, modificate e aggiornate. In questo modo, Google riesce a tenere sotto controllo ogni cambiamento delle pagine del web.

Questo significa che più aggiornamenti saranno effettuati sul sito web, più qualità ci sarà nei contenuti scritti, maggiore sarà il passaggio di GoogleBot.Se vorrete vedere il passaggio di GoogleBot più frequentemente, avrete bisogno di aumentare gli inbound link di qualità, cioè, dovrete cercare link in entrata da siti in cui venga trattato tematicamente lo stesso argomento presente sul vostro sito. Inoltre, se ancora non l’avete fatto, create una Google Sitemap per il vostro sito. Personalmente utilizzo il software Gsitemap scaricabile gratuitamente dal sito ufficiale.

Creando una Google Sitemap vi permetterà di comunicare direttamente con Google dandovi informazioni importanti sulle vostre pagine, nuove e aggiornate. Inoltre si possono sapere se ci sono stati degli errori di scansione da parte del Bot e un breve riepilogo statistico sulle ricerche, anche in base al tipo e alla località. Direi molto utile.

Il prossimo Google Bot è conosciuto con il nome di MediaBot.

MediaBot è usato per analizzare le pagine Adsense.

MediaBot è il crawler di Google per gli editori di Adsense. MediaBot è utilizzato per determinare quali annunci pubblicitari di Google dovranno essere visualizzati nelle pagine di Adsense.

Google raccomanda, specialmente ai webmaster, di aggiungere nei loro file robots.txt il permesso per poter permettere a MediaBot di scandagliare l’intero sito, senza vincoli. Per far questo bisogna scrivere semplicemente all’interno di un file robots.txt le seguenti righe:

User-agent: Mediapartners-Google*
Disallow:

Così facendo MediaBot permetterà di posizionare gli annunci Adsense più rilevanti all’interno del vostro sito.

C’è un dibattito molto accesso riguardo al fatto che MediaBot possa dare ai siti web con Adsense un vantaggio in termini di posizionamento.

Uniformemente a questo, Matt Cutts ha confermato che il MediaBot di Adsense ha indicizzato delle pagine web.

Però egli dichiara: “….non ci sarà nessun boost a tutte le pagine indicizzate se si ha Adsense all’interno del proprio sito…”

Mutt Cutts ribadisce che il vostro sito web non avrà nessun vantaggio usando Adsense. Tuttavia, secondo me, basta fare dei giusti e frequenti aggiornamenti per avere dei vantaggi in termini di posizionamento.

L’indicizzazione delle vostre pagine non dipenderà esclusivamente da questi strumenti, anzi, la chiave fondamentale per far sì che il nostro sito sia spiderizzato più frequentemente possibile, come già citato in precedenza, è avere inbound links di qualità, contenuti di qualità e frequenti aggiornamenti.

Avete delle immagini nel vostro sito? Se sì, sicuramente avete avuto il piacere di essere visitati dallo spider di Google, ImageBot.

ImageBot scandaglia il web alla ricerca di immagini da inserire all’interno della ricerca immagini di Google. Il ranking delle immagini sarà basato sul nome del loro file, sull’alt text e il nome della pagina in cui sono inserite.

Se avete un sito web che è basato principalmente su immagini, dovrete definire come ottimizzarle per ricevere maggiore “extra” traffico da Google images.

Molti siti web non hanno benefici dalle visite provenienti da Google Images, in molti casi infatti questo tipo di traffico è a basso livello e non porta a nessun tipo di conversione. Molte volte, dare l’accesso libero a ImageBot al proprio sito può essere controproducente per un alto consumo di banda. Per questo motivo si può usere il file robots.txt per impedire al bot di accedere a determinate cartelle e/o files.

L’ultimo bot di cui parleremo è completamente dedicato al programma Adwords di Google.

AdsBot è uno degli ultimi nuovi spider di Google. Questo nuovo crawler è utilizzato per analizzare il contenuto pubblicitario delle landing page, le quali aiutano a determinare il Quality score che Google assegna al vostro annuncio.

Google usa questo Quality score, in concomitanza con l’importo che avete assegnato per ogni click e per ogni campagna, per determinare la posizione del vostro annuncio. Di conseguenza, un annuncio con alto Quality score può andare in testa ai risultati sponsorizzati anche se un’altro annuncio ha pagato di più di voi.

Questo è uno dei tanti sforzi di Google per accertarsi che i risultati siano sempre più buoni e attendibili.

E’ possible bloccare l’accesso di questo spider? Certo che sì, ma sicuramente non porterebbe giovo per il vostro possibile futuro annuncio Adwords, sicuramente il Quality store non ci sarebbe affatto. E’ per questo che solitamente si da pieno accesso a questo tipo Bot.

Al giorno d’oggi, i Bot di Google stanno diventando sempre più avanzati. In ogni caso, sempre più rilevante, come già detto, sono qualità e aggiornamento dei contenuti.