Recuperer le top des recherches google francaise

Suite a une idée de MickealB de lereferencement, voici en quelques lignes comment récuperer le top des recherches google en france sur les 7 derniers jours.

Pour commencer on se rend sur la bonne page (ici le top des recherches fr sur 7 jours) :

http://www.google.com/insights/search/#cat=0&q=&geo=FR&date=today%207-d&gprop=&cmpt=q

On pense a scruter la console de firebug qui nous indique quel fichier est appelé par google :

http://www.google.com/insights/search/overviewReport?cat=0&q=&geo=FR&date=today%207-d&gprop=&cmpt=q&content=1

Il ne nous reste plus qu’a utiliser l’excellent plugin xPather pour firefox et ainsi trouver la requete xpath qui va bien :

//div[contains(@id, "overviewTopSearchesDiv")]//tr[contains(@class,"trends-table-row")]/td[2]

Maintenant il ne reste plus qu’a utiliser xpath et php pour extraire la liste des recherches en quelques lignes :

$url = 'http://www.google.com/insights/search/overviewReport?cat=0&q=&geo=FR&date=today%207-d&gprop=&cmpt=q&content=1';
$html = file_get_contents($url);

$dom = new DOMDocument();
@$dom->loadHTML($html);
$xp = new DOMXPath($dom);
$nodeList = $xp->query('//div[contains(@id, "overviewTopSearchesDiv")]//tr[contains(@class,"trends-table-row")]/td[2]');
foreach($nodeList as $domElement){
    echo $domElement->nodeValue.'';
}

ATTENTION : dans cet exemple j’ai utilisé la fonction file_get_contents qui ne sait pas gérer les proxys, je vous conseille fortement d’utiliser les fonctions curl de php pour pouvoir utiliser des proxys, vous pourrez ainsi appeler ce sript sans crainte de vous faire kicker par google.

Pour obtenir d’autres infos il ne vous reste plus qu’a trouver l’url correpondant à vos besoin sur google insight ;)

You can leave a response, or trackback from your own site.

11 Responses to “Recuperer le top des recherches google francaise”

  1. Aurélien dit :

    C’est moi ou Mr G. est très tatillon sur le file_get_contents ?
    Je me fait kicker après deux essais, mais toujours accès online.

  2. playmobitch dit :

    XPather…comment j’ai pu passer à côté de ça…merci pour l’info

  3. chloelaplus dit :

    ou utiliser un vpn a la place des proxys :) bon ca c pour les fainéants comme moi :)
    merci à toi

  4. elise dit :

    En 2012 il y aura à peu près 50% des smartphones seront sous Android, devant Symbian et Windows phone 7. Google a d’autre par comme projet de revoir la monétisation de youtube et notamment de proposer 20 chaines premium(payantes) offrants des services similaires aux chaines classiques : sport, séries, cinéma etc. Cela fera entrer Google en concurrence directe avec les chaines de télé. Suis-je donc le seul à me soucier de l’expension de ce qui n’étais à l’origine qu’un moteur de recherche. Google développe ses tentacules partout, dans tous les domaines. Bientôt l’entreprise imposera sa loi aux états.

  5. Jeremy dit :

    Je cherchais quelque chose de similaire pour recréer un tableau de bord des tendances à travers plusieurs sources du Web.

    Je ne sais pas encore comment je vais faire pour m’évader du timeout de Google mais peut-être que la solution de chloelaplus va fonctionnner; c’est-à-dire un VPN.

    Merci bien mon pote,
    Jérémy

  6. Ça fait un bout que j’utilise XPather, vraiment génial comme add-on d’ailleurs !

  7. Alex dit :

    Super intéressant et merci pour le bout de code ! ;)
    Google donne plus d’infos losqu’on est connecté que lorsqu’on ne l’est pas.
    Type : les chiffres d’évaluations des recherches et les recherches en progression. Savez vous comment on peut simuler une connexion ?

  8. Alex dit :

    @chloelaplus
    « ou utiliser un vpn a la place des proxys :) bon ca c pour les fainéants comme moi :)  »

    Comment tu fais pour utiliser un vpn via php ?

  9. On mélange ça avec l’extraction des mots clefs dans Google Suggest (via iMacros ou autre) et ça peut faire quelque chose de sympa :)

Leave a Reply

Powered by WordPress and Divioseo