NPDS : Gestion de contenu et de communauté

Depuis quelques temps, de nombreux webmestres se plaignent de la vitesse de crawl (indexation) de Voila.

En effet son robot "VoilaBot", indexe fortement les sites du rayon "France" depuis 2008. En soit ce n'est pas un problème sauf que la vitesse d'indexation, le type de requêtes et la charge générée sont simplement aberrants et de nature à "étouffer" même un gros serveur !

VoilaBot ne respect en général pas les directives de votre fichier robots.txt donc
User-agent: VoilaBot
Disallow: /
ne marche pas.

VoilaBot cherche des URL qui n'existe pas sur votre site et génére donc des erreurs dans son référencement.

Les tranches d'adresses actuelles (que j'ai pu trouver) qui corresponde à natcrawlbloc (prefixe du crawler) : 193.252.149.13 à 16 et 81.52.143.13 à 16 ce qui correspond à

Reste la solution via le fichier .htaccess qui sera efficace au niveau http (mais pas au niveau IP - là il n'y a qu'un Firewall qui pourr agir)
deny from 193.252.149.13
...
deny from 193.252.149.16
deny from 81.52.143.13
...
deny from 81.52.143.16
fonctionne (si vous voulez quand même être indexé par Voila / ne mettez qu'une des deux tranches d'IP dans votre .htaccess).

Cela dure depuis plus d'un an sans que Voila ne fasse aucune modification de son "machin" ... allez savoir pourquoi !!! mais vous voilà (haha) informé.

Bonjour,

J'ai l'immense honneur de pouvoir vous annoncer l'entière réussite de notre site, à savoir http://www.fun-educ.com, un site créer afin de faire valoriser certaines disciplines canines encore méconnues comme le dog dancing ou le fly ball. En effet, depuis la création de Fun-Educ il y a plus ou moins 4 ans 1/2 grace à NPDS, nous comptons actuellement plus de 5500 membres et plus de 2500 visiteurs par jour ! Je pense bien que NPDS est LA solution pour faire partager vos passions, vos idées, vos créations et ce le plus simplement du monde ! Encore une fois, je me permets au nom de ma petite équipe, de vous remercier pour cette facilité et cette gratuité d'utilisation !

Certaines technologies embarquées et développées dans et par la Team de NPDS sont reprises et/ou mises à l'honneur dans la presse.

C'est le cas de Meta-Lang ou du moins du concept de Détection de Mots !
"Dans le contexte d'un site Web, l'analyse de chaînes de caractères et plus spécifiquement la détection des mots couplée à une recherche dans un glossaire est une solution simple pour réaliser des chose compliquées"

Dans le dernier PHP Solutions (2/2009), un article de 6 pages explique par le détail (une application est même livrée sur le CD) la technologie utilisée massivement par Meta-Lang et donc par NPDS.

Si vous voulez tous comprendre ... courrez acheter le dernier numéro de PHP Solutions !

Dans le numéro 3/2009 de Linux+DVD, découvrez NPDS par le détail : http://www.lpmagazine.org / Y sont présenté à la fois la vision de l'internaute et celle du webmestre ce qui n'est pas si courant que cela dans ce genre d'article.

Il devrait y avoir une suite à ce premier article afin d'aborder certains aspects bien particulier de NPDS

A lire donc !