Mojeek › MojeekBot

MojeekBot

MojeekBot est le robot d'indexation pour le moteur de recherche Mojeek. Bien que chaque a tenté d'être attentionné des hôtes, propriétaire du site et webmaster, malheureusement fautes et erreurs sont inévitables. Si vous avez remarqué notre bot se comporte mal en quelque sorte, analyse une page ou un répertoire il ne devrait pas, ou vous avez juste des demandes de renseignements généraux s'il vous plaît contactez-nous, nous apprécierions vos commentaires.

Crawl Fréquence

MojeekBot ne doit pas demander, qu'elle soit réussie ou non, plus d'une page de votre site dans la même seconde 4 laps de temps.

Robots.txt

MojeekBot obéit le Robot Exclusion Standard. MojeekBot obéira au premier enregistrement avec un Agent utilisateur contenant "MojeekBot". S'il n'y a aucune trace de ce il obéira à la première entrée avec un User-Agent de "*".

MojeekBot ne sera pas récupérer tous les documents avec une URL contenant une chaîne Rejeté, c'est-à-dire:

User-agent: *
Disallow: /private


Cela risque de provoquer toutes les URL contenant la chaîne "/private" pour être refusée. Par exemple tous les éléments suivants ne seraient pas récupérés:

/private/
/private_www/
/private.html

Meta-Tags

Moteur de Mojeek obéit les balises meta noindex, nofollow et de nocache. Si vous placez ce qui suit dans la tête de votre page:

<META NAME="robots" CONTENT="noindex">

MojeekBot récupère la page mais n'indexera pas le document, ni il va y entrer dans la base de données de recherche.

Vérifier MojeekBot

Pour vérifier que cela est un vrai MojeekBot visitant votre site effectuer deux étapes, d'abord, une résolution DNS inverse sur l'adresse ip visiter:-

> host 5.102.173.71
71.173.102.5.in-addr.arpa domain name pointer crawl-5-102-173-71.mojeek.com.


Cela devrait résoudre à un nom dans le domaine de mojeek.com. Maintenant, vérifiez ce n'est pas un faux reverse dns en effectuant une recherche dns vers l'avant sur la réponse ci-dessus:-

> host crawl-5-102-173-71.mojeek.com
crawl-5-102-173-71.mojeek.com has address 5.102.173.71


Ceci devrait maintenant retourner l'adresse d'origine ip visite, sinon, il est pas un véritable MojeekBot.

Contactez Nous

Si vous avez d'autres questions ou des commentaires concernant notre bot, s'il vous plaît ne pas hésiter à nous contacter.