stehen wir ihnen jederzeit mit Rat & Tat zur Seite und finden rasch eine Lösung.
Häufige Fragen
Beachtet der Crawler meine robots.txt?
Diese drängende Frage bekommen wir häufig gestellt. Die Antwort ist definitiv ja! Es kann aber einige mögliche Fehlerquellen geben. In fast allen Fällen hat sich bisher gezeigt, dass die Fehlerquelle in der Datei selbst lag. Bitte achten Sie penibel auf die korrekte Syntax. Mit diesem Tool können Sie die robots.txt auf Validität prüfen. Die häufigste Fehlerquelle ist auf den ersten Blick nicht gleich ersichtlich. Die Verwendung eines nicht geeigneten Editors kann die Datei für die Auswertung unbrauchbar machen, da z.B. unsichtbare Steuercodes eingefügt werden. Neben dem Editor der z.B. UTF-8 oder Latin1 kodierte Texte speichert, wird je nach Betriebssystem für den Zeilenumbruch ein anderes Steuerzeichen verwendet. Wir empfehlen daher dringend die Verwendung des „Texteditors“ und nicht etwa Wordpad oder Word!
Hinweis: Allgemein bietet die robots.txt KEINEN 100% Schutz vor ungewünschten Zugriffen. Diese stellt lediglich eine Empfehlung dar. Um bestimmte Webseitenbereiche sicher zu schützen, müssen diese serverseitig oder etwa über die htaccess-Datei geschützt werden. Siehe auch Wikipedia „Ein Ausgrenzen bestimmter Teile einer Webpräsenz durch das Protokoll garantiert keine Geheimhaltung, dazu sind Seiten oder Unterverzeichnisse…“
Sollten Sie weitere Fragen und oder Probleme zu diesem Zusammenhang haben, stehen wir gerne hilfreich zur Seite.
Wie kann ich den Crawler aussperren?
Wenn Sie zukünftig nicht mehr von unserem Crawler besucht werden möchten, dann nehmen Sie bitte folgende Einträge in der jeweiligen Datei vor. Alternativ können wir Ihre Seite auf Anfrage gerne auf die Sperrliste setzen.
robots.txt: (Ergebnis: Seite wird nicht weiter analysiert)
user-agent: BacklinkCrawler
disallow: /
.htaccess: (Ergebnis: Bot wird komplett vom Server abgewiesen=100% geblockt)
order deny,allow
deny from 46.4.100.231
Bitte auf Groß- und Kleinschreibung achten.
Unser Crawler macht solche Sachen selbstverständlich nicht. Passwortgeschützte Bereiche können und wollen wir gar nicht analysieren. Für unseren Backlinkchecker sind nur öffentliche Internetseiten von Belang. In sehr seltenen Fällen kann es vorkommen, dass sich der Crawler in einem Formular oder Suchfeld „festhängt“, so dass es mehrere Zugriffe hintereinander gibt. Die kommt auf den ersten Blick einem DoS-Zugriff gleich. Bitte kontaktieren Sie uns unter dem obigen Formular und wir werden den Crawler sofort von Ihrer Seite lotsen. Für den Fall bitten wir sie vielfach um Entschuldigung.
Weitere Fragen, Probleme, Anregungen oder Beschwerden?
Kein Problem! Senden Sie bitte eine Mail an kontakt@backlinktest.com oder im obigen Formular. Wir werden Ihr Anliegen schnellstmöglich beantworten!
