Jump to english version
Springe zu deutscher Version

Deutsche Version

Lieber Besucher,
Sie sind auf diese Seite gekommen, da Sie sich näher zu unserem Bot informieren möchten.

Sie brauchen keine Angst zu haben, dass es sich um einen SPAM Bot handelt. Der Bot kommt von unseren Crawler, der Webseiten nach externen und internen Links untersucht. Diese Daten werden dazu verwendet, unseren Backlinkchecker unter http://www.backlinktest.com mit Ergebnissen zu versorgen. Diese Tools sind wichtige Instrumente für die Internetbranche. Auch Sie können darüber kostenlos erfahren, welche Seiten im Internet auf Ihre Webseite verlinken. Mehr Links führen in der Regel zu besseren Platzierungen in den Suchmaschinen und somit auch zu mehr Besuchern.

Es werden keinerlei persönliche Daten gespeichert, wie etwa Anschrift, Webseiteninhalte,
E-Mail Adresse(n) etc.

Unter dem folgenden Formular finden Sie die häufigsten Hilfen und Antworten auf Ihre Fragen. Bei Problemen
stehen wir ihnen jederzeit mit Rat & Tat zur Seite und finden rasch eine Lösung.


Anfragen oder Abuse-Mitteilung: Wir beantworten Ihr Anliegen schnellstmöglich!
Name:
E-Mail:

Ihre Mitteilung:




Häufige Fragen

Beachtet der Crawler meine robots.txt?

Diese drängende Frage bekommen wir häufig gestellt. Die Antwort ist definitiv ja! Es kann aber einige mögliche Fehlerquellen geben. In fast allen Fällen hat sich bisher gezeigt, dass die Fehlerquelle in der Datei selbst lag. Bitte achten Sie penibel auf die korrekte Syntax. Mit diesem Tool können Sie die robots.txt auf Validität prüfen. Die häufigste Fehlerquelle ist auf den ersten Blick nicht gleich ersichtlich. Die Verwendung eines nicht geeigneten Editors kann die Datei für die Auswertung unbrauchbar machen, da z.B. unsichtbare Steuercodes eingefügt werden. Neben dem Editor der z.B. UTF-8 oder Latin1 kodierte Texte speichert, wird je nach Betriebssystem für den Zeilenumbruch ein anderes Steuerzeichen verwendet. Wir empfehlen daher dringend die Verwendung des „Texteditors“ und nicht etwa Wordpad oder Word!


Hinweis: Allgemein bietet die robots.txt KEINEN 100% Schutz vor ungewünschten Zugriffen. Diese stellt lediglich eine Empfehlung dar. Um bestimmte Webseitenbereiche sicher zu schützen, müssen diese serverseitig oder etwa über die htaccess-Datei geschützt werden. Siehe auch Wikipedia „Ein Ausgrenzen bestimmter Teile einer Webpräsenz durch das Protokoll garantiert keine Geheimhaltung, dazu sind Seiten oder Unterverzeichnisse…“

Sollten Sie weitere Fragen und oder Probleme zu diesem Zusammenhang haben, stehen wir gerne hilfreich zur Seite.

Kann ich den Crawler bremsen?

Der Crawler beachtet die Crawl-delay Direktive welche sich in der robots.txt festlegen lässt. Fügen Sie z.B. folgenden Eintrag ein, um den Crawler anzuweisen zwischen zwei Zugriffen mindestens 10 Sekunden zu warten:

User-agent: BacklinkCrawler
Crawl-delay: 10

Wie kann ich den Crawler aussperren?

Wenn Sie zukünftig nicht mehr von unserem Crawler besucht werden möchten, dann nehmen Sie bitte folgende Einträge in der jeweiligen Datei vor. Alternativ können wir Ihre Seite auf Anfrage gerne auf die Sperrliste setzen.

robots.txt: (Ergebnis: Seite wird nicht weiter analysiert)

User-agent: BacklinkCrawler
Disallow: /


.htaccess: (Ergebnis: Bot wird komplett vom Server abgewiesen=100% geblockt)

order deny,allow
deny from 46.4.100.231

Bitte auf Groß- und Kleinschreibung achten.


DoS-Attacke oder Hackerangriff?

Unser Crawler macht solche Sachen selbstverständlich nicht. Passwortgeschützte Bereiche können und wollen wir gar nicht analysieren. Für unseren Backlinkchecker sind nur öffentliche Internetseiten von Belang. In sehr seltenen Fällen kann es vorkommen, dass sich der Crawler in einem Formular oder Suchfeld „festhängt“, so dass es mehrere Zugriffe hintereinander gibt. Die kommt auf den ersten Blick einem DoS-Zugriff gleich. Bitte kontaktieren Sie uns unter dem obigen Formular und wir werden den Crawler sofort von Ihrer Seite lotsen. Für den Fall bitten wir sie vielfach um Entschuldigung.


Weitere Fragen, Probleme, Anregungen oder Beschwerden?

Kein Problem! Senden Sie bitte eine Mail an kontakt@backlinktest.com oder im obigen Formular. Wir werden Ihr Anliegen schnellstmöglich beantworten!





English version

Dear visitor,
you came to this page to get details on our bot.

Please do not assume it to be a SPAM bot. It actually is a crawler, indexing external and internal links on websites. The data gathered is used for our Backlinkchecker project at http://www.backlinktest.com. This project provides important tools for companies acting in the WorldWideWeb. It is free, so you can use it to find out which pages link your homepage. As a general rule, more links lead to better placements in search engine results and hence more visitors.

Personal data like page contents, e-mail or real world addresses are not collected at all.


Questions, problems, suggestions or complaints?

No problem! Please send an e-mail to kontakt@backlinktest.com. We will respond as soon as possible!




Frequently asked questions

Does the crawler respect my robots.txt?

This pressing question is asked very often. The answer is yes, definitely! However, sources of nonconformances might exist. Mostly, the robots.txt itself was erroneous, leading to unexpected behavior of the crawler. Please take care of using the correct syntax in this file. With this tool you can check whether your robots.txt is valid. The most frequent source of error is not obvious at a first glance. Usage of an inappropriate editor can render your robots.txt unusable by, for instance, adding invisible control character to it. Besides the editor which may prefer UTF-8 over Latin-1 coding to store text, the character for newline also differs with respect to the operation system. We thus strongly recommend the use of notepad rather than Wordpad or Word!


Please note: In general, robots.txt does NOT provide 100% protection from undesired accesses to your page. It merely poses a suggestion to crawlers. To reasonably protect parts of your homepage you have to introduce server-sided measures as protecting directories using the .htaccess file. Please refer also to Wikipedia. „...the protocol is purely advisory. It relies on the cooperation of the web robot, so that marking an area of a site out of bounds with robots.txt does not guarantee exclusion of all web robots.“

If there are any questions left or you are experiencing trouble regarding this context, we are happy to help.

Can I slow the crawler down?

The crawler respects the Crawl-delay directive which can be defined using robots.txt. Add for instance the following lines in order to make the crawler wait at least 10 seconds between requests:

User-agent: BacklinkCrawler
Crawl-delay: 10

How can I block the crawler?

If you do not wish that our crawler is visiting your website anymore, please add the following entries to the respective files. On request, we can alternatively blacklist your domain for the crawler.

robots.txt: (Result: Page is ignored)

User-agent: BacklinkCrawler
Disallow: /


.htaccess: (Result: The server wont answer to the crawler anymore = 100% block out)

order deny,allow
deny from 46.4.100.231

Please pay attention to letter case.


DoS attack or hack?

Our crawler is of course not doing things like this. We are not able and we not even want to analyze protected areas. The BacklinkChecker is only interested in germane public content. In rare cases, the crawler might accidentally run into a search form or formula where it repeats similar requests. This might look like a DoS attack but it is not. Please do not hesitate to contact us, if you experience any trouble with requests of our crawler. We will solve the issue immediately. If this turns out to be necessary, we apologize.


Additional questions, issues, suggestions or complaints?

No problem! Please send an E-Mail to kontakt@backlinktest.com. We will handle your request as fast as possible!