Deutsches Simutransforum

Wenn jemand herausfindet, wie man das den Bots beibringen kann, dann wäre ich sehr daran interessiert das auch zu lernen

OT:

Zitat:Du böser Bod, wenn Du jeden Tag vorbeikommst ... nur lieb wenn Du 1x die Woche

Sprich einfach nett zu Ihm ;o)

(Sorry, konnte ich mir nicht verkneifen ;o) )

Laut Wikipedia http://de.wikipedia.org/wiki/Robots_Exclusion_Standard

gibt es ein "Crawl-delay:" das in Sekunden angegeben wird, z.B "Crawl-delay: 600". Damit könnte man z.B. sagen, nur eine Seite alle 10 Minuten oder so zu saugen. Würde das helfen? Halten sich die Bots daran?

Edit: Selbst laut Wikipedia halten sich nur zwei sorten Bots daran ... ?

Hajo das hilft nichts. Weil robot.txt oft/meist nicht beachtet wird.

Der Tag ist: <meta name="revisit-after" content="10 days">

Doch 1. wird der Tag fast immer ignoriert. und 2. würde ich davon abraten ihn zu benutzen. Sollte er verwendet werden und eure (eine) Seite wird nur noch aller 14 Tage besucht, dann wird sie auch stark abgewertet und schlechter in den Suchergebnissen angezeigt.

Der Tag dient eigentlich dazu Suchmaschinen auf Seiten die interessant sind und sich oft ändern aufmerksam zu machen.

ich hab den bei mir so drin, auf 14days, eine abwertung konnte ich nicht feststellen.. und meiner erfahrung nach beachtet google robots.txt genauso wie den metatag durchaus.

kann man ja bei google glücklicherweise nachsehen in dem man die webmastertools von google verwedet. da zeigt er alles an.

vielleicht wäre für das forum ein revisit alle 6days gut.

grüsse

unter https://www.google.com/webmasters/tools findet man die webmastertools von google.

anmelden, seite eintragen, metatag oder google html datei anlegen, dann findet man unter dem menüpunkt "Tools" unter "Crawling-Geschwindigkeit festlegen" die möglichkeit google zu sagen er soll "Langsamer" Crawlen.

Das ändert laut google nichts am pagerank, sondern reduziert nur den traffic den google macht, was wir hier im forum ja wollen würden.
Nun müsste man nur noch allen anderen Bots das so beibringen (können).

grüsse.

Nur wird google hier kaum unser Problem sein. Der googlebot sollte möglichst einmal am Tag hier sein oder öfter.

Das Problem das viel Traffic verursacht sind SPAM-Bots und viele kleine unbekannte Bots.

Per .htaccess kann ma jeden einzelnen bot den Zugriff verweigern. Macht aber viel Arbeit jeden einzeln einzutragen. http://www.nerdcenter.de/apache-bots-aus...-htaccess/

Hier steht wie man google zuläßt und den Rest verbietet:
http://dereinzige.de/2007/03/27/vom-rich...robotstxt/

Wer google und seinen großen Geschwistern den Zugriff verweigert oder limitiert hat den Sinn von Suchmaschinen nicht verstanden. Je öfter der Zugriff, je wertvoller die Seite, desto bessere Platzierung.

Ich habe gerade gelesen, das manche Großen Bots die Seiten trotz robots.txt-Schutz lesen aber in den Suchergebnissen keine Beschreibung anzeigen. Das dürfte dann also auch nur einen Bruchteil an Trafiic einsparen.

Ach und Pagerank!? Was ist das? Interessant das immernoch viele Leute auf grüne Balken stehen, vermitteln sie einem doch eine gewisse Sicherheit. Google selbst weißt oft genug daraufhin, das der PR nicht überbewertet werden sollte. Eine Seite nach ihrem PR zu bewerten könnte zu schlimmen Fehleinschätzungen führen.

Stellt euch mal vor Ihr wollt einen Link tauschen und sollt dafür Geld bezahlen. Nur weil die Seite PR 3 hat sollt ihr X Euro bezahlen. Später seht ihr das die Seite gerade mal 5 Backlinks hat und total suchmaschinenunfreundlich ist. Was bringt da der kleine Balken? (Hatte übrigens letztens selbst solch eine Seite bewerten müssen!)

Ich bin versucht sowohl das mit dem Crawl-delay: als auch dem Meta-Tag zu testen.

Sojo, Du hast Deine Seiten doch mit einem Content Managemant System erstellt, das PHP-basiert ist? Wie ist dort das Verhältnis von Crawlern zu echten besuchern? Ich habe das gefühl Crawler mögen PHP Seiten ganz besonders, und besuchen diese extra häufig.

Zitat:Original von Hajo
Sojo, Du hast Deine Seiten doch mit einem Content Managemant System erstellt, das PHP-basiert ist? Wie ist dort das Verhältnis von Crawlern zu echten besuchern? Ich habe das gefühl Crawler mögen PHP Seiten ganz besonders, und besuchen diese extra häufig.

Hab ich bisher nicht hingeschaut. Da bei piranho.de kein Traffic-Limit existiert. Sollte ich es nicht vergessen werde ich mal schauen!

Danke