Deutsches Simutransforum › Homepage › Forum & Homepage v
Forum nicht erreichbar

Themabewertung:
  • 0 Bewertung(en) - 0 im Durchschnitt
  • 1
  • 2
  • 3
  • 4
  • 5
Linearer Modus
Forum nicht erreichbar
Hajo Offline
Simutrans Entwickler 1997-2005, Iron Bite 2012
*****
Beiträge: 1.862
Themen: 87
Registriert seit: Jan 2006
Bewertung: 0
#53
01-12-2008, Monday-12:53:14
Laut Wikipedia http://de.wikipedia.org/wiki/Robots_Exclusion_Standard

gibt es ein "Crawl-delay:" das in Sekunden angegeben wird, z.B "Crawl-delay: 600". Damit könnte man z.B. sagen, nur eine Seite alle 10 Minuten oder so zu saugen. Würde das helfen? Halten sich die Bots daran?

Edit: Selbst laut Wikipedia halten sich nur zwei sorten Bots daran ... ?
Blogger blog blog
Homepage Suchen
Zitieren


Nachrichten in diesem Thema
Forum nicht erreichbar - von luki haba - 27-02-2008, Wednesday-18:57:50
RE: Forum nicht erreichbar - von wernieman - 27-02-2008, Wednesday-19:39:23
[Kein Betreff] - von MHz - 27-02-2008, Wednesday-19:56:08
[Kein Betreff] - von Dirk - 27-02-2008, Wednesday-21:17:07
[Kein Betreff] - von MHz - 27-02-2008, Wednesday-21:21:14
[Kein Betreff] - von luki haba - 27-02-2008, Wednesday-22:43:25
[Kein Betreff] - von sgpch - 27-02-2008, Wednesday-23:13:10
[Kein Betreff] - von Alexander Brose - 27-02-2008, Wednesday-23:13:15
[Kein Betreff] - von moistboy - 28-02-2008, Thursday-02:33:50
[Kein Betreff] - von Dirk - 03-03-2008, Monday-02:12:26
[Kein Betreff] - von luki haba - 04-03-2008, Tuesday-22:59:16
[Kein Betreff] - von Jim Knopf - 05-04-2008, Saturday-13:36:43
[Kein Betreff] - von Jim Knopf - 05-04-2008, Saturday-13:52:39
[Kein Betreff] - von DirrrtyDirk - 05-04-2008, Saturday-15:10:10
[Kein Betreff] - von Strudel - 05-04-2008, Saturday-15:35:06
[Kein Betreff] - von sojo - 05-04-2008, Saturday-15:43:19
[Kein Betreff] - von Jim Knopf - 05-04-2008, Saturday-15:48:22
[Kein Betreff] - von Wurzelgnom - 01-05-2008, Thursday-08:15:55
[Kein Betreff] - von Wurzelgnom - 06-05-2008, Tuesday-19:18:49
[Kein Betreff] - von Hans Dampf - 07-05-2008, Wednesday-13:37:20
[Kein Betreff] - von Dwachs - 08-05-2008, Thursday-09:49:52
[Kein Betreff] - von Hoirkmann - 08-05-2008, Thursday-19:50:02
[Kein Betreff] - von Dirk - 19-05-2008, Monday-08:18:50
[Kein Betreff] - von joecz - 19-05-2008, Monday-13:36:03
[Kein Betreff] - von wernieman - 19-05-2008, Monday-13:53:23
[Kein Betreff] - von Alexander Brose - 21-10-2008, Tuesday-11:41:09
[Kein Betreff] - von Hajo - 21-10-2008, Tuesday-11:45:00
[Kein Betreff] - von Alexander Brose - 21-10-2008, Tuesday-11:48:59
[Kein Betreff] - von Hajo - 21-10-2008, Tuesday-11:52:02
[Kein Betreff] - von sojo - 21-10-2008, Tuesday-12:35:57
[Kein Betreff] - von Alexander Brose - 21-10-2008, Tuesday-23:10:30
[Kein Betreff] - von Hajo - 21-10-2008, Tuesday-23:24:10
[Kein Betreff] - von Alexander Brose - 21-10-2008, Tuesday-23:33:12
[Kein Betreff] - von prissi - 21-10-2008, Tuesday-23:53:12
[Kein Betreff] - von sojo - 22-10-2008, Wednesday-11:58:09
[Kein Betreff] - von Noel - 28-10-2008, Tuesday-23:48:28
[Kein Betreff] - von Dirk - 29-10-2008, Wednesday-23:24:34
[Kein Betreff] - von sojo - 30-10-2008, Thursday-10:11:59
[Kein Betreff] - von Hajo - 30-10-2008, Thursday-18:52:34
[Kein Betreff] - von Dirk - 07-11-2008, Friday-00:34:35
[Kein Betreff] - von Hajo - 07-11-2008, Friday-13:29:18
[Kein Betreff] - von Wurzelgnom - 07-11-2008, Friday-13:50:57
[Kein Betreff] - von Hajo - 07-11-2008, Friday-14:02:37
[Kein Betreff] - von Wurzelgnom - 07-11-2008, Friday-14:25:48
[Kein Betreff] - von sgpch - 07-11-2008, Friday-15:26:10
[Kein Betreff] - von sgpch - 30-11-2008, Sunday-15:25:45
[Kein Betreff] - von Hajo - 30-11-2008, Sunday-19:15:25
[Kein Betreff] - von sgpch - 01-12-2008, Monday-00:44:44
[Kein Betreff] - von Hajo - 01-12-2008, Monday-01:42:57
[Kein Betreff] - von sgpch - 01-12-2008, Monday-10:43:13
[Kein Betreff] - von Hajo - 01-12-2008, Monday-12:03:17
[Kein Betreff] - von wernieman - 01-12-2008, Monday-12:04:49
[Kein Betreff] - von Hajo - 01-12-2008, Monday-12:53:14
[Kein Betreff] - von sojo - 01-12-2008, Monday-14:32:10
[Kein Betreff] - von sgpch - 02-12-2008, Tuesday-14:39:38
[Kein Betreff] - von sgpch - 02-12-2008, Tuesday-14:59:34
[Kein Betreff] - von sojo - 02-12-2008, Tuesday-15:56:20
[Kein Betreff] - von Hajo - 02-12-2008, Tuesday-16:30:14
[Kein Betreff] - von sojo - 02-12-2008, Tuesday-16:32:57
[Kein Betreff] - von Hajo - 02-12-2008, Tuesday-16:35:08
[Kein Betreff] - von sojo - 02-12-2008, Tuesday-16:43:47
[Kein Betreff] - von Hajo - 02-12-2008, Tuesday-16:45:28
[Kein Betreff] - von sgpch - 04-12-2008, Thursday-03:30:38
[Kein Betreff] - von Wurzelgnom - 07-02-2009, Saturday-22:53:56
[Kein Betreff] - von aafgjklafgljkagb - 04-03-2010, Thursday-20:53:50

Gehe zu:


Benutzer, die gerade dieses Thema anschauen: 2 Gast/Gäste