Minimum... eher mehr
Hier kommt noch das ganze HTML zu den Beiträgen an sich dazu, ggf. sind die gleichen Seiten über mehrere URLs verfügbar.
Offline ist es aber auch nicht so einfach, nach Inhalten zu suchen - die normale Forumssuche funktioniert natürlich nicht.
Außerdem lässt die Firewall nur eine gewisse Anzahl von Abfragen zu:
Ich hatte in der Vergangenheit das öfters, dass irgendwelche (meist ausländischen) IPs stundenlang Seiten automatisiert abgerufen haben.
Deshalb wird nun pro IP (genauer: Hash der IP) eine neue Verbindung nur zugelassen, wenn die Anzahl der Verbindungen in den letzten 60 Minuten unter 500 war. Durch HTTP-KeepAlive kann man über eine einzelne Verbindung 100 Requests machen, das sollte also für normale DSL-Verbindungen locker ausreichen... (die nicht erwünschten Bots können scheinbar meist kein KeepAlive)
Gruß
Aaron