質問の編集履歴

極々一般的なルーター、普通の100Mの光回線でプロバイダ、ノートパソコン（Core i7）を使ってGoogleの様なスパイダーを作った場合（単一ドメインへのアクセスは1分1回など制限を設けます）、外部サイトに大量のアクセスをしますが、HTMLやPDFのみが対象ファイルの場合(文字情報しか集めない)、1分間にどの程度のアクセスまで継続して処理できる物でしょうか？

具体的には、まず始めに100URLほど用意して、そこからからのリンクを調べ、ドメインが異なることを確認したら、プログラム上でスレッドを作りながら一括アクセスしたいと思っています。この部分でのスレッドの数をどこまで上げるかで悩んでおります。