391 ： 名無し編集部員 [sage] ： 2014/03/14 (木) 21:05:51 ID: NM2DWIlY

webarchiveとgoogleキャッシュも2ちゃんのログを取得してるけど、あれは拒否しないの？
ロボットtxtを置くだけで弾けるよ。

「他人のウェブサイトであっても勝手に保存してミラーサイトを作って構わない」
って意識が個人ユーザーに広がったのは、
archive.orgやgoogleの強引なログ奪取が切っ掛けの気がする。
googleがやってるから自分がやっても良いよね、みたいな。