Disallow

そもそもrobots.txtとは？どこで見れるの？実際にスクレイピングをする前に、robots.txtを確認する必要性を分かっていても、どうやって読むのか分からない人もいるかもしれません。全文は... もっと見る