ニュースボイス

Scraperr: 自前で運用できる高機能Webスクレイパー

🕒

カテゴリ

IT・ネット

ScraperrはXPathを利用した高精度のWebスクレイピングを実現する自前ホスティング型アプリケーションです。キュー管理、ドメイン全体のクロール、カスタムヘッダー、メディアダウンロード機能、結果の可視化やエクスポートなど多機能を備えています。robots.txtや利用規約の尊重を前提に、安全かつ効率的なデータ収集が可能です。MITライセンスで公開されています。