S2Robot を動かしてみる
今回は、クローラフレームワークである S2Robot を紹介します。ここでは、S2Robot-example の動作方法を示します。S2Robot-example は、対象URLのリンクをたどり保存する、クローラの例となっています。
前提
S2Robot-example を実行するためには、S2Robot が必要です。
以下の手順で、インストールしてください。
$ svn co https://www.seasar.org/svn/sandbox/s2robot/trunk/s2robot/ s2robot
$ cd s2robot
$ mvn install
S2Robot-example のチェックアウト
SVNリポジトリからチェックアウトします。
$ svn co https://www.seasar.org/svn/sandbox/s2robot/trunk/s2robot-example/ s2robot-example
$ cd s2robot-example
ビルド
DBを使わずに、動作させる場合を示します。DBを使用する場合、
S2Robot セットアップ を参考に、
変更を加えてください。
以下が変更点です。pom.xml と app.dicon に変更を加えています。
$ svn diff pom.xml
Index: pom.xml
===================================================================
— pom.xml (リビジョン 52)
+++ pom.xml (作業コピー)
@@ -96,7 +96,7 @@
</dependency>
<dependency>
<groupId>org.seasar.robot</groupId>
- <artifactId>s2-robot-db</artifactId>
+ <artifactId>s2-robot</artifactId>
<version>0.1.0-SNAPSHOT</version>
</dependency>
<dependency>
$ svn diff src/main/resources/app.dicon
Index: src/main/resources/app.dicon
===================================================================
— src/main/resources/app.dicon (リビジョン 52)
+++ src/main/resources/app.dicon (作業コピー)
@@ -3,5 +3,5 @@
”http://www.seasar.org/dtd/components24.dtd”>
<components>
<include path=”aop.dicon”/>
- <include path=”s2robot_db.dicon”/>
+ <include path=”s2robot.dicon”/>
</components>
上記の変更をしたあと、ビルドします。
$ mvn install
実行
run.sh を実行することで、クロールが開始されます。
第一引数が、クロール対象の URL、第二引数がクロールの深さになります。
第二引数は省略可能で、省略した場合、0になります。
$ chmod 755 run.sh
$ ./run.sh http://example.com/ 1
