http://atnd.org/events/3142

そこで、クローラ「S2Robot」と Java フレンドリーな
全文検索システム「Fess」について、話す予定なので
資料を作ってみました。

S2Robot の使い方的なところはわかりやすいかと思います。
という感じですが、まだ時間はあるので当日までは微調整
していくつもりでいます。

$ mvn archetype:generate -DarchetypeRepository=https://www.seasar.org/maven/maven2-snapshot/ \
    -DarchetypeGroupId=org.seasar.sastruts \
    -DarchetypeArtifactId=sa-struts-archetype -DarchetypeVersion=1.0.4-sp5.0-SNAPSHOT \
    -DgroupId=sample.app -DartifactId=sample -Dversion=1.0-SNAPSHOT

と、することで、SAStruts プロジェクトが作成されます。この例では sample という名前のプロジェクトが作成されます。

オプションとして、use-dbflute と use-portlet が追加されています。-Duse-dbflute=true とすれば DBFlute を利用した SAStruts プロジェクトを作成することができます。-Duse-portlet=true とすれば、portlet として、SAStruts プロジェクトを作成することができます。これらのオプションはデフォルトでは false になっています。

DBFlute を利用する場合、

$ mvn archetype:generate -DarchetypeRepository=https://www.seasar.org/maven/maven2-snapshot/ \
    -DarchetypeGroupId=org.seasar.sastruts \
    -DarchetypeArtifactId=sa-struts-archetype -DarchetypeVersion=1.0.4-sp5.0-SNAPSHOT \
    -DgroupId=sample.app -DartifactId=sample -Dversion=1.0-SNAPSHOT -Duse-dbflute=true
$ cd sample
$ mvn eclipse:eclipse

としたあと、

$ mkdir src/main/webapp/WEB-INF/db
$ cd src/main/webapp/WEB-INF/db
$ java -jar ../lib/h2-1.1.113.jar

として、H2 を起動後、データベース作成し、

$ cd ../../../../../
$ mvn dbflute:download
$ mvn dbflute:create-client
$ mvn dbflute:jdbc
$ mvn dbflute:generate

とした後、src/main/resources/jdbc.diconにDB設定を行うことで DBFlute を利用できます。

前提

S2Robot-example を実行するためには、S2Robot が必要です。
以下の手順で、インストールしてください。

$ svn co https://www.seasar.org/svn/sandbox/s2robot/trunk/s2robot/ s2robot
$ cd s2robot
$ mvn install

S2Robot-example のチェックアウト

SVNリポジトリからチェックアウトします。

$ svn co https://www.seasar.org/svn/sandbox/s2robot/trunk/s2robot-example/ s2robot-example
$ cd s2robot-example

ビルド

DBを使わずに、動作させる場合を示します。DBを使用する場合、
S2Robot セットアップ を参考に、
変更を加えてください。
以下が変更点です。pom.xml と app.dicon に変更を加えています。

$ svn diff pom.xml
Index: pom.xml
===================================================================
— pom.xml     (リビジョン 52)
+++ pom.xml     (作業コピー)
@@ -96,7 +96,7 @@
　</dependency>
　<dependency>
　<groupId>org.seasar.robot</groupId>
-　      <artifactId>s2-robot-db</artifactId>
+  　    <artifactId>s2-robot</artifactId>
　<version>0.1.0-SNAPSHOT</version>
　</dependency>
　<dependency>
$ svn diff src/main/resources/app.dicon
Index: src/main/resources/app.dicon
===================================================================
— src/main/resources/app.dicon        (リビジョン 52)
+++ src/main/resources/app.dicon        (作業コピー)
@@ -3,5 +3,5 @@
　　　　　”http://www.seasar.org/dtd/components24.dtd”>
<components>
　　　　　<include path=”aop.dicon”/>
-  　  <include path=”s2robot_db.dicon”/>
+    　<include path=”s2robot.dicon”/>
　</components>

上記の変更をしたあと、ビルドします。

$ mvn install

実行

run.sh を実行することで、クロールが開始されます。
第一引数が、クロール対象の URL、第二引数がクロールの深さになります。

第二引数は省略可能で、省略した場合、0になります。

$ chmod 755 run.sh
$ ./run.sh http://example.com/ 1

http://hadoop.apache.org/core/ から、最新のバージョンをダウンロードします。

現時点では、0.20.0 が最新のため、そのバージョンであると仮定してこの先の記述を行います。

解凍し、conf/hadoop-env.sh で  JAVA_HOME を適切に設定してください。

Standaloneでつかってみる

まずは、Standalone でつかってみます。解凍したディレクトリに移動し、

$ mkdir input
$ cp conf/*.xml input
$ bin/hadoop jar hadoop-0.20.0-examples.jar grep input output ‘dfs[a-z.]+’
$ cat output/*

input ファイル以下のファイルから、dfs で始まるものの数をカウントします。出力先は output になります。

また、bin/hadoop を引数なしで実行することによって、hadoop スクリプトの実行方法が表示されます。

$ bin/hadoop
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
namenode -format     format the DFS filesystem
secondarynamenode    run the DFS secondary namenode
namenode             run the DFS namenode
datanode             run a DFS datanode
dfsadmin             run a DFS admin client
mradmin              run a Map-Reduce admin client
fsck                 run a DFS filesystem checking utility
fs                   run a generic filesystem user client
balancer             run a cluster balancing utility
jobtracker           run the MapReduce job Tracker node
pipes                run a Pipes job
tasktracker          run a MapReduce task Tracker node
job                  manipulate MapReduce jobs
queue                get information regarding JobQueues
version              print the version
jar <jar>            run a jar file
distcp <srcurl> <desturl> copy file or directories recursively
archive -archiveName NAME <src>* <dest> create a hadoop archive
daemonlog            get/set the log level for each daemon
or
CLASSNAME            run the class named CLASSNAME
Most commands print help when invoked w/o parameters.

複数マシンで動かす

ここでは、host1 と host2 というマシンで動かすこととします。host1 を master とします。

また、パスワードなしで ssh できるようにしてあるとします。

設定

まず、環境変数として、.bashrc などで、HADOOP_HOME を設定します。

その後、

conf/masters に、

host1

conf/slaves に、

host1

host2

conf/core-site.xml に、

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://host1:9000</value>
</property>
</configuration>

conf/mapred-site.xml に

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://host1:9001</value>
</property>
</configuration>

と記述します。

細かい設定に関しては、http://hadoop.apache.org/core/docs/current/cluster_setup.html を参照してください。

実行

まず、

$ bin/hadoop namenode -format

で、分散ファイルシステムをフォーマットします。

Hadoop のデーモンを起動します。

$ bin/start-all.sh

次に、

$ bin/hadoop fs -put conf input

を行い、conf ファイルの中身を分散ファイルシステム上の input ディレクトリにコピーします。

分散ファイルシステム上のファイルは直接扱うことができず、bin/hadoop fs を介して行います。ls を行うには、

$ bin/hadoop fs -ls

ですし、mkdir するためには、

$ bin/hadoop fs -mkdir

になります。bin/hadoop fs を引数なしで実行することで、可能なオプションが表示されます。

このコピーしたファイルに対して、

$ bin/hadoop jar hadoop-0.20.0-examples.jar grep input output ‘dfs[a-z.]+’

を行い、先ほどと同様に、input ファイル以下のファイルから、dfs で始まるものの数をカウントします。出力先は output になります。

この内容をみるには、以下のようにします。

$ bin/hadoop fs -get output output
$ cat output/*

もしくは、

$ bin/hadoop fs -cat output/*

でみることができます。

最後に、Hadoop のデーモンを終了します。

$ bin/start-all.sh

インストール

まず、Apache Sling の ダウンロード のページから、ダウンロードします。
今回は、 org.apache.sling.launchpad.app-3-incubator.tar.gz をダウンロードしたと仮定します。
ダウンロード後、保存したディレクトリに移動し、

tar xvzf org.apache.sling.launchpad.app-3-incubator.tar.gz
cd org.apache.sling.launchpad.app-3-incubator
java -jar org.apache.sling.launchpad.app-3-incubator.jar

で起動します。

使ってみる

実際に動かしてみます。
なお、ここでの説明の大部分は、Discover Sling in 15 minutesに基づいています。

コンテンツの作成

まず、

curl -F”sling:resourceType=foo/bar” -F”title=some title” http://admin:admin@localhost:8080/content/mynode

を実行しコンテンツを作成します。ここでは、sling:resourceType が foo/bar、title が some title なコンテンツを作成しました。http://localhost:8080/content/mynode へアクセスすると、以下のような画面が表示されます。

これは、作成されたコンテンツの内容をしめしています。内容を描画する形式としては、デフォルトでは、htmlやjsonが選択できます。たとえば、現状で、http://localhost:8080/content/mynode.html へアクセスすると、

という、表示がされますし、
http://localhost:8080/content/mynode.json へアクセスすると、


{"title":"some title","sling:resourceType":"foo/bar","content":"hogehoge","jcr:primaryType":"nt:unstructured"}


が返されます。

コンテンツの描画

Sling ではコンテンツを描画するために、スクリプトやサーブレットを使用することができます。ここでは、ESP (server-side ECMAscript) を使用した例について説明します。

以下のファイルを、html.esp として保存してください。


<html>
　<body>
　　<h1><%= currentNode.title %></h1>
　</body>
</html>


描画する際に、Sling は /apps 以下の sling:resourceType を見に行きます。現在の例であれば、/apps/foo/bar です。

WebDav クライアントを使用して、/apps/foo/bar に html.esp をおくことで、http://localhost:8080/content/mynode.htmlにアクセスした場合に、html.espが使用されることになります。
curl を使う場合は、

curl -X MKCOL http://admin:admin@localhost:8080/apps
curl -X MKCOL http://admin:admin@localhost:8080/apps/foo
curl -X MKCOL http://admin:admin@localhost:8080/apps/foo/bar
curl -X PUT -d @html.esp http://admin:admin@localhost:8080/apps/foo/bar/html.esp

とします。

この状態で、http://localhost:8080/content/mynode.html へアクセスをすると、

と、いう表示がされます。

当然クライアントサイドでの JavaScript も使用でき、例えば、


<html>
　<body>
　　<script src="/system/sling.js"></script>
　　<script>var node=Sling.getContent("/content/mynode");</script>
　　<h1><script>document.write(node.title);</script></h1>
　</body>
</html>


とすることで、先ほどの ESP の例と同じ表示が得られます。

別のコンテンツの描画内容のインクルード

別なコンテンツを描画した内容をインクルードすることもできます。
以下のファイルを header.esp として保存し、


<div>
　<p style="color:blue;">
　　<%= currentNode.headline %>
　</p>
</div>


先ほどと同様に、

curl -X MKCOL http://admin:admin@localhost:8080/apps/foo/header/
curl -X PUT -d @header.esp http://admin:admin@localhost:8080/apps/foo/header/html.esp

でアップロードします。
その後、

curl -F”sling:resourceType=foo/header” -F”headline=some header” http://admin:admin@localhost:8080/content/header

として、コンテンツを作成します。

html.esp も以下のように修正します。


<html>
　<body>
　　<div id="header">
　　　<% sling.include("/content/header"); %>
　　</div>
　　<h1><%= currentNode.title %></h1>
　</body>
</html>


修正後、http://localhost:8080/content/mynode.html へアクセスすると、以下のような表示になります。

インストール

今回は、Archiva 1.2 Standalone のインストールについて紹介します。

まず、Apache Archiva から Archiva 1.2 Standalone をダウンロードします。

ダウンロード後、保存したディレクトリに移動し、

unzip apache-archiva-1.2-bin.zip
cd apache-archiva-1.2/bin/
./archiva console

で、起動することができます。./archiva console で起動した場合、ログが標準出力に表示されます。停止はCtrl-C で行うことになります。

また、./archiva start でも起動させることができます。その場合は、./archiva stop で停止します。この場合ログは、$ARCHIVA_BASE/logs 以下に出力されます。

その他、詳細な設定は、~/.m2/archiva.xml、もしくは、$ARCHIVA_BASE/conf/archiva.xml で行うことができます。

起動後、http://localhost:8080/archiva/にアクセスすることで、Archivaが動いていることを確認できます。以後、ローカルで動かしているものと仮定して、紹介をしていきます。

セントラルリポジトリへのプロキシとしての利用

ここでは、Archiva をセントラルリポジトリへのプロキシとして利用し、artifactをキャッシュさせる方法について紹介します。

設定

まず、http://localhost:8080/archiva/ へアクセスし、admin としてログインします。初回アクセス時は、パスワード等の設定を求められるので、適切に設定してください。その後、必要に応じて、リモートリポジトリの登録を行ってください。今回は、リモートリポジトリとしてThe Seasar Foundation Maven2 Repositoryを登録しました。

その後、maven2がArchivaを参照するように、~/.m2/settings.xml を設定します。
以下を、settings.xml に加えます。

<settings>
　<mirrors>
　　<mirror>
　　　<id>archiva.default</id>
　　　<url>http://localhost:8080/archiva/repository/internal/</url>
　　　<mirrorOf>*</mirrorOf>
　　</mirror>
　</mirrors>
</settings>

これで、リモートリポジトリへのアクセスがArchiva 経由で行われるようになりました。詳細な設定については、ユーザーガイドを参考にしてください。

リポジトリブラウザ

キャッシュされたものについては、http://localhost:8080/archiva/browseから確認することができます。

また検索することもできます。

Apache Web Server (httpd)

• Apache Version: Webサーバ

Abdera

Atom 発行プロトコルの実装

• Abdera: IETF Atom Syndication Format (RFC 4287) および Atom Publishing Protocol (RFC 5023) の仕様の実装(機能の完全実装とハイパフォーマンスな実装と言っている)。. 現在のバージョンは 0.4.0 です(April 11, 2008)。November 25, 2008にIncubatorから卒業した。

ActiveMQ

分散メッセージングシステム

• ActiveMQ: メッセージブローカーとエンタープライズ統合パターンプロバイダーの実装。多くの多言語のクライアントとプロトコルをサポートして、エンタープライズ統合パターンと JMS 1.1 と J2EE 1.4 の機能を簡単に使える。現在のバージョンは 5.2.0(November 21, 2008)。

Ant

Javaベースビルドツール

• Ant: Javaベースのビルドツール。Makeみたいなもの。現在、1.7.1(June 27, 2008)。
• Ant Libraries: またの名をantlibs。antタスクのライブラリを作る。antのリリースサイクルからは独立している。
  • AntUnit: junitタスク
  • DotNet: .NETプロジェクトをサポート
  • SVN: Subversionサポート
• Ivy: 強力な依存関係管理。現在のバージョンは 2.0(Jan 20, 2009)。

APR

Apache Portable Runtime ライブラリ。

プラットフォーム固有の実装に対して、予測可能かつ一貫したインターフェースを提供するソフトウェアライブラリを作成およびメンテナンスする。

• apr: ポータブルなランタイムライブラリ
• apr-util: APRの関連ライブラリ
• apr-iconv: iconvライブラリのポータブルな実装

Archiva

ビルド成果物のリポジトリマネージャ

• Archiva: 個人または企業で使われるビルド成果物のリポジトリ管理をサポートする拡張可能なリポジトリ管理ソフトウェア。リモートリポジトリのプロキシ、アクセス管理、ビルド成果物の保存場所、配布、ブラウジング、レポートなどなど、いろいろな機能を提供している。現在のバージョンは1.1.3(October 9, 2008)。

Beehive

エンタープライズアプリケーション用メタデータフレームワーク

• Beehive: J2EEやStrutsの単純なオブジェクトモデルをビルドすることで簡単に開発できるようにする。アノテーションを利用することで、コード量を減らす。NetUI、Controls、Web Service Metadata(WSM)から構成される。現在のバージョンは1.0.2(2006-12-04)。

Camel

エンタープライズ統合パターンを実装するSpringベースの統合フレームワーク

• Camel: 強力なビーン統合(Bean Integration)を用いたエンタープライズ統合パターンに基づく、オープンソースの統合フレームワーク。ServiceMix、ActiveMQ、CXF、MINAなどでも利用されている。現在のバージョンは1.6.0(February 17, 2009)。

Cayenne

ツールを使ったユーザーフレンドリーなJavaのORM

• Cayenee: オプジェクトリレーションマッピング(ORM)とリモートサービスを提供するパーシステントフレームワーク。複数のデータベーススキーマから直接Javaオブジェクトを結びつけて、コミットやロールバック、SQL生成などなどを管理する。Webサービス経由でも使えるみたい。現在のバージョンは3.0M5(15 December 2008)。

Cocoon

ウェブ開発フレームワーク: 関係の分離、コンポーネントベース

• Cocoon 2.2: 関係の分離、コンポーネントベース開発をコンセプトとしたSpringベースのフレームワーク。コンポーネントパイプラインの概念で、特定の処理に特化したパイプライン上で各コンポーネントが実装されている。現在のバージョンは2.2.0(8/14/08 )。
• Cocoon 2.1: ウェブ開発フレームワーク。基本コンセプトは上記と同じ。現在のバージョンは2.1.11(5/15/08)。

Commons

再利用可能なJavaコンポーネント

• Commons Proper: 再利用可能なJavaコンポーネントのリポジトリ
  • Attributes: docletタグのようなメタ属性のランタイムAPI
  • BeanUtils: JavaのリプレクションとイントロスペクションAPIまわりを簡単に使えるようにするラッパー
  • Betwixt: Java Beans を XML ドキュメントにラッピングするサービス
  • Chain: 「リポジトリのチェーン」パターンの実装
  • CLI: コマンドライン引数パーサー
  • Codec: 一般的なエンコーディング・デコーディングアルゴリズム (phonetic, base64, URLとか).
  • Collections: Java コレクションフレームワークの拡張
  • Configuration: 様々なフォーマットに対応した設定ファイルの読み込み実現する
  • Daemon: Unix デーモンのような Java コード用代替呼び出し機構
  • DBCP: データベースコネクションプーリングサービス
  • DbUtils: JDBC ヘルパーライブラリ
  • Digester: XMLからJavaオブジェクトへのマッピングユーティリティ
  • Discovery: サービスや参照名をリソース名にマッピングすることによりリソースを配置するツール
  • EL: JSP 2.0 仕様で定義される式言語用インタプリタ
  • Email: Javaからメールを送信するライブラリ
  • Exec: Java 上の外部プロセス実効と環境管理を処理する API
  • FileUpload: サーブレットやウェブアプリ用ファイルアップロード機能
  • IO: I/O ユーティリティ群
  • JCI: Java コンパイラインターフェース
  • Jelly: XML ベースのスクリプティングと処理エンジン
  • Jexl: JSTL の式言語を拡張する式言語
  • JXPath: XPath シンタックスを仕様して Java Beans を操作するユーティリティ
  • Lang: java.lang のクラス用拡張機能を提供
  • Launcher: クロスプラットフォームのJavaアプリケーションランチャー
  • Logging: 様々なロギング API 実装のラッパー
  • Math: 軽量で自前で数学的・統計的な実装を持つコンポーネント
  • Modeler: JMX仕様互換のMBeansモデルを生成する機構
  • Net: ネットワークユーティリティとプロトコル実装群
  • Pool: 汎用的なオブジェクトプーリングコンポーネント
  • Primitives: 小さい、早い、簡単な Java プリミティブ型をサポートする型
  • Proxy: 動的プロキシを生成するライブラリ
  • SCXML: Java の SCXML エンジンを生成・維持するための状態チャートXML仕様の実装。
  • Transaction: マルチレベルロックの実装。トランザクション可能なコレクションやファイルアクセス。
  • Validator: XMLファイルでバリデータやバリデータルールを定義するフレームワーク
  • VFS: FTP、SMB,、ZIPや論理ファイルシステムを扱うためのファイルシステムコンポーネント
• Commons Sandbox: 再利用可能なJavaコンポーネントのワークスペース
  • Compress: tar、zipやbzip2 ファイルを処理する API
  • CSV: コンマ区切り値ファイルを読み書きするコンポーネント
  • Finder: Unix の find コマンドのような Java ライブラリ
  • Flatfile: フラットデータ構造を処理する Java ライブラリ
  • Functor: オブジェクトなどとして操作することが可能な機能
  • I18n: 複数の地域化テキストで構成される地域化メッセージバンドルの機能
  • Id: 識別子を生成するために使用するコンポーネント
  • Javaflow: アプリケーションの状態を記録するための実装
  • JNet: java.net API を通して動的にURLストリームハンドラを登録するライブラリ
  • Monitoring: パフォーマンスやスレッド並行実行を含む、機能を監視するJavaアプリを計測するための簡単、軽量なツールキット
  • Nabla: Javaで実装した関数の派生物を生成する自動微分クラスを提供
  • OpenPGP: OpenPGPを使用して書名・検証するインターフェース
  • Performance: マイクロベンチマーク用のフレームワーク
  • Pipeline: データオブジェクトを並行実行するキューとして設計されたパイプラインユーティリティ群
• Commons Dormant: 現在休止中のサンドボックスコンポーネントのリポジトリ
  • Cache: オブジェクトキャッシュサービス
  • Clazz: イントロスペクションとクラス操作
  • Contract: 規約ベースのプログラミング
  • Convert: オブジェクトを別のものへ変換するタスクを扱うライブラリ
  • Events: イベントの起動や処理を扱う機能追加
  • Feedparser: Java の RSS/Atom パーサー
  • JJar: Jakarta JAR アーカイブリポジトリ
  • Latka: テストに使う HTTP 機能テストスイート
  • Mapper: データマッピング技術の抽象レイヤを提供
  • Messenger: ウェブ層でJMSを処理する軽量フレームワーク
  • Resources: 国際化メッセージを定義/検索する軽量フレームワーク
  • Scaffold: ウェブアプリを構築するスカフォールド
  • ThreadPool: 非同期に処理をプール内のスレッドへ割り振る簡易コンポーネント
  • Workflow: ワークフローシステム構築用のフレームワーク
  • XMLIO: XML設定ファイルの簡易・高速インポータ

Continuum

継続的な統合・ビルドサーバー

• Continuum: エンタープライズレベルの継続的な統合サーバー。自動ビルド、リリース管理、ロールベースセキュリティ、ビルドツールの統合、ソース制御管理システム。Hudsonみたいなもの。現在のバージョンは、1.2.3(January 13, 2009)。

CouchDB

RESTful ドキュメントデータベース

• CouchDB: RESTful HTTP/JSON API を使ってアクセス可能な、分散可能、フォールトトレラントでスキーマフリーのドキュメント指向なデータベース。現在のバージョンは0.8.1-incubating(16-Aug-2008)。

CXF

サービスフレームワーク

• CXF: サービスフレームワーク。JAX-WSのような、フロントのプログラミングAPIを使用したサービスを構築する。現在のバージョンは2.0.10と2.1.4(February 10, 2009)。

DB

データベースアクセス

• DdlUtils: DDLファイルを処理する、便利なコンポーネント。現在のバージョンは1.0(28/Jul/07)。
• Derby: Javaで実装されたリレーショナルデータベース。現在のバージョンは10.4.2.0(05-September-2008)。
• Java Data Objects (JDO): データベース内の永続データへのアクセスを提供。仕様として、JSR 12 と JSR 243 がある。現在のバージョンは2.2。
• ObJectRelationalBridge: O/Rマッピングツール。現在のバージョンは 1.0.4(12/2005)。
• Torque: O/Rマッパー。現在のバージョンは 3.3(29 February 2008)。

Directory

Apacheディレクトリサーバ

• ApacheDS: Javaで記述された 組み込みディレクトリサーバ。LDAPv3 互換、Kerberos 5 と Change Password Protocol をサポート。現在のバージョンは1.5.4(September 18, 2008)。
• TripleSec: 強力なアイデンティティ管理ソリューション。認証、承認、監査の管理を集中する管理サーバ。現在はリリースなし。
• Studio: LDAPクライアントプラットフォーム。Eclipse RCP アプリで構成される。現在のバージョンは、1.3.0(November 24, 2008)。

Excalibur

コンポーネントやサービス管理アクセスに関連した組み込みソフトウェアライブラリ

• Excalibur: 軽量、組み込み可能な IoC コンテナ。現在のバージョンは2.2.3(5 Jul 2007)。
• Fortress: Avalon コンテナ作成のサポートをするフレームワーク。(もっと読まないとExcaliburとの関係がよくわからん…)

Felix

OSGi フレームワークおよびコンポーネント

• Felix: OSGi 関連技術を提供・サポートするフレームワークやサービスを含んだ、OSGi R4 サービスプラットフォームの実装。サブプロジェクトがいろいろとある(サブプロジェクトというよりコンポーネント?)。現在のバージョンは1.4.1(December 24, 2008)。

Forrest

複数の情報もとのドキュメントを集約、関連の分離した出版フレームワーク

• Forrest: 入力をいろいろなソースからさまざまな形式へ変換することが可能なパブリッシングフレームワーク。現在のバージョンは0.8(2007-04-18)。

Geronimo

Java2, Enterprise Edition (J2EE) コンテナ

• Geronimo: Java EE 5 アプリケーションサーバ。現在のバージョンは2.1.3(2008-09-15)。
• Development Tools
  • Geronimo Eclipse Plugin (GEP): Eclipse プラグイン。
  • JBoss to Geronimo Migration Tool (J2G): JBossアプリケーションサーバやJ2EEアプリからの移行ツール。
• Sample Applications: サンプルアプリ。
• GBuild: ビルド環境?
• GShell: リッチなコマンドラインアプリ構築のフレームワーク。
• XBean: サーバベースのプラグイン。
• Yoko: 頑健かつはいパフォーマンスのCORBAサーバ。

Gump

オープンソースプロジェクトの継続的インテグレーションツール。

• Gump: 継続的インテグレーションツール。Ant、Maven、他のビルドツールをサポートする Python で記述される。

Hadoop

分散コンピューティングプラットフォーム

• Hadoop Core: メインのサブプロジェクト。分散ファイルシステム(HDFS)を提供し、MapReduce をサポートする。
• HBase: Hadoopデータベース。
• Pig: 並列計算用の高レベルデータフロー言語と実行のフレームワーク。現在のバージョンは0.1.1(5 December, 2008)。
• ZooKeeper: 高可用性および信頼性のシステム。分散アプリが重要な共有状態の更新を保存・仲介する。
• Hive: データのまとめ、特別な問い合わせ、データ集合の解析を提供するデータウェアハウスのインフラ。

Harmony

Java SE のオープンソース実装

• Harmony: Java SE プロジェクト。現在のバージョンは 5.0 M8(2008-11-20)。

HiveMind

サービスおよび設定のマイクロカーネル

• HiveMind: サービスおよび設定のマイクロカーネル。IoC または軽量コンテナ。現在のバージョンは1.1.1。

HttpComponents

低レベルHTTPコンポーネントのツール群

• HttpCore: 小さなサイズでクライアントまたはサーバサイドのHTTPサービスを構築することに利用できる、低レベルHTTPトランスポートコンポーネント群。現在のバージョンは4.0。
  • HttpCore NIO: ノンブロッキングIOの拡張コンポーネント。
• HttpClient: HttpCore の上位で標準のHTTPクライアントのモジュール。現在のバージョンは4.0 beta2。
  • HttpMime: mime4j ライブラリを拡張するモジュール。

iBATIS

Javaと.NET用のSQLデータマッパー

• iBatis: Java、.NET アプリのデータマッパー(Ruby/Rails版もあるみたい)。簡易さが特徴。現在のバージョンは1.2.1(December 22, 2008)。
  • Ibator: iBatis のコード生成。

Incubator

新しいプロジェクトの管理

• Bluesky: 遠距離学習ツール。
• Cassandra: 分散ストレージシステム。
• Click: Java EE ウェブアプリフレームワーク。
• Droids: 知的なスタンドアローンロボットフレームワーク。
• Empire-db: データ永続コンポーネント。
• Etch: ネットワークサービスを構築・利用するクラスプラットフォーム、言語非依存のフレームワーク。
• ESME: 共有＆メッセージングプラットフォーム。
• Hama: Hadoopベースの並列マトリックス計算パッケージ。
• Imperius: ルールベース管理ポリシーエンジン。
• JSPWiki: JavaベースWikiエンジン。
• Ki: セキュリティフレームワーク。
• Log4php: PHP用ロギング。
• Lokahi: ApacheやTomcatの管理コンソール。
• Lucene.Net: .NET用Lucene
• Olio: Web 2.0 評価ツールキット。
• OpenWebBean: JSR 299 の実装。
• PDFBox: PDFライブラリ。
• PhotArk: フォトギャラリーアプリ。
• Pivot: リッチインターネットアプリをJavaで作るプラットフォーム。
• RAT: リリース物のチェックツール。
• RCF: JSFコンポーネントライブラリ。
• River: Jini技術の実装。
• Sanselan: Javaベースの画像処理ライブラリ。
• Shindig: OpenSocialコンテナ。
• Sling: HTTPリソースの描画をモジュール化することを元にしたコンテンツ指向なウェブアプリフレームワーク。
• Stonehenge: SOAやWebサービス用相互運用シナリオ群。
• Tashi: クラウドコンピューティングのインフラ。
• Thrift: 言語間の直列化およびRPCフレームワーク。
• UIMA: 非構造なデータ解析用フレームワーク。
• VCL: 仮想イメージを実行する仮想コンピューティングラボフレームワーク。
• WSRP4J: WSRPの実装。
• XAP: Ajaxアプリを構築するための宣言的フレームワーク。

Jackrabbit

Java用コンテンツリポジトリ

• Jackrabbit: JSR 170のJCR用コンテンツリポジトリの実装。現在のバージョンは1.5.3(February 27, 2009)。

Jakarta

サーバサイド Java

• BCEL: バイトコード技術ライブラリ。現在のバージョンは5.2。
• BSF: Javaアプリ内でサポートするスクリプト言語群を提供するビーンスクリプティングフレームワーク。現在のバージョンは3.0 beta2(November, 9, 2007)。
• Cactus: サーバサイドJavaコードのユニットテスト用テストフレームワーク。現在のバージョンは1.8.2。
• ECS: HTML 4.0 や XML をサポートする様々なマークアップ言語用の要素生成する Java API。現在のバージョンは1.4.2。
• JCS: Javaで記述された分散キャッシュシステム。現在のバージョンは1.3(2007-06-05)。
• JMeter: 機能的な動作の負荷テストやパフォーマンス測定向けに作られたJavaデスクトップアプリ。現在のバージョンは2.3.2。
• ORO: Perl5互換の正規表現を提供するテキスト処理の Java クラス群。現在のバージョンは2.0.8。
• Regexp: Javaで実装された正規表現パッケージ。現在のバージョンは1.5。
• Taglibs: JSPタグライブラリ。
  • Application タグリブ
  • Benchmark タグリブ
  • DateTime タグリブ
  • DBTags タグリブ
  • Log タグリブ
  • Mailer タグリブ
  • Page タグリブ
  • Random タグリブ
  • RDC (Reusable Dialog Components) タグリブ
  • Regexp タグリブ
  • Request タグリブ
  • Response タグリブ
  • Session タグリブ
  • Standard 1.0 タグリブ
  • Standard 1.1 タグリブ
  • String タグリブ
  • XSL タグリブ

James

Java メールエンタープライズサーバ

• Server: Java の SMTP/POP3 メールサーバおよびNNTPニュースサーバ。現在のバージョンは2.3.1(29 April 2007)。
• Mailet: メール処理エージェント。現在のバージョンは2.4。
• jSPF: SPFの実装。SPF はSender Policy Frameworkとして知られる。メールのなりすましを検出するように設計される。現在のバージョンは0.9.6(Apr/2008)。
• Mime4j: RFC 822やMIMEフォーマットのメールメッセージストリームのパーサを提供する。現在のバージョンは0.6。
• jSieve: RFC 3028のSieveメールフィルタ言語の実装。現在のバージョンは0.2(Aug/2008)。
• Postage: メールサーバ上のメールトラフィックを生成するJavaアプリ。

Labs

Apache Software Foundation の先進的な研究所

• Agora: メーリングリストを可視化するアプリ。
• Apiary: ApacheConデータベースのインターフェース。
• BaDCA: 証明書の認証局?
• BananaDB:ファイルシステム上のハッシュテーブル。
• Boardcast: Apacheプロジェクトのボードレポート生成を簡単にする。
• Discordia: ライセンスデータベースの構築。
• Dislocate: 分散サービス配置。
• Droids: 知的クロールフレームワーク。
• Dungeon: コンパイラ、ツール、文法の実装。
• dworker: 分散タスク実行システム。
• ErrBase: I18nメッセージ用のコードを切り出すツール。
• fluid: サービスデータオブジェクトの JPA 拡張。
• JaxMas: JAXR の実装。
• Juuso: OWLのRDF ストア。
• Magma: AOP。
• MBoxer: メールトラフィックの解析や統計を提供する。
• Noggit: JSONストリームパーサ。
• Nucleus: Atomベースのコンテンツストレージフレームワーク。
• Pinpoint: log4j のログ収集ツール。
• Pulse: Apacheメーリングリスト統計の記録パッケージ。
• Speedyfeed: Atomフィードのコンテンツを最適化するユーティリティ。
• Vysper: XMPPサーバ。
• Web Architecture: WWW のプロトコルを指定する実験?

Lenya

コンテンツ管理システム

• Lenya: Java/XMLコンテンツ管理システム。リビジョン管理、マルチサイト管理、スケジュール公開、検索、WYSIWYGエディタ、ワークフローの機能を持つ。現在のバージョンは2.0.2。

Logging

様々な言語のロギングシステム

• Chainsaw: Log4j の関連アプリ。GUIベースのログビューア(みたい)。
• log4cxx: C++ 用ロギングフレームワーク。現在のバージョンは、0.10.0。
• log4j: Java用ロギングフレームワーク。現在のバージョンは、1.2.15。
• log4net: Log4j の .NET 版。現在のバージョンは、1.2.10。

Lucene

検索エンジンライブラリ

• Lucene Java: Javaベースのインデック化と検索技術。現在のバージョンは、2.4.1(9 March 2009)。
• Nutch: Lucene Java ベースでウェブ検索アプリ。
• Lucy: Lucene Java の C 移植版。
• Solr: Lucene Java を利用したハイパフォーマンス検索サーバ。
• Lucene.Net: Lucene Java の C# 移植版。
• Tika: 既存のパーサライブラリを利用して様々なドキュメントからメタデータや構造化テキストコンテンツを検出・抽出するツールキット。
• Mahout: 機械学習ライブラリ。
• PyLucene: Lucene Java にアクセスする Python 拡張。

Maven

ソフトウェアプロジェクト管理および総合開発ツール

• Ant Tasks: Ant 内から Maven のアーチファクト処理機能を活用する。
• Doxia: 静的や動的なコンテンツを生成するコンテンツ生成フレームワーク。APT(Almost Plain Text), LaTeX, TWiki, XDoc, XHTML などをサポート。
• JXR: ソースコードのクロスリファレンスを生成する。
• Maven 1.x: ソフトウェアプロジェクト管理および総合開発ツール。現在のバージョンは1.1(25th June 2007)。
• Maven 2: ソフトウェアプロジェクト管理および総合開発ツール。現在のバージョンは2.0.10(17 Feb 2009)。
• Mercury: Mavenアーチファクトサブシステムを置き換える。既存のトランスポートのHTTP/HTTPS/DAV/DAVS 部分の置き換え。
• Plugins: プラグインたち。
• SCM: SCM操作をするための共通API。
• Shared Components: 共有コンポーネント。
• Surefire: テストフレームワークプロジェクト。
• Wagon: トランスポートの抽象化。

Mina

ネットワークアプリケーション用多目的インフラ

• MINA: ネットワークアプリケーションフレームワーク。現在のバージョンは2.0.0 M4。
• FtpServer: 100% pure Java FTP サーバ。現在のバージョンは1.0.0(February 26, 2009)。
• AsyncWeb: 非同期のサービスを簡単に提供できる。(たぶん、HTTP系のサービスを非同期で簡単に提供しやすいのかも)
• SSHD: SSHサポート。

MyFaces

JavaServer(tm) Faces 実装とコンポーネント

• Core JSF-1.1: JSF 1.1 の実装。現在のバージョンは1.1.6。
• Core JSF-1.2: JSF 1.2 の実装。現在のバージョンは1.2.6。
• Trinidad: コンポーネントライブラリ。現在のバージョンは1.0.10。
• Tobago: コンポーネントライブラリ。現在のバージョンは1.0.20(26-10-08)。
• Tomahawk: コンポーネントライブラリ。現在のバージョンは1.0.0(February 26, 2009)。
• Sandbox: 実験的なコンポーネントライブラリ。現在のバージョンは1.0.0(February 26, 2009)。
• Orchestra: 小さなライブラリ。
• Portlet Bridge: JSR 301 の実装。
• ExtVal: JSF指向なバリデータ。

ODE

サービス構成を通して、BPM、プロセス編成、ワークフローを提供する

• ODE: WS-BPEL標準に基づき記述されるビジネスプロセスを実行する。プロセス定義によって指定される、Webサービス、メッセージの送受信、データ操作の処理、エラー復帰などがある。現在のバージョンは、1.2(2008-07-03)。

OFBiz

企業向け自動化ソフトウェア

• OFBiz: ERP、CRM、E-Business、E-Commerce、SCM、MRP、CMMS/EAMなどが含まれる。
  • e-コマース
  • カタログ管理
  • 販売・価格管理
  • 注文管理
  • 顧客管理
  • ウェアハウス管理
  • 流通
  • 会計
  • 製造元管理
  • 作業成果管理
  • コンテンツ管理
  • POS

OpenEJB

EJBコンテナシステムとサーバ

• OpenEJB: 組み込み可能で軽量な EJB 3.0 の実装。現在のバージョンは、3.1(November 5, 2008)。

OpenJPA

Java用オブジェクトリレーションマッパー

• OpenJPA: EJB 3.0 の永続部分の実装(JPAの実装)。現在のバージョンは、2.0 iteration 3(February 19, 2009)。

Perl

Perlを利用した動的なウェブサイト向け

• mod_perl: Apache HTTP サーバとPerlプログラミング言語の機能を引き出します。現在のバージョンは、2.0.4(April 16, 2008)。

POI

OLE 2 複合ドキュメント用 Java API

• POIFS: OLE 2 複合ドキュメント形式の Java 実装。
• HSSF: Excel 97(-2007)ファイル形式のJava実装。
• XSSF: Excel 2007 OOXML(.xlsx)ファイル形式のJava実装。
• HWPF: Word 97(-2007) ファイル形式のJava実装。.docx はサポートしない。
• HPSF: Microsoft 形式ドキュメントのプロパティを処理する。
• HSLF: Powerpoint 97(-2007) ファイル形式のJava実装。.pptx はサポートしない。
• HSMF: Outlook MSG フォーマットの Java 実装。
• HDGF: Visioファイル形式のJava実装。
• HPBF: Microsoft Publisher ファイル形式の Java 実装。
• OpenXML4J: ECMA-376のOpen Packaging Convertion(OPC)のJava実装。
• Ruby Bindings: Rubyへの拡張。
• POI Utils: 汎用的なユーティリティのクラス。
• Text Extraction: サポートするフォーマットからテキスト抽出を提供する。

Portals

ポータル技術

• Jetspeed 2: JSR 168/286のポータルサーバの実装。
• Bridges: ポータルサーバーで利用可能な汎用的に利用できるライブラリ。
• Pluto: JSR 168/286のリファレンス実装。
• Applications: 有用なポートレット。
• WSRP4J: WSRPの実装。
• Jetspeed 1: ポータルサーバの実装。Turbineベースの独自実装。

Qpid

Multiple language implementation of the latest Advanced Message Queuing Protocol (AMQP)

最新AMQPの多言語実装

• Qpid: AMQP(Advanced Message Queuing Protocol)の実装。トランザクション管理、キュー、分散、セキュリティ管理、クラスタリング、フェデレーション、異種プラットフォームサポートなど。

Roller

Javaブログサーバ

• Roller: マルチユーザとグループに対応するブログサーバ。現在のバージョンは、4.0.1。

Santuario

JavaとC++のXML Security

• XML Security: JavaとC++の実装がある。

ServiceMix

エンタープライズサービスバス

• ServiceMix: SOA(Service Oriented Architecture)やEDA(Event Driven Architecture)の機能を結びつける、JSR 208のJava Business Integration(JBI)のESB(Enterprise Service Bus)のビルド。

Shale

JSFベースのウェブアプリフレームワーク

• Shale: JSFを基盤とした、ウェブアプリケーションフレームワーク。
  • Application Controller: Shale固有のView Contorller機能を提供。
  • Clay: 既存のコンポーネントツリーにサブツリーを追加することができる。
  • Core Library: コアライブラリ。
  • Dialog Manager: 複数のHTTPリクエストでユーザとの「会話」を定義する機能
  • Dialog Manager (Basic Implementation)
  • Dialog Manager (SCXML Implementation)
  • Remoting: AJAXスタイルのアプリ用でサーバサイドさポート。
  • Spring Integration: Springとの統合。
  • Test Framework: Mockオブジェとなど。
  • Tiger Extensions: アドオンライブラリ。
  • Validator Support
  • View Controller

SpamAssassin

SPAMを識別するメールフィルタ

• SpanAssassin: SPAMフィルタ。

STDCXX

Apache C++ 標準ライブラリ

• STDCXX: C++標準ライブラリ。

Struts

Javaウェブアプリを構築するためのモデル２フレームワーク

• Struts: ウェブアプリフレームワーク。
• Struts 2: ウェブアプリフレームワーク。元々はWebWork 2。

Synapse

エンタープライズサービスバスおよび仲介フレームワーク

• Synapse: 簡易、軽量、高性能な ESB。1.2 リリースでは、FIX(Financial Information eXchange)をサポートする。

Tapestry

コンポーネントベースのJavaウェブアプリケーションフレームワーク

• Tapestry: Javaで実装された、動的、ロバスト、高スケーラブルなウェブアプリのオープンソースフレームワーク。現在、5.0が安定版。

TCL

TCLを使用した動的ウェブサイト

• mod_tcl: TCLのApacheモジュールを記述可能。
• Rivet: mod_dtclの次世代版。
• Websh: ウェブアプリを開発するラピッド開発環境。

Tiles

ウェブアプリケーションユーザーインターフェース用テンプレートフレームワーク。

• Tiles: ウェブアプリのUIの開発を簡易化するためのテンプレートフレームワーク。現在のバージョンは2.1.2(Feb 7, 2009)。

Tomcat

JavaサーブレットとJSPのコンテナ

• Tomcat: ServletとJSPの実装。

Turbine

Javaサーブレットウェブアプリケーションフレームワークｋと関連コンポーネントライブラリ

• Turbine: 素早くウェブアプリを作ることを可能にするServletベースのフレームワーク。MavenやTorqueなどのプロジェクトを生み出していった。

Tuscany

SCAベースサービス構成フレームワーク

• Tuscany: SCA(Service Component Architecture)標準をベースに、包括的なインフラを提供することで、SOAソリューション開発のタスクを簡易化する。

Velocity

Javaベースのテンプレートエンジン

• Engine: VelocityはJavaベースのテンプレートエンジンです。Javaのオブジェクトを参照する強力なテンプレート言語です。
• Tools: Velocityサブプロジェクトの集合
  • GenericTools: Velocityコンテキストに追加可能なツール。
  • VelocityView: ウェブアプリ用テンプレート描画のサーブレット(VelocityViewServlet)。
  • VelocityStruts: Strutsフレームワークで構築されたウェブアプリ用表示層としてのテンプレートエンジン。
  • Example Application: サンプルアプリ。
  • Documentation: テンプレートデザイナ向けのツール。現在、やる人なし。
• Anakia: XML 変換ツール。Ant+XSLでXMLを処理する代替方法な感じ。
• Texen: テキスト生成ユーティリティ。TorqueがSQLやO/Rマッピングのコードを生成するのにTexenTaskのサブクラスを利用。
• DocBook: オンライン表示・印刷用文書生成。
• DVSL: Declarative Velocity Style Languageの略。XSLTみたいなもの(?)。

Wicket

コンポーネントベースのJavaウェブアプリケーションフレームワーク

• Wicket: マークアップとロジックを分離やPOJOデータモデルなどで、ウェブアプリ開発をシンプルかつ楽しくする。

Web Services

• Axis (1.X): SOAPの実装。
• Axis2: Axis 1.x を再設計して、SOAP 1.2やRESTなどをサポート。
• WS-Commons: Webサービス関連の再利用可能なコンポーネント群。
• JaxMe: JAXB の実装。Java/XMLバインディングの仕様に基づく。
• jUDDI: UDDIの仕様の実装。
• Kandula: Axisベースの WS-Coordination、WS-AtomicTransaction および WS-BusinessActivityプロトコルの実装。
• Muse: WS-ResourceFramework (WSRF)、WS-BaseNotification (WSN) および WS-DistributedManagement (WSDM) の仕様の実装。
• Sandesha: Axis 用の WS-ReliableMessaging の実装。
• Scout: JSR 93 (JAXR) の実装。
• Synapse: Webサービスベースのスケーラブルかつ分散可能なサービス仲介フレームワークの実装。
• Tuscany: SOAベースシステムの配備を簡易化するインフラ。
• Woden: WSDLドキュメントを操作するJavaクラスライブラリ。
• WSIF: Webサービスを起動する簡易Java API。
• WSS4J: OASIS Web Services Security (WS-Security) の実装。
• XML-RPC: XML-RPCの実装。リモートプロシージャコールを実装する XML over HTTP で使う一般的なプロトコルに対応。

Xalan

JavaとC++のXSLT プロセッサ

• Xalan C++: XMLドキュメントをHTML、テキストや他のXMLに変換するXSLTプロセッサの実装。
• Xalan Java: XMLドキュメントをHTML、テキストや他のXMLに変換するXSLTプロセッサの実装。JAXP 1.3 の javax.xml.transform のインターフェースを実装している。

Xerces

Java、C++とPerlのXMLパーサ

• Xerces C++: C++版のXMLを解析、検証、操作するプロセッサ。
• Xerces2 Java: Java版のXMLを解析、検証、操作するプロセッサ。
• Xerces Perl: Perl版のXMLを解析、検証、操作するプロセッサ。
• XML Commons: XMLコンポーネントおよびユーティリティ群。

XML

ウェブのXMLソリューション

• AxKit: mod_perlでのXMLベースウェブ出版サーバ。
• Crimson: Sun Project X パーサからの Java のXMLパーサ。(休止状態)
• Xang: JavaScriptによる、動的なサーバページのRapid開発。(休止状態)
• Xindice: ネイティブXMLデータベース。

XMLBeans

XMLとJavaのバインディングツール

• XMLBeans: XMLをJavaへ結びつける技術。

XML Graphics

XMLを画像への変換

• Batik: Javaによる、SVG(Scalable Vector Graphic)用ツールキット。
• FOP: Javaによる、XSL-FO用の出力フォーマッターと描画。
• XML Graphics Commons: JavaのBatikとFOPで利用されるさまざまなコンポーネントのライブラリ。

Attic

活動していないプロジェクトのリポジトリ

http://software.n2sm.co.jp/en/

グローバルにも普及を目指していこうと思いますので、
よろしくお願いいたします。

http://software.n2sm.co.jp/ja/n2collabo.html

現在、1.0 Public Review 1 というリリースで、多くの方に
試していただいて、そのフィードバックを元に改善していく
ためのリリースです。JSR 168 に準拠していて、ソースコードも
http://pal.sourceforge.jp/
で Apache ライセンスで公開していますので、ぜひ、興味を
お持ちの方はいじっていただければ面白いかと思います。

引き続き、地道に機能強化をしていこうと思いますので、
よろしくお願いいたします。