このアプリケーションに求める要件ですが、処理台数をスケールアウトした時の効果が
可視化されることです。
クラウド環境でのスケールアウト・メリットをデモンストレーションするのが目的なので、
アプリケーションの実用性は一切問いません。
アプリ実行中に処理ホストを追加した場合に、処理性能が向上したことを効果的に
デモンストレーションできるか、の一点を重視しています。
スケールアウトと書きましたが、さほど大規模なものではなく、
想定しているホストの台数は10台程度を上限と考えています。
アプリへの入力・出力の形式、Webアプリかリッチクライアントかどうか等の指定はありません。
オープンソースでLinuxベースだとうれしいですが、それも必須ではありません。
以前に、画像を加工・再描画するプログラムで、こうしたニーズに合うものがないか探しましたが、
見つけれらませんでした。
今回ここで皆さんのお知恵を拝借したく、よろしくお願いします。
Hadoop + halook はどうでしょう。
halook の「MapReduce Job Gantt chart」が、求めているものに近いのではないかと思います。
実行するプログラムは、Hadoop についてくるデモプログラムで良いと思います。
http://www.acroquest.co.jp/OSS/halook/
MapReduce Job Gantt chart
Acroquest Technology の方のプレゼン資料。
http://www.slideshare.net/acroquest/halook
halook @github
https://github.com/endosnipe/halook
このあたりは参考になりますでしょうか?
並列処理を体感してみよう
http://www.atmarkit.co.jp/fcoding/articles/parallel/01/para01b.html
ありがとうございます。Grid/HPCが性質上マッチするのは理解しているのですが、動きを視覚的にデモするいいアプリがないと思ってます。配列の演算だと視覚に訴えないので。よいアプリに関する情報があれば引き続きお待ちしています。
ありがとうございます、が、頂いたリンクの先に、具体的なアプリケーションを見つけることができませんでした。何か見落としているのでしょうか?
ありがとうございます。SGEでもいいのですが、実際のアプリケーションのアウトプットで、スケールメリットが直感的に感じられるようなものを探しています。グリッド・アプリでいいものがあれば、引き続き情報をお願いします。ポイントはベストアンサーの方にまとめて送りたいので、、すいません。
http://www.hitachi.co.jp/Prod/comp/soft1/manual/pc/d3K2243/AJSD0029.HTM
アプリではありませんが、こちらが参考になるかと思います。
ありがとうございます。ジョブが複数ホストで実行されていることは示されると思うのですが、求めているのは、処理性能が台数が増えるたびに向上することを、一目瞭然に示せるようなアプリケーションなのです。
Hadoop + halook はどうでしょう。
halook の「MapReduce Job Gantt chart」が、求めているものに近いのではないかと思います。
実行するプログラムは、Hadoop についてくるデモプログラムで良いと思います。
http://www.acroquest.co.jp/OSS/halook/
MapReduce Job Gantt chart
Acroquest Technology の方のプレゼン資料。
http://www.slideshare.net/acroquest/halook
halook @github
https://github.com/endosnipe/halook
回答ありがとうございます。遅くなり申し訳ありません。
やはり、Hadoopですかね。。10台程度でスケールすればよいので、too muchかなと思っていましたが、
halookは確かに求めているものに非常に近かったので、大変参考になりました。
ありがとうございました。
各ノードにかかっている負荷の状況を視覚化できるツールが用意されている、ということは、売り物か有名どころだろう、ということで、とりあえず売り物は除外して、Hadoop か GridGain で探そうと思ったんです。
先に Hadoop で、それっぽいツールが見つかったんで、GridGain の方は探してないんですが、そっちもありそうな気がします。
このあたりは参考になりますでしょうか?
並列処理を体感してみよう http://www.atmarkit.co.jp/fcoding/articles/parallel/01/para01b.htmlにて
それと、http://jyouhoushori.seesaa.net/category/1261346-1.htmlにて
上記をおすすめします((
アプリでも怪しいものもあるのでご注意を。
それに、ubuntuで可能です。具体的な手順もございますが、どうでしょうか。
http://d.hatena.ne.jp/MIZUNO/20080809/1218289825にて
これでどうでしょうか。ご参考になりましたら嬉しいです。
回答のまとめ?でしょうか。。
忙しかったため戻って来れず、ポイントが配分されてしまいましたが。。有効にご活用ください。
ありがとうございます。分散処理が手軽に書けるのは有意義ですが、スケールメリットのデモという面では視覚的に弱いかと。
ありがとうございます。求めている内容とはかなり:)違っていましたが、内容は非常に興味深く、ブックマークしておきました:)
下の方の回答と間違えてしまいました。Hadoopですね。ありがとうございました。
これが役に立つのではないですか?
http://oss.infoscience.co.jp/seleniumhq/index.html
あと、ここも参考になります。
http://itpro.nikkeibp.co.jp/article/COLUMN/20110322/358561/?k2
Seleniumは面白かったです。ありがとうございました。
Asakusa開発責任者の神林氏の記事は注目度が高いですね。ありがとうございました。
ありがとうございます。運用監視とAzureということで日立の十八番ですね。デモ用途にはちょっと厳しいですが、参考になりました。
回答ありがとうございます。遅くなり申し訳ありません。
2013/02/07 21:44:49やはり、Hadoopですかね。。10台程度でスケールすればよいので、too muchかなと思っていましたが、
halookは確かに求めているものに非常に近かったので、大変参考になりました。
ありがとうございました。
各ノードにかかっている負荷の状況を視覚化できるツールが用意されている、ということは、売り物か有名どころだろう、ということで、とりあえず売り物は除外して、Hadoop か GridGain で探そうと思ったんです。
2013/02/07 22:35:06先に Hadoop で、それっぽいツールが見つかったんで、GridGain の方は探してないんですが、そっちもありそうな気がします。