nigoblog

技術系会社のCEOブログ~私的編~

hadoop

ビッグデータ取り扱いまでの流れ2 解析編

今回は収集したデータをどう解析していくか書いていきます。解析にはHadoopを利用します。Hadoopの動作環境はAmazon EMR (Elastic MapReduce)を使います。 fluentdのインストール td-loggerでアプリケーションログの吐き出し td-loggerで受け取ったログをS3…

ビッグデータ取り扱いまでの流れ1 収集編

最近ビッグデータを取り扱ってきているので、その流れを記録しようかと思います。 Ruby on Railsで構築していますが、一部以外は別の言語やフレームワークでも利用できます。ビッグデータの定義ですが、この本の帯の「データサイズが悩みの種ならそれはもう…