最近スキルの幅が広がったかなと思います。理由としては ビジネスで要件がでる。 -> とある技術を使わなければいけない。 -> その技術を理解する&使う。こういうフローが経営に近くなるほど起こりやすいのでスキルの幅がかなり広がっています。最近で身に付…

今回はhiveの動作を自動化させる方法に書いていきます。前回の記事 ビッグデータ取り扱いまでの流れ2 解析編 - nigoblog ではsshでEMRのmasterインスタンスにログインし、hiveの動作を行います。基本的にはこの作業をrailsで自動化させます。(もっとうまいや…

今回は収集したデータをどう解析していくか書いていきます。解析にはHadoopを利用します。Hadoopの動作環境はAmazon EMR (Elastic MapReduce)を使います。 fluentdのインストール td-loggerでアプリケーションログの吐き出し td-loggerで受け取ったログをS3…

最近ビッグデータを取り扱ってきているので、その流れを記録しようかと思います。 Ruby on Railsで構築していますが、一部以外は別の言語やフレームワークでも利用できます。ビッグデータの定義ですが、この本の帯の「データサイズが悩みの種ならそれはもう…