nigoblog

技術系会社のCEOブログ~私的編~

aws

ビッグデータ取り扱いまでの流れ3 自動化編

今回はhiveの動作を自動化させる方法に書いていきます。前回の記事 ビッグデータ取り扱いまでの流れ2 解析編 - nigoblog ではsshでEMRのmasterインスタンスにログインし、hiveの動作を行います。基本的にはこの作業をrailsで自動化させます。(もっとうまいや…

AWS ELB配下にあるインスタンスに対しserverspecでテスト・管理する方法

serverspecはよく使っているのですが、ある状態をチェックしたいとき、その自動化に役立ちます。例としてcrondやnginxのステータス確認などがそれにあたるかと思います。 これまでは ssh '対象ホスト' /etc/init.d/crond statusのようにやっていました。 こ…