読者です 読者をやめる 読者になる 読者になる

nigoblog

スタートアップのCMOブログ

ビッグデータ取り扱いまでの流れ3 自動化編

今回はhiveの動作を自動化させる方法に書いていきます。

前回の記事
ビッグデータ取り扱いまでの流れ2 解析編 - nigoblog
ではsshでEMRのmasterインスタンスにログインし、hiveの動作を行います。

基本的にはこの作業をrailsで自動化させます。(もっとうまいやり方があると思うが…)

というわけで早速やり方を見ていきます。

net/sshの利用

net/sshというgemを利用します。
Net::SSH、Net::SCP RubyでSSH/SCPコマンドを実行 [Ruby] - 酒と泪とRubyとRailsと
詳しい使い方はこちらの記事に。

このように利用します

require 'net/ssh'

Net::SSH.start(HOST, USER, opt) do |ssh|
    ssh.exec!("[何かしらのコマンド]") do |channel, stream, data|
      p data if stream == :stdout 
      p data if stream == :stderr
    end
end

ここでHOSTはEMR masterのpublic DNS
USERはhadoop, optは

opt = {
 keys: [公開鍵のパス]
 port: [sshのポート(普通は22)]
}

と定義しておきます。

感のいい方ならお気づきかもしれませんが、[何かしらコマンド]に

hive -e "[hiveのhql]"

とすることでhiveのコマンドを実行出来ます。

確認方法

テストコードを書ければ問題ないのですが、hiveを使うこともあってかなりしんどいです。
なので手動テストの方法を書いていきます。
先ほどのコードは

class Hoge < ApplicationController
  def fuga
     [hiveを実行する処理]
  end
end

のようにあるクラスのインスタンスメソッド内で行っているとします。

Railsのルートで

rails c

とするとirbが立ち上がります。
そこで

hoge = Hoge.new
hoge.fuga

とすると処理が走ります。
これで確認していきます。

(将来的にはhiveのテストコードを作りたい。hive_spec的な)

自動化

これはwheneverというgemを利用します。
wheneverの詳しい使い方はこちら
Wheneverは導入が超簡単なcrontab管理ライブラリGemです![Rails] - 酒と泪とRubyとRailsと
(本日2度目の引用です。いつもありがとうございます。(面識はありませんが笑))

gemをインストールすると
config/schedule.rbに

every '00 * * * *' do
  runner "Hoge.new.fuga"
end

とします。
なんとこれだけでオッケー。内部的にはcrontabの内容が書き換わっています。
確認には

crontab -e

で。
(cron系をやったことない人は何も知らずにこれをやると危険というかダメな気がするのでcronについて調べてみましょう)

というわけでhiveの処理を自動化しました。
あとはS3の内容を取得してRDS等、データベースに書き込む処理を同メソッド内に記述すればオッケー。

ここまででビッグデータの取り扱いまでの流れを書いていきました。
いずれ、得られたデータを解析するシステムについても書いていこうと思います。