unready-made blog: bdutil

先週の金曜日(2016/10/7)に渋谷道玄坂のロフトワークさんで行われたGCPUG Beginners Tokyo #1でLTしてきました。

当日は、GASエキスパートのサントリーさん（@soundTricker318）が、メインのハンズオンを担当され、その後の懇親会のLTセッションの一人として参加しました。

GCPを使い始めた方が対象のハンズオンということで、bdutil を使ってクラスター構築など試してはどうでしょうか？という内容で話してきました。

資料は、SpeakerDeckで公開しています。

bdutilとDataProc

サントリーさんに、「bdutilの日本語情報はほとんどないので貴重なLT笑」とおっしゃっていただいたり、LTの後には、DataProcとbdutilどちらがいいの？という話にまで発展したりと会を盛り上げるのに多少なりとも役に立ったようでよかったです。

その時の話をまとめると、Hadoopクラスタをマネージド的に使いたい時はDataProcで、Iaas的に使いたい時は、bdutilが良いというところです。

DataProcは、Googleの各種サービスをフル活用したクラスターを立ち上げることができ、スムーズにアプリが完成するのに対し、bdutilは、簡単にディストリビュータの提供するHadoopクラスタが立ち上がりますが、それを使って何をどうするかは、ユーザに任されています。

Hadoopsディストリビュータのそのままのクラスタが欲しい時や、既存のDataProcでは、対応できないレベルのチューニングやアーキテクチャを採用したい時はbdutilの方が向きそうです。

ハンズオンのクオリティが半端なかったです

ハンズオンの資料(一部GCPの入門用の資料参照)が非常に秀逸でした。

Google Cloud Platform ハンズオン

簡単スタートアップガイド

多少画面が変わっているとかはあったのですが、とにかく１ステップ１ステップが丁寧で、はまりようがないと言っていいくらいわかりやすいものでした。

今回のテーマである、GoogleCloudComputingの他にBigQueryなども含んだ資料ですが、総ページ数は、300ページをに迫る分量です。

チューターとして待機していたのですが、サントリーさんのインストラクションのうまさもあって、ほとんど出番がない状態でした。

新しい技術をスムーズに導入するのは、相応のコストがかかりますが、しっかりやれば、必ずしも難しいものではないと思えました。

GCPUGの皆様のおかげです！

GCPUGさんのイベントにスタッフ参加したのは初めてでしたが、初心者の方でも気楽に参加できるゆるい雰囲気があってよかったです。

また、当日参加された方向けの無料クーポン（60日無料トライアルとは別のものです）が用意されていたりと至れり尽くせりでした。

GCPUGの皆様、特にこの会の発起人の安藤さんのおかげで、GCPを使ってみようという方がまた増えたと思います！

Hadoop クラスタ管理ツール ambari を試す

ambariを使ったhadoopクラスタ構築は、1からHadoopクラスタを構築するよりもかなり楽ですが、実際には色々とハマリどころがあります。ネット上に情報も少ないので、意外と手間取ります。

Hadoopクラスタ管理ツールのAmbariをGCPで試す場合、最もおすすめの方法は、bdutilです。

HORTONWORKSとGCP謹製のambari構築用エクステンションが用意されています。

GCPを日常的に使っている方ならば、ごく簡単にambariを試すことができます。

bdutil HDP

手順

基本は、上記の通りですが、いろいろと説明が含まれてるので、手順をまとめます。

projectIdをセットする
```
gcloud config set project ${projectId}
```

Storageでバケットを作る

gsutil mb -p ${projectId} gs://${bucketName}

bdutilをクローンする

git clone https://github.com/GoogleCloudPlatform/bdutil
cd bdutil

バケットを以下のように設定します

grep BUCKET= bdutil_env.sh
CONFIGBUCKET=${bucketName}

ambari.confを確認する
ambari.conf

# チェックすべき箇所は、ワーカー数(+1マスターが立ち上がる)と、マシンタイプです。
デフォルトで起動すると、月間110ドル程度のインスタンスが5個立ち上がります。
NUM_WORKERS=4 
GCE_MACHINE_TYPE='n1-standard-4'

deployする

# bdutil以下で。
./bdutil -e ambari deploy

SSHトンネルを設定する

gcloud compute config-ssh
ssh -L 8080:127.0.0.1:8080 hadoop-m

管理画面にアクセスする
```
open http://localhost:8080/
```

インスタンスにアクセスする

gcloud compute ssh hadoop-m
# ここでHadoopクラスタを使うことができます

deleteする

# bdutil以下で。
./bdutil -e ambari delete

公式ambari をDebian 8に入れる時に

ambari 2.2.2 install ambari 2.2.2 は、Debian7のリポジトリしか載っていませんが、Debian8でもそのままインストールできます。

BigQueryや、トレジャーデータなど、フルマネージドのサービスでは、ニーズに合わないということで、自前のクラスタを立ち上げる場合に、このような管理ツールはかなり役立ちます。

unready-made blog

GCPUG Beginners Tokyo で LTしてきました。

bdutilとDataProc

ハンズオンのクオリティが半端なかったです

GCPUGの皆様のおかげです！

Hadoop クラスタ管理ツール ambari を試す

手順

公式ambari をDebian 8に入れる時に

ブログアーカイブ