tresuredataがホストしてくれるdigdag環境tresured workflowにtd connectorを実行させる

tresuredata td

tresuredataがホストしてくれるdigdag環境がtresure workflowなのだが、

docs.treasuredata.com

ユースケーストしてtresuredataにRDBからインポート -> GooogleBigquryなどにexportといった場合、 まずembulk(td connector)でデータを引っ張ってくると思う。

この時当然ながらtresurdataを使ってるのでtd connectorを呼び出したいと思うのだがなかなか情報にたどり着けなかった。

Treasure Data operators — Digdag 0.9.5 documentation

サポートに問い合わせたらdigdagのdocument内に Treasure Data operators というのがあってこれでtd connectorをよびだせる

td_load>: ./embulk_setting.yml

これで操作できる。 簡単。

ansibleのインベントリファイル（まだwip)

ansible

sshのknown_hostsのwarnを黙らせる

--ssh-common-args="-o StrictHostKeyChecking=no"

を着ける

グルーピングしたホストを指定する

-lオプションで指定する

[app_servers]
app-01

だったら

  • インベントリファイル
    • development-hosts
ansible-playbook --ssh-common-args="-o StrictHostKeyChecking=no" -i development-hosts site.yml -l app_servers

aws cliで複数の設定(IAM)使い分ける

aws aws-cli

簡単なことだけど便利

aws cliを使うとき

aws configure

で設定すると思うがこれを複数持てることを最近知った。

aws s3 ls --profile default

みたいな感じで指定できる （指定しないとdefaultが使用される）

設定するときは

aws configure --profile rob

みたいな感じで設定する。

便利。

linux vmにdiskを追加するときデバイス（disk）が何繋がってるかみたい

linux azure aws コマンド

azureとかawsみたいに仮想前提でdisk追加するときにとりあえずデバイスが見たいときは

lsblk

か 無ければ

fdisk -l

で見る。 でデバイス名や容量が見えるのでこれで確認してからfdiskなりを始める。

環境変数を操作するためのexportコマンド

bashrcとかに書くんじゃなくて一時的にセットしたい時とか、 shellscriptから操作する時とかに使う。

セットして出力する

export HOGE_APP="hogehogehoge"
export | grep HOGE
HOGE_APP=hogehogehoge

削除したい時

unset HOGE_APP

shellでの条件式

随時追記 shell

if文を書くときに高級言語よりもだいぶ癖があるので少しずつ書いていく

bracket []

[]はtestコマンドの略, if文で使いやすい

if [ -n “${HOGE_APPLICATION}” ]; then echo “hoge!” fi

-n は non zeroの略なので(1文字以上ならtrueになる）空文字チェックになる。



ブラケット前後の半角スペース必須


## double bracket [[]]

double bracketの方がsingle bracketよりも機能が充実していて&&, ||, Pattern matching, 正規表現などが使えるらしい

使えるのならとりあえずdouble bracketにしておけばいいのかな？



## 引用元

[http://qiita.com/yohm/items/3527d517768402efbcb6]