IAM PassRoleについて理解する(なんとなく)

AWSを使ってるとなんとなくしかわかっていないIAMのPassRole IAM: 特定の AWS サービスに IAM ロールを渡す - AWS Identity and Access Management dev.classmethod.jp dev.classmethod.jp 安定のクラメソさんと公式の一部 まず。何となくEC2とRDSで運用。み…

AWS WAFを導入するための最低限必要な知識

AWS WAF(new) 古いものはclassicと表記されている。 今回検証対象としないため対象外 いわゆるWeb Application FireWallで。 SQLインジェクションとかXSSみたいな怪しいhttpリクエストをblockしてくれたりログ出してくれたりメトリクスを出してくれたりする…

s3のVPCエンドポイント情報

基本機能 https://docs.aws.amazon.com/ja_jp/vpc/latest/userguide/vpc-endpoints.html サブネット単位で設定可能 -- 実際はRouteTable単位 インターフェースエンドポイントとゲートウェイエンドポイントがある。 s3はゲートウェイエンドポイント。 https:/…

python3.6で文字リテラルに変数を組み込むf文字列

メモ書き程度に s3のパスなんかを指定するときにディレクトリ名(擬似だが)指定するときに連結したりformatするよりもコレが便利だと思った baccket_name = "hoge-bucket" file_path = "/foo/bar/hogehoge.json" s3_path = f"s3://{baccket_name}{file_path…

AWS GlueJob(Pythoh shell)でMySQL(RDS | Aurora MySQL compatible)に接続する

なぜだかは不明だが(pythonの事がわかってないからなのか)GlueのPython実行(PythonShel)にはMySQLへの接続ライブラリが無い。 https://docs.aws.amazon.com/ja_jp/glue/latest/dg/add-job-python.html しょうがないので外部ライブラリとして作って自分のバ…

glueで開発エンドポイントを使用してdynamic dtaframe触って見たときの覚書

https://docs.aws.amazon.com/ja_jp/glue/latest/dg/aws-glue-api-crawler-pyspark-extensions-dynamic-frame.html#aws-glue-api-crawler-pyspark-extensions-dynamic-frame-select_fields # とりあえず必要そうなものと使いそうなものをimport import sys f…

AWS認定ソリューションアーキテクト アソシエイト試験に合格してきたので学習内容について

タイトルの試験に合格してきたので記録! aws.amazon.com きっかけとか動機とか 以前から興味があったのですが、 re:ineventに行けそうなロードマップも見えてきたので「認定者ラウンジ入りたいなー」という不純な動機で始めました。 あとは「なんとなく周り…

s3にhive形式で送信したい時の設定

aggregator nodeとかでs3でhive形式にしたい(athenaで使いたい時)時の最後のメモ <store> @type s3 @id s3_nginx_json s3_bucket 私のバケット s3_region ap-northeast-1 path nginx/${tag_parts[n]}/dt=%Y-%m-%d-%H/ s3_object_key_format %{path}%{time_slice}_</store>…

fluentdのパラメーターとプラグインメモ

パラメータ @id kakakakakku.hatenablog.com qiita.com plugin_idに名前をつけられる。mackerelとかにメトリック送りたい時にオブジェクトidだと不便なので名前つけとくといい。 プラグイン forestプラグイン Fluentd v0.14 では fluent-plugin-forest が不…

fluentdのjsonの外のフォーマット

いつも忘れるのでメモ timestamp <tab> tag <tab> <jsonフォーマット></jsonフォーマット></tab></tab>

EC2のインスタンスプロファイルとIAMロールの実務上の違い

毎度おなじみのクラスメソットさんがわかりやすい dev.classmethod.jp インスタンスプロファイルってなに? インスタンスプロファイルは IAM ロールのコンテナであり、 インスタンスの起動時に EC2 インスタンスにロール情報を渡すために使用できます。 参考…

bundle installのオプション

指定した環境のgemをインストールしない --without 手元でのGemfile.lockをさせない --frozen

ansible-playbookコマンドでsshがタイムアウトするからとりあえずtimeout時間を伸ばしたい

--timeout=300 オプションつけるだでとりあえずタイムアウト時間は伸ばせる ansible-playbook -i development-hosts site.yml --timeout=300 こんな感じ

datadogのmotinrorメッセージでslackの @here @channelでメンションしたい

ただの件名の通りなんですが、 いまいち情報にたどり着けなかったので @channel は @here は である

azure app servicesのworking setモニターについて(メモリ使用量監視したい)

https://technet.microsoft.com/ja-jp/windows/ff467974.aspx datadogでazure app servicesのメモリ使用量を監視したいと思いそれっぽい値を探していたら、 memory_working_setという値があった。 ワーキング セット: 現在プロセスで使用されているメモリの…

sqlserverからtableの情報(カラム名一覧とか)を取得する

mysqlで言う所の show create table がしたい sp_help table名 で取れる。 詳細はまた。

tresuredataがホストしてくれるdigdag環境tresured workflowにtd connectorを実行させる

tresuredataがホストしてくれるdigdag環境がtresure workflowなのだが、 docs.treasuredata.com ユースケーストしてtresuredataにRDBからインポート -> GooogleBigquryなどにexportといった場合、 まずembulk(td connector)でデータを引っ張ってくると思う。…

ansibleのインベントリファイル(まだwip)

sshのknown_hostsのwarnを黙らせる --ssh-common-args="-o StrictHostKeyChecking=no" を着ける グルーピングしたホストを指定する -lオプションで指定する [app_servers] app-01 だったら インベントリファイル development-hosts ansible-playbook --ssh-c…

aws cliで複数の設定(IAM)使い分ける

簡単なことだけど便利 aws cliを使うとき aws configure で設定すると思うがこれを複数持てることを最近知った。 aws s3 ls --profile default みたいな感じで指定できる (指定しないとdefaultが使用される) 設定するときは aws configure --profile rob …

linux vmにdiskを追加するときデバイス(disk)が何繋がってるかみたい

azureとかawsみたいに仮想前提でdisk追加するときにとりあえずデバイスが見たいときは lsblk か 無ければ fdisk -l で見る。 でデバイス名や容量が見えるのでこれで確認してからfdiskなりを始める。

travis.ymlの書き方[随時更新]

対象のブランチを指定する branches: only: - master - develop

環境変数を操作するためのexportコマンド

bashrcとかに書くんじゃなくて一時的にセットしたい時とか、 shellscriptから操作する時とかに使う。 セットして出力する export HOGE_APP="hogehogehoge" export | grep HOGE HOGE_APP=hogehogehoge 削除したい時 unset HOGE_APP

shellでの条件式

if文を書くときに高級言語よりもだいぶ癖があるので少しずつ書いていく bracket [] []はtestコマンドの略, if文で使いやすい if [ -n “${HOGE_APPLICATION}” ]; then echo “hoge!” fi -n は non zeroの略なので(1文字以上ならtrueになる)空文字チェックにな…

trueコマンド

終了ステータスとしての成功を意味する0を返すだけ。 強制的に「成功」を意味させたい時に使えると思う (パイプ2つでつないで前の結果が1だった時でも強制的に成功させたい時とか)

shellで連続してコマンドを打ちたい時の繋ぎ文字

前提として コマンドは 正常終了時にステータス0 異常終了時は1 を返す 連続してコマンドを打ちたい時の繋ぎ文字としては下記の3つがあり ; && || ;(セミコロン) 前のコマンドが終わり次第次が実行 &&(アンパサンド2つ) 前のコマンドが0(正常終了)なら次を…

netstatを使って「TCPで繋がる」と思ってるものを確認する

サーバーを作った時に作ったサーバのTCPのレイヤーで接続可能か知りたい時がある。 大体の場合は 「つながる想定(セキュリティの設定とか)なんだけど繋がらない」って時にサーバーに入って確認する 例 netstat -anp | grep 8080 なんとなく 「誰」 が 「ど…

wコマンドでuptime(稼働時間)とか現在時刻とか確認する

topでもいいんだけど 「知りたい情報だけサラっと見たい」ってのもスマートな気がするのでメモ。 $ w と1文字打つだけ $ w 11:44:01 up 246 days, 20:16, 2 users, load average: 0.00, 0.02, 0.05 USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT surfing pts/0 …

ncコマンドでネットワークの疎通を確認する

外部apiを使用したい時で、 ipレベル(L4)で制約がかかっている場合はcurlでなくnc(netcat)で確認すると便利である 実用レベルのex: nc -vz -w 1 (ipアドレス | ドメイン名でもいい) port(80など) -v 詳細を表示 -z ポートの状態だけを確認する(これをつけな…

freeコマンドでlinuxメモリの状態を確認する

サーバー管理上メモリの使用状況は非常に重要な点となるので free コマンドの使い方を整理しておく。 まずはとりあえず free -h で状態を見てみる オプション * -m (メガバイトで表示) * -t スワップも表示 * -s 指定した秒で繰り返し表示 * -h とりあえずざ…

CakePHP3でのマイグレーションについて最低限の事だけ書いておく

参考 http://book.cakephp.org/3.0/ja/migrations.html http://qiita.com/ran/items/c45d0228858accea0e86 まずは現在のステータスを確認 bin/cake migrations status マイグレーションファイルを作成する 引数にカラム名と使える方を渡しておくと雛形作って…