yamlの書き方メモ

何度調べても忘れてしまうため 配列 - リンゴ - イチゴ - みかん ハッシュ name: 鈴木 age : 20 born : tokyo 配列の中にハッシュ - name: suzuki age : 20 born : tokyo - name: sato age: 21 born: osaka ネスト 同じ構造のままインデントすればいい 配列 …

VS Codeの設定

WIP

拡張 indent rainbow marketplace.visualstudio.com

AWS Security ScannerというUserAgentについて

タイトルのようなUserAgentのアクセスが来ていたので調べてみたら、 どうもAWS公式がスキャンをかけているらしい。 (bot netにされてないかとかをスキャンしてるらしい) UserAgentなので参考情報と程度にしかならないが、 client-ipがAWSか位は調べておく…

glueで開発エンドポイントを作る時のメモ(VPCに入れる時)

S3の開発エンドポイントが必要 VPCエンドポイントはVPC単位で作成 VPCエンドポイントはルートテーブルに割り当てる おそらくs3へのアクセスする時のルーティングで自動的に使ってくれる模様 vpcエンドポイントをルートテーブルにつけるとエンドポイント作成…

VPC作る時のメモ(RouteTable,NetWorkACL, NAT, InternetGateway)

VPC作成するときにルートテーブルとネットワークACLでよく迷うのでメモ ルートテーブル サブネットに付くもの いわゆるルーティング IGWとかNATへの行き先はここで指定する サブネット側から選べるが何も指定しないとメインルートテーブルが選択される priva…

ALB + ACM + EC2 + SES + RDS + ElastiCacheでre:dash環境を構築する

マネージドサービスを使うのにECSは使わずにEC2な理由 なんとなくなのだが、ECSに持って行くのが面倒。workerとかその辺。 永続データさえちゃんと残しておけば最悪redash server自体は作り直しでもいいかなーと思い。 ソースはこちら github.com ここに載っ…

CloudWatchLogsのサブスクリプションフィルターでkinesis firehoseへ流すとjsonのダブルクオートがバックスラッシュでエスケープされる

CloudWatch Logs サブスクリプションフィルタの使用 - Amazon CloudWatch Logs 仕様らしい。 cw-logs自体がjson invalidで出力したいから、 messagesという中に含まれるユーザー側が出力する値はstringとして扱うためにダブルクォーテーションをエスケープさ…

s3のレプリケーションは機能有効化した後のデータしかレプリケートしない

Amazon S3 は何をレプリケートしますか - Amazon Simple Storage Service デフォルトでは、Amazon S3 は以下をレプリケートします。 レプリケーション設定の追加後に作成されたオブジェクト。 既存のオブジェクトのレプリケーション というメニューもあるよ…

IAM PassRoleについて理解する(なんとなく)

AWSを使ってるとなんとなくしかわかっていないIAMのPassRole IAM: 特定の AWS サービスに IAM ロールを渡す - AWS Identity and Access Management dev.classmethod.jp dev.classmethod.jp 安定のクラメソさんと公式の一部 まず。何となくEC2とRDSで運用。み…

AWS WAFを導入するための最低限必要な知識

AWS WAF(new) 古いものはclassicと表記されている。 今回検証対象としないため対象外 いわゆるWeb Application FireWallで。 SQLインジェクションとかXSSみたいな怪しいhttpリクエストをblockしてくれたりログ出してくれたりメトリクスを出してくれたりする…

s3のVPCエンドポイント情報

基本機能 https://docs.aws.amazon.com/ja_jp/vpc/latest/userguide/vpc-endpoints.html サブネット単位で設定可能 -- 実際はRouteTable単位 インターフェースエンドポイントとゲートウェイエンドポイントがある。 s3はゲートウェイエンドポイント。 https:/…

python3.6で文字リテラルに変数を組み込むf文字列

メモ書き程度に s3のパスなんかを指定するときにディレクトリ名(擬似だが)指定するときに連結したりformatするよりもコレが便利だと思った baccket_name = "hoge-bucket" file_path = "/foo/bar/hogehoge.json" s3_path = f"s3://{baccket_name}{file_path…

AWS GlueJob(Pythoh shell)でMySQL(RDS | Aurora MySQL compatible)に接続する

なぜだかは不明だが(pythonの事がわかってないからなのか)GlueのPython実行(PythonShel)にはMySQLへの接続ライブラリが無い。 https://docs.aws.amazon.com/ja_jp/glue/latest/dg/add-job-python.html しょうがないので外部ライブラリとして作って自分のバ…

glueで開発エンドポイントを使用してdynamic dtaframe触って見たときの覚書

https://docs.aws.amazon.com/ja_jp/glue/latest/dg/aws-glue-api-crawler-pyspark-extensions-dynamic-frame.html#aws-glue-api-crawler-pyspark-extensions-dynamic-frame-select_fields # とりあえず必要そうなものと使いそうなものをimport import sys f…

AWS認定ソリューションアーキテクト アソシエイト試験に合格してきたので学習内容について

タイトルの試験に合格してきたので記録! aws.amazon.com きっかけとか動機とか 以前から興味があったのですが、 re:ineventに行けそうなロードマップも見えてきたので「認定者ラウンジ入りたいなー」という不純な動機で始めました。 あとは「なんとなく周り…

s3にhive形式で送信したい時の設定

aggregator nodeとかでs3でhive形式にしたい(athenaで使いたい時)時の最後のメモ <store> @type s3 @id s3_nginx_json s3_bucket 私のバケット s3_region ap-northeast-1 path nginx/${tag_parts[n]}/dt=%Y-%m-%d-%H/ s3_object_key_format %{path}%{time_slice}_</store>…

fluentdのパラメーターとプラグインメモ

パラメータ @id kakakakakku.hatenablog.com qiita.com plugin_idに名前をつけられる。mackerelとかにメトリック送りたい時にオブジェクトidだと不便なので名前つけとくといい。 プラグイン forestプラグイン Fluentd v0.14 では fluent-plugin-forest が不…

fluentdのjsonの外のフォーマット

いつも忘れるのでメモ timestamp <tab> tag <tab> <jsonフォーマット></jsonフォーマット></tab></tab>

EC2のインスタンスプロファイルとIAMロールの実務上の違い

毎度おなじみのクラスメソットさんがわかりやすい dev.classmethod.jp インスタンスプロファイルってなに? インスタンスプロファイルは IAM ロールのコンテナであり、 インスタンスの起動時に EC2 インスタンスにロール情報を渡すために使用できます。 参考…

bundle installのオプション

指定した環境のgemをインストールしない --without 手元でのGemfile.lockをさせない --frozen

ansible-playbookコマンドでsshがタイムアウトするからとりあえずtimeout時間を伸ばしたい

--timeout=300 オプションつけるだでとりあえずタイムアウト時間は伸ばせる ansible-playbook -i development-hosts site.yml --timeout=300 こんな感じ

datadogのmotinrorメッセージでslackの @here @channelでメンションしたい

ただの件名の通りなんですが、 いまいち情報にたどり着けなかったので @channel は @here は である

azure app servicesのworking setモニターについて(メモリ使用量監視したい)

https://technet.microsoft.com/ja-jp/windows/ff467974.aspx datadogでazure app servicesのメモリ使用量を監視したいと思いそれっぽい値を探していたら、 memory_working_setという値があった。 ワーキング セット: 現在プロセスで使用されているメモリの…

sqlserverからtableの情報(カラム名一覧とか)を取得する

mysqlで言う所の show create table がしたい sp_help table名 で取れる。 詳細はまた。

tresuredataがホストしてくれるdigdag環境tresured workflowにtd connectorを実行させる

tresuredataがホストしてくれるdigdag環境がtresure workflowなのだが、 docs.treasuredata.com ユースケーストしてtresuredataにRDBからインポート -> GooogleBigquryなどにexportといった場合、 まずembulk(td connector)でデータを引っ張ってくると思う。…

ansibleのインベントリファイル(まだwip)

sshのknown_hostsのwarnを黙らせる --ssh-common-args="-o StrictHostKeyChecking=no" を着ける グルーピングしたホストを指定する -lオプションで指定する [app_servers] app-01 だったら インベントリファイル development-hosts ansible-playbook --ssh-c…

aws cliで複数の設定(IAM)使い分ける

簡単なことだけど便利 aws cliを使うとき aws configure で設定すると思うがこれを複数持てることを最近知った。 aws s3 ls --profile default みたいな感じで指定できる (指定しないとdefaultが使用される) 設定するときは aws configure --profile rob …

linux vmにdiskを追加するときデバイス(disk)が何繋がってるかみたい

azureとかawsみたいに仮想前提でdisk追加するときにとりあえずデバイスが見たいときは lsblk か 無ければ fdisk -l で見る。 でデバイス名や容量が見えるのでこれで確認してからfdiskなりを始める。

travis.ymlの書き方[随時更新]

対象のブランチを指定する branches: only: - master - develop

環境変数を操作するためのexportコマンド

bashrcとかに書くんじゃなくて一時的にセットしたい時とか、 shellscriptから操作する時とかに使う。 セットして出力する export HOGE_APP="hogehogehoge" export | grep HOGE HOGE_APP=hogehogehoge 削除したい時 unset HOGE_APP