2020-08-01から1ヶ月間の記事一覧

AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入

感想文 全体は3部構成になっていて。 その中は第1章から14章まで別れていて非常に体系だてられている。 AWSのレイヤーとしてデータレイクを作る、運用するにあたってメインに取り扱われてるコンポーネント s3 glue athena redshift quicksight lakeformation…

datadogのメトリクス(ダッシュボード)で特定のリソースを除外(exclude)したい場合

公式 docs.datadoghq.com 除外すべきタグを指定するには、タグキーの前に ! を入力します。? (1 文字の場合)や * (複数文字の場合)のようなワイルドカードも使用できます。 ユースケース 例えば stage:production みたいなtagで見たいメトリクスが引っ張…

kinesis-firehoseでクロスアカウントのs3バケットデータを保存する

前提 デリバリーストリームと同一アカウント内のs3バケットへの保存はできている。 環境分離の観点などから他アカウントのバケットへ保存したくなった時の方法 配信先のバケットのバケットポリシー docs.aws.amazon.com { "Version": "2012-10-17", "Id": "P…

Macでaws-vaultを使用する,terraformも

aws cliのkeyとsecretsをキーチェーン経由にして暗号化する github.com brewでインストール brew cask install aws-vault aws cliなりマネジメントコンソールなりでkeyとsecretsを払い出す aws-vaultに登録する aws-vault add production Enter Access Key I…