AWS認証系のメモ

ADに関する資料 AWSエンジニアのためのActive Directory入門 from Takuya Shibata www.slideshare.net dev.classmethod.jp SAML2.0 AWSでシングルサインオン(SSO)を実現する~SAML2.0ベースのAWSマネージメントコンソールへのフェデレーション (1/4):Code…

ソリューションアーキテクトプロフェッショナル試験学習ログ

well-architectedの読み方 dev.classmethod.jp Direct ConnectのBlack Belt 20210209 AWS Black Belt Online Seminar AWS Direct Connect from Amazon Web Services Japan www.slideshare.net プロパゲーション business.ntt-east.co.jp SSOのBlack Belt 202…

サブネットを切りたくなった時の計算方法に関するメモ書き

VPCなんかでサブネットを切りたくなった時に計算を求めるのをいつも忘れてしまうのでメモ itmediaの記事がわかりやすい www.atmarkit.co.jp 練習問題 www.atmarkit.co.jp 192.168.30.25/22のネットワークアドレスを選択しなさい。 CIDR形式のipアドレスから…

AWS認定 developer向けのチュートリアルとか読んどくもの

試験ガイド aws.amazon.com 出題ガイド https://d1.awsstatic.com/ja_JP/training-and-certification/docs-dev-associate/AWS-Certified-Developer-Associate_Exam-Guide.pdf 分野 1: 展開 22% 分野 2: セキュリティ 26% 分野 3: AWS サービスを使用した開発…

ELBのアクセスログをクロスアカウントで別アカウントのバケットに保存する

CLB,ALBなどでアカウントを跨いで(例えばログ集約アカウント)バケットに保存したい場合の設定 書き込み先のバケットポリシー "arn:aws:iam::582318560864:root" は共通値。aws側で指定しているクロスアカウントで書き込むためのアカウント。 { "Version": …

redashのSMTPサーバーとしてSESを使用している時にcredentialを変更する

WIP

composeが使用しているenvファイルを編集する /opt/redash$ ls docker-compose.yml env postgres-data envファイルを開いて REDASH_MAIL_USERNAME REDASH_MAIL_PASSWORD をiam userから新しく発行したkeyとsecretsで入れ替える 設定ファイルを書き換えたので…

AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入

感想文 全体は3部構成になっていて。 その中は第1章から14章まで別れていて非常に体系だてられている。 AWSのレイヤーとしてデータレイクを作る、運用するにあたってメインに取り扱われてるコンポーネント s3 glue athena redshift quicksight lakeformation…

datadogのメトリクス(ダッシュボード)で特定のリソースを除外(exclude)したい場合

公式 docs.datadoghq.com 除外すべきタグを指定するには、タグキーの前に ! を入力します。? (1 文字の場合)や * (複数文字の場合)のようなワイルドカードも使用できます。 ユースケース 例えば stage:production みたいなtagで見たいメトリクスが引っ張…

kinesis-firehoseでクロスアカウントのs3バケットデータを保存する

前提 デリバリーストリームと同一アカウント内のs3バケットへの保存はできている。 環境分離の観点などから他アカウントのバケットへ保存したくなった時の方法 配信先のバケットのバケットポリシー docs.aws.amazon.com { "Version": "2012-10-17", "Id": "P…

Macでaws-vaultを使用する,terraformも

aws cliのkeyとsecretsをキーチェーン経由にして暗号化する github.com brewでインストール brew cask install aws-vault aws cliなりマネジメントコンソールなりでkeyとsecretsを払い出す aws-vaultに登録する aws-vault add production Enter Access Key I…

yamlの書き方メモ

何度調べても忘れてしまうため 配列 - リンゴ - イチゴ - みかん ハッシュ name: 鈴木 age : 20 born : tokyo 配列の中にハッシュ - name: suzuki age : 20 born : tokyo - name: sato age: 21 born: osaka ネスト 同じ構造のままインデントすればいい 配列 …

[WIP]VS Codeの設定

WIP

拡張 indent rainbow marketplace.visualstudio.com terraform拡張 marketplace.visualstudio.com 設定関連の覚書 macの場合 code -> 基本設定 -> 設定 で設定画面に行ける タブが用意されていて ユーザー ワークスペース フォルダ と「どこの設定をするのか…

AWS Security ScannerというUserAgentについて

タイトルのようなUserAgentのアクセスが来ていたので調べてみたら、 どうもAWS公式がスキャンをかけているらしい。 (bot netにされてないかとかをスキャンしてるらしい) UserAgentなので参考情報と程度にしかならないが、 client-ipがAWSか位は調べておく…

glueで開発エンドポイントを作る時のメモ(VPCに入れる時)

S3の開発エンドポイントが必要 VPCエンドポイントはVPC単位で作成 VPCエンドポイントはルートテーブルに割り当てる おそらくs3へのアクセスする時のルーティングで自動的に使ってくれる模様 vpcエンドポイントをルートテーブルにつけるとエンドポイント作成…

VPC作る時のメモ(RouteTable,NetWorkACL, NAT, InternetGateway)

VPC作成するときにルートテーブルとネットワークACLでよく迷うのでメモ ルートテーブル サブネットに付くもの いわゆるルーティング IGWとかNATへの行き先はここで指定する サブネット側から選べるが何も指定しないとメインルートテーブルが選択される priva…

ALB + ACM + EC2 + SES + RDS + ElastiCacheでre:dash環境を構築する

マネージドサービスを使うのにECSは使わずにEC2な理由 なんとなくなのだが、ECSに持って行くのが面倒。workerとかその辺。 永続データさえちゃんと残しておけば最悪redash server自体は作り直しでもいいかなーと思い。 ソースはこちら github.com ここに載っ…

CloudWatchLogsのサブスクリプションフィルターでkinesis firehoseへ流すとjsonのダブルクオートがバックスラッシュでエスケープされる

CloudWatch Logs サブスクリプションフィルタの使用 - Amazon CloudWatch Logs 仕様らしい。 cw-logs自体がjson invalidで出力したいから、 messagesという中に含まれるユーザー側が出力する値はstringとして扱うためにダブルクォーテーションをエスケープさ…

s3のレプリケーションは機能有効化した後のデータしかレプリケートしない

Amazon S3 は何をレプリケートしますか - Amazon Simple Storage Service デフォルトでは、Amazon S3 は以下をレプリケートします。 レプリケーション設定の追加後に作成されたオブジェクト。 既存のオブジェクトのレプリケーション というメニューもあるよ…

IAM PassRoleについて理解する(なんとなく)

AWSを使ってるとなんとなくしかわかっていないIAMのPassRole IAM: 特定の AWS サービスに IAM ロールを渡す - AWS Identity and Access Management dev.classmethod.jp dev.classmethod.jp 安定のクラメソさんと公式の一部 まず。何となくEC2とRDSで運用。み…

AWS WAFを導入するための最低限必要な知識

AWS WAF(new) 古いものはclassicと表記されている。 今回検証対象としないため対象外 いわゆるWeb Application FireWallで。 SQLインジェクションとかXSSみたいな怪しいhttpリクエストをblockしてくれたりログ出してくれたりメトリクスを出してくれたりする…

s3のVPCエンドポイント情報

基本機能 https://docs.aws.amazon.com/ja_jp/vpc/latest/userguide/vpc-endpoints.html サブネット単位で設定可能 -- 実際はRouteTable単位 インターフェースエンドポイントとゲートウェイエンドポイントがある。 s3はゲートウェイエンドポイント。 https:/…

python3.6で文字リテラルに変数を組み込むf文字列

メモ書き程度に s3のパスなんかを指定するときにディレクトリ名(擬似だが)指定するときに連結したりformatするよりもコレが便利だと思った baccket_name = "hoge-bucket" file_path = "/foo/bar/hogehoge.json" s3_path = f"s3://{baccket_name}{file_path…

AWS GlueJob(Pythoh shell)でMySQL(RDS | Aurora MySQL compatible)に接続する

なぜだかは不明だが(pythonの事がわかってないからなのか)GlueのPython実行(PythonShel)にはMySQLへの接続ライブラリが無い。 https://docs.aws.amazon.com/ja_jp/glue/latest/dg/add-job-python.html しょうがないので外部ライブラリとして作って自分のバ…

glueで開発エンドポイントを使用してdynamic dtaframe触って見たときの覚書

https://docs.aws.amazon.com/ja_jp/glue/latest/dg/aws-glue-api-crawler-pyspark-extensions-dynamic-frame.html#aws-glue-api-crawler-pyspark-extensions-dynamic-frame-select_fields # とりあえず必要そうなものと使いそうなものをimport import sys f…

AWS認定ソリューションアーキテクト アソシエイト試験に合格してきたので学習内容について

タイトルの試験に合格してきたので記録! aws.amazon.com きっかけとか動機とか 以前から興味があったのですが、 re:ineventに行けそうなロードマップも見えてきたので「認定者ラウンジ入りたいなー」という不純な動機で始めました。 あとは「なんとなく周り…

s3にhive形式で送信したい時の設定

aggregator nodeとかでs3でhive形式にしたい(athenaで使いたい時)時の最後のメモ <store> @type s3 @id s3_nginx_json s3_bucket 私のバケット s3_region ap-northeast-1 path nginx/${tag_parts[n]}/dt=%Y-%m-%d-%H/ s3_object_key_format %{path}%{time_slice}_</store>…

fluentdのパラメーターとプラグインメモ

パラメータ @id kakakakakku.hatenablog.com qiita.com plugin_idに名前をつけられる。mackerelとかにメトリック送りたい時にオブジェクトidだと不便なので名前つけとくといい。 プラグイン forestプラグイン Fluentd v0.14 では fluent-plugin-forest が不…

fluentdのjsonの外のフォーマット

いつも忘れるのでメモ timestamp <tab> tag <tab> <jsonフォーマット></jsonフォーマット></tab></tab>

EC2のインスタンスプロファイルとIAMロールの実務上の違い

毎度おなじみのクラスメソットさんがわかりやすい dev.classmethod.jp インスタンスプロファイルってなに? インスタンスプロファイルは IAM ロールのコンテナであり、 インスタンスの起動時に EC2 インスタンスにロール情報を渡すために使用できます。 参考…

bundle installのオプション

指定した環境のgemをインストールしない --without 手元でのGemfile.lockをさせない --frozen