ADに関する資料 AWSエンジニアのためのActive Directory入門 from Takuya Shibata www.slideshare.net dev.classmethod.jp SAML2.0 AWSでシングルサインオン（SSO）を実現する～SAML2.0ベースのAWSマネージメントコンソールへのフェデレーション (1/4)：Code…

well-architectedの読み方 dev.classmethod.jp Direct ConnectのBlack Belt 20210209 AWS Black Belt Online Seminar AWS Direct Connect from Amazon Web Services Japan www.slideshare.net プロパゲーション business.ntt-east.co.jp SSOのBlack Belt 202…

VPCなんかでサブネットを切りたくなった時に計算を求めるのをいつも忘れてしまうのでメモ itmediaの記事がわかりやすい www.atmarkit.co.jp 練習問題 www.atmarkit.co.jp 192.168.30.25/22のネットワークアドレスを選択しなさい。 CIDR形式のipアドレスから…

試験ガイド aws.amazon.com 出題ガイド https://d1.awsstatic.com/ja_JP/training-and-certification/docs-dev-associate/AWS-Certified-Developer-Associate_Exam-Guide.pdf 分野 1: 展開 22% 分野 2: セキュリティ 26% 分野 3: AWS サービスを使用した開発…

CLB,ALBなどでアカウントを跨いで（例えばログ集約アカウント）バケットに保存したい場合の設定 書き込み先のバケットポリシー "arn:aws:iam::582318560864:root" は共通値。aws側で指定しているクロスアカウントで書き込むためのアカウント。 { "Version": …

composeが使用しているenvファイルを編集する /opt/redash$ ls docker-compose.yml env postgres-data envファイルを開いて REDASH_MAIL_USERNAME REDASH_MAIL_PASSWORD をiam userから新しく発行したkeyとsecretsで入れ替える 設定ファイルを書き換えたので…

感想文 全体は3部構成になっていて。 その中は第1章から14章まで別れていて非常に体系だてられている。 AWSのレイヤーとしてデータレイクを作る、運用するにあたってメインに取り扱われてるコンポーネント s3 glue athena redshift quicksight lakeformation…

公式 docs.datadoghq.com 除外すべきタグを指定するには、タグキーの前に ! を入力します。? （1 文字の場合）や * （複数文字の場合）のようなワイルドカードも使用できます。 ユースケース 例えば stage:production みたいなtagで見たいメトリクスが引っ張…

前提 デリバリーストリームと同一アカウント内のs3バケットへの保存はできている。 環境分離の観点などから他アカウントのバケットへ保存したくなった時の方法 配信先のバケットのバケットポリシー docs.aws.amazon.com { "Version": "2012-10-17", "Id": "P…

aws cliのkeyとsecretsをキーチェーン経由にして暗号化する github.com brewでインストール brew cask install aws-vault aws cliなりマネジメントコンソールなりでkeyとsecretsを払い出す aws-vaultに登録する aws-vault add production Enter Access Key I…

何度調べても忘れてしまうため 配列 - リンゴ - イチゴ - みかん ハッシュ name: 鈴木 age : 20 born : tokyo 配列の中にハッシュ - name: suzuki age : 20 born : tokyo - name: sato age: 21 born: osaka ネスト 同じ構造のままインデントすればいい 配列 …

拡張 indent rainbow marketplace.visualstudio.com terraform拡張 marketplace.visualstudio.com 設定関連の覚書 macの場合 code -> 基本設定 -> 設定 で設定画面に行ける タブが用意されていて ユーザー ワークスペース フォルダ と「どこの設定をするのか…

タイトルのようなUserAgentのアクセスが来ていたので調べてみたら、 どうもAWS公式がスキャンをかけているらしい。 （bot netにされてないかとかをスキャンしてるらしい） UserAgentなので参考情報と程度にしかならないが、 client-ipがAWSか位は調べておく…

S3の開発エンドポイントが必要 VPCエンドポイントはVPC単位で作成 VPCエンドポイントはルートテーブルに割り当てる おそらくs3へのアクセスする時のルーティングで自動的に使ってくれる模様 vpcエンドポイントをルートテーブルにつけるとエンドポイント作成…

VPC作成するときにルートテーブルとネットワークACLでよく迷うのでメモ ルートテーブル サブネットに付くもの いわゆるルーティング IGWとかNATへの行き先はここで指定する サブネット側から選べるが何も指定しないとメインルートテーブルが選択される priva…

マネージドサービスを使うのにECSは使わずにEC2な理由 なんとなくなのだが、ECSに持って行くのが面倒。workerとかその辺。 永続データさえちゃんと残しておけば最悪redash server自体は作り直しでもいいかなーと思い。 ソースはこちら github.com ここに載っ…

CloudWatch Logs サブスクリプションフィルタの使用 - Amazon CloudWatch Logs 仕様らしい。 cw-logs自体がjson invalidで出力したいから、 messagesという中に含まれるユーザー側が出力する値はstringとして扱うためにダブルクォーテーションをエスケープさ…

Amazon S3 は何をレプリケートしますか - Amazon Simple Storage Service デフォルトでは、Amazon S3 は以下をレプリケートします。 レプリケーション設定の追加後に作成されたオブジェクト。 既存のオブジェクトのレプリケーション というメニューもあるよ…

AWSを使ってるとなんとなくしかわかっていないIAMのPassRole IAM: 特定の AWS サービスに IAM ロールを渡す - AWS Identity and Access Management dev.classmethod.jp dev.classmethod.jp 安定のクラメソさんと公式の一部 まず。何となくEC2とRDSで運用。み…

AWS WAF(new) 古いものはclassicと表記されている。 今回検証対象としないため対象外 いわゆるWeb Application FireWallで。 SQLインジェクションとかXSSみたいな怪しいhttpリクエストをblockしてくれたりログ出してくれたりメトリクスを出してくれたりする…

基本機能 https://docs.aws.amazon.com/ja_jp/vpc/latest/userguide/vpc-endpoints.html サブネット単位で設定可能 -- 実際はRouteTable単位 インターフェースエンドポイントとゲートウェイエンドポイントがある。 s3はゲートウェイエンドポイント。 https:/…

メモ書き程度に s3のパスなんかを指定するときにディレクトリ名（擬似だが）指定するときに連結したりformatするよりもコレが便利だと思った baccket_name = "hoge-bucket" file_path = "/foo/bar/hogehoge.json" s3_path = f"s3://{baccket_name}{file_path…

なぜだかは不明だが(pythonの事がわかってないからなのか）GlueのPython実行(PythonShel)にはMySQLへの接続ライブラリが無い。 https://docs.aws.amazon.com/ja_jp/glue/latest/dg/add-job-python.html しょうがないので外部ライブラリとして作って自分のバ…

https://docs.aws.amazon.com/ja_jp/glue/latest/dg/aws-glue-api-crawler-pyspark-extensions-dynamic-frame.html#aws-glue-api-crawler-pyspark-extensions-dynamic-frame-select_fields # とりあえず必要そうなものと使いそうなものをimport import sys f…

タイトルの試験に合格してきたので記録！ aws.amazon.com きっかけとか動機とか 以前から興味があったのですが、 re:ineventに行けそうなロードマップも見えてきたので「認定者ラウンジ入りたいなー」という不純な動機で始めました。 あとは「なんとなく周り…

aggregator nodeとかでs3でhive形式にしたい（athenaで使いたい時）時の最後のメモ <store> @type s3 @id s3_nginx_json s3_bucket 私のバケット s3_region ap-northeast-1 path nginx/${tag_parts[n]}/dt=%Y-%m-%d-%H/ s3_object_key_format %{path}%{time_slice}_</store>…

パラメータ @id kakakakakku.hatenablog.com qiita.com plugin_idに名前をつけられる。mackerelとかにメトリック送りたい時にオブジェクトidだと不便なので名前つけとくといい。 プラグイン forestプラグイン Fluentd v0.14 では fluent-plugin-forest が不…

いつも忘れるのでメモ timestamp <tab> tag <tab> <jsonフォーマット></jsonフォーマット></tab></tab>

毎度おなじみのクラスメソットさんがわかりやすい dev.classmethod.jp インスタンスプロファイルってなに？ インスタンスプロファイルは IAM ロールのコンテナであり、 インスタンスの起動時に EC2 インスタンスにロール情報を渡すために使用できます。 参考…

指定した環境のgemをインストールしない --without 手元でのGemfile.lockをさせない --frozen