s3

ELBのアクセスログをクロスアカウントで別アカウントのバケットに保存する

CLB,ALBなどでアカウントを跨いで(例えばログ集約アカウント)バケットに保存したい場合の設定 書き込み先のバケットポリシー "arn:aws:iam::582318560864:root" は共通値。aws側で指定しているクロスアカウントで書き込むためのアカウント。 { "Version": …

AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入

感想文 全体は3部構成になっていて。 その中は第1章から14章まで別れていて非常に体系だてられている。 AWSのレイヤーとしてデータレイクを作る、運用するにあたってメインに取り扱われてるコンポーネント s3 glue athena redshift quicksight lakeformation…

kinesis-firehoseでクロスアカウントのs3バケットデータを保存する

前提 デリバリーストリームと同一アカウント内のs3バケットへの保存はできている。 環境分離の観点などから他アカウントのバケットへ保存したくなった時の方法 配信先のバケットのバケットポリシー docs.aws.amazon.com { "Version": "2012-10-17", "Id": "P…

glueで開発エンドポイントを作る時のメモ(VPCに入れる時)

S3の開発エンドポイントが必要 VPCエンドポイントはVPC単位で作成 VPCエンドポイントはルートテーブルに割り当てる おそらくs3へのアクセスする時のルーティングで自動的に使ってくれる模様 vpcエンドポイントをルートテーブルにつけるとエンドポイント作成…

CloudWatchLogsのサブスクリプションフィルターでkinesis firehoseへ流すとjsonのダブルクオートがバックスラッシュでエスケープされる

CloudWatch Logs サブスクリプションフィルタの使用 - Amazon CloudWatch Logs 仕様らしい。 cw-logs自体がjson invalidで出力したいから、 messagesという中に含まれるユーザー側が出力する値はstringとして扱うためにダブルクォーテーションをエスケープさ…

s3のレプリケーションは機能有効化した後のデータしかレプリケートしない

Amazon S3 は何をレプリケートしますか - Amazon Simple Storage Service デフォルトでは、Amazon S3 は以下をレプリケートします。 レプリケーション設定の追加後に作成されたオブジェクト。 既存のオブジェクトのレプリケーション というメニューもあるよ…

s3のVPCエンドポイント情報

基本機能 https://docs.aws.amazon.com/ja_jp/vpc/latest/userguide/vpc-endpoints.html サブネット単位で設定可能 -- 実際はRouteTable単位 インターフェースエンドポイントとゲートウェイエンドポイントがある。 s3はゲートウェイエンドポイント。 https:/…