aws

AWS認定 developer向けのチュートリアルとか読んどくもの

試験ガイド aws.amazon.com 出題ガイド https://d1.awsstatic.com/ja_JP/training-and-certification/docs-dev-associate/AWS-Certified-Developer-Associate_Exam-Guide.pdf 分野 1: 展開 22% 分野 2: セキュリティ 26% 分野 3: AWS サービスを使用した開発…

ELBのアクセスログをクロスアカウントで別アカウントのバケットに保存する

CLB,ALBなどでアカウントを跨いで(例えばログ集約アカウント)バケットに保存したい場合の設定 書き込み先のバケットポリシー "arn:aws:iam::582318560864:root" は共通値。aws側で指定しているクロスアカウントで書き込むためのアカウント。 { "Version": …

kinesis-firehoseでクロスアカウントのs3バケットデータを保存する

前提 デリバリーストリームと同一アカウント内のs3バケットへの保存はできている。 環境分離の観点などから他アカウントのバケットへ保存したくなった時の方法 配信先のバケットのバケットポリシー docs.aws.amazon.com { "Version": "2012-10-17", "Id": "P…

Macでaws-vaultを使用する,terraformも

aws cliのkeyとsecretsをキーチェーン経由にして暗号化する github.com brewでインストール brew cask install aws-vault aws cliなりマネジメントコンソールなりでkeyとsecretsを払い出す aws-vaultに登録する aws-vault add production Enter Access Key I…

AWS Security ScannerというUserAgentについて

タイトルのようなUserAgentのアクセスが来ていたので調べてみたら、 どうもAWS公式がスキャンをかけているらしい。 (bot netにされてないかとかをスキャンしてるらしい) UserAgentなので参考情報と程度にしかならないが、 client-ipがAWSか位は調べておく…

VPC作る時のメモ(RouteTable,NetWorkACL, NAT, InternetGateway)

VPC作成するときにルートテーブルとネットワークACLでよく迷うのでメモ ルートテーブル サブネットに付くもの いわゆるルーティング IGWとかNATへの行き先はここで指定する サブネット側から選べるが何も指定しないとメインルートテーブルが選択される priva…

ALB + ACM + EC2 + SES + RDS + ElastiCacheでre:dash環境を構築する

マネージドサービスを使うのにECSは使わずにEC2な理由 なんとなくなのだが、ECSに持って行くのが面倒。workerとかその辺。 永続データさえちゃんと残しておけば最悪redash server自体は作り直しでもいいかなーと思い。 ソースはこちら github.com ここに載っ…

CloudWatchLogsのサブスクリプションフィルターでkinesis firehoseへ流すとjsonのダブルクオートがバックスラッシュでエスケープされる

CloudWatch Logs サブスクリプションフィルタの使用 - Amazon CloudWatch Logs 仕様らしい。 cw-logs自体がjson invalidで出力したいから、 messagesという中に含まれるユーザー側が出力する値はstringとして扱うためにダブルクォーテーションをエスケープさ…

s3のレプリケーションは機能有効化した後のデータしかレプリケートしない

Amazon S3 は何をレプリケートしますか - Amazon Simple Storage Service デフォルトでは、Amazon S3 は以下をレプリケートします。 レプリケーション設定の追加後に作成されたオブジェクト。 既存のオブジェクトのレプリケーション というメニューもあるよ…

IAM PassRoleについて理解する(なんとなく)

AWSを使ってるとなんとなくしかわかっていないIAMのPassRole IAM: 特定の AWS サービスに IAM ロールを渡す - AWS Identity and Access Management dev.classmethod.jp dev.classmethod.jp 安定のクラメソさんと公式の一部 まず。何となくEC2とRDSで運用。み…

AWS WAFを導入するための最低限必要な知識

AWS WAF(new) 古いものはclassicと表記されている。 今回検証対象としないため対象外 いわゆるWeb Application FireWallで。 SQLインジェクションとかXSSみたいな怪しいhttpリクエストをblockしてくれたりログ出してくれたりメトリクスを出してくれたりする…

s3のVPCエンドポイント情報

基本機能 https://docs.aws.amazon.com/ja_jp/vpc/latest/userguide/vpc-endpoints.html サブネット単位で設定可能 -- 実際はRouteTable単位 インターフェースエンドポイントとゲートウェイエンドポイントがある。 s3はゲートウェイエンドポイント。 https:/…

AWS GlueJob(Pythoh shell)でMySQL(RDS | Aurora MySQL compatible)に接続する

なぜだかは不明だが(pythonの事がわかってないからなのか)GlueのPython実行(PythonShel)にはMySQLへの接続ライブラリが無い。 https://docs.aws.amazon.com/ja_jp/glue/latest/dg/add-job-python.html しょうがないので外部ライブラリとして作って自分のバ…

AWS認定ソリューションアーキテクト アソシエイト試験に合格してきたので学習内容について

タイトルの試験に合格してきたので記録! aws.amazon.com きっかけとか動機とか 以前から興味があったのですが、 re:ineventに行けそうなロードマップも見えてきたので「認定者ラウンジ入りたいなー」という不純な動機で始めました。 あとは「なんとなく周り…

EC2のインスタンスプロファイルとIAMロールの実務上の違い

毎度おなじみのクラスメソットさんがわかりやすい dev.classmethod.jp インスタンスプロファイルってなに? インスタンスプロファイルは IAM ロールのコンテナであり、 インスタンスの起動時に EC2 インスタンスにロール情報を渡すために使用できます。 参考…

aws cliで複数の設定(IAM)使い分ける

簡単なことだけど便利 aws cliを使うとき aws configure で設定すると思うがこれを複数持てることを最近知った。 aws s3 ls --profile default みたいな感じで指定できる (指定しないとdefaultが使用される) 設定するときは aws configure --profile rob …

linux vmにdiskを追加するときデバイス(disk)が何繋がってるかみたい

azureとかawsみたいに仮想前提でdisk追加するときにとりあえずデバイスが見たいときは lsblk か 無ければ fdisk -l で見る。 でデバイス名や容量が見えるのでこれで確認してからfdiskなりを始める。

ElasticBeanstalkでEnvironmentsが削除出来ない時

Deleting security group named: *** Reason: Group *** is used by groups: のようなメッセージが出てしまいEnvironmentsが削除出来なくてハマった。 直接セキュリティグループを探し当てて削除しようとしても 「使ってるからダメ」と言われる。 どうすりゃ…

AWSのc3.largeがお得なんだけどAvailabilityZone内でいっぱいだった

aws

時間が解決してくれるたらこの記事は役に立たないけど。 c3.largeはとってもお得なので現在特定のZoneで作れないみたいだ。 We currently do not have sufficient c3.large capacity in the Availability Zone you requested (ap-northeast-1c). Our system …

ec2インスタンスのセキュリティグループは後から変更出来ない

タイトルの通り。 amiを吐き出してもう一度インスタンスを作り直すしか無いみたい。。。 セキュリティグループのルール自体を変える事は出来るけど、 このインスタンスだけ変えたい(新しく作ったセキュリティグループを適用したい) が出来ない。。。 むー…

fuelphpの環境をaws上に構築(でハマった所)

以前はsqaleを使っていたので素の環境から作ろうとすると意外とはまる。 こういう所はvagrantなりchefなりでなんとかするべきなんだろうな。 環境はAMI。amazonのデフォルト。 fuelphp1.6 apacheの設定で ドキュメントルートのディレクティブに AllowOverrid…

githubへpushした時にawsからソースを取得する

AWSじゃなくても良いんですけどね。 githubにはservicehookというgitリポジトリのhooksみたいな機能がある。 リポジトリの画面からSettings(レンチのアイコン)→ServiceHooks→WebHook URLs の順序で辿って URLという欄に通知させたいサーバーのurlを記載する…