AWS | WebとかIoTのブログ

AWSの分析サービスについてまとめてみる
はじめに

AWSを利用してデータ分析をするのに使えるサービスについてまとめてみた。

やってみたこと

Amazon EMRについて
- 分散処理フレームワーク
  - 大量のアクセスログなどを高速に処理するのに向く
- 次の3種類のノードから構成される
  - マスターノード
  - コアノード
  - タスクノード
- コアノードを利用して、実際のジョブ（処理）を行う
- また、タスクノードを利用して、実際のジョブ（処理）を行う。ただし、データの保存領域を持たない、コアノードなしに、タスクノードのみでは利用できないといった特徴がある
- マスターノードが、コア・タスクノードへジョブを振り分ける
AWSのETLサービスについて

Kinesis
- Amazon Kinesisという名称のストリーミング処理サービス
- Data Streams・Data Firehose・Video Streams・Data Analyticsなど様々な機能がある
- Data Streamsを利用すると、センサーやログなどのストリームデータを変換し、S3バケットやDynamoDBテーブルなどへ格納することができる
Glue
- データレイクやデータウェアハウスとセットで使われることが多いサーバーレス型のETL
- S3やDynamoDBなどのデータソースをクロールし、Redshiftに変換して格納するといったことができる
最後に

AWSを使って、書かなくて良いコードはどんどんショートカットすればいいと思う。

参考
hirobel

8月 30, 2022

AWS
20220816_AWSの分析系サービスについてまとめてみた
Amazon EMR
- Amazon EMRというAWSの分散処理フレームワーク提供サービスがある
- 分散処理フレームワークとは、複数のマシンを並列処理することにより大量のデータ処理を短時間で実行できるようにすることができるものである
- 大量のデータとは、例えばアクセスログなどである。ログデータ一つ一つに対して処理を実行する場合、処理速度を10倍にするにはスケールアップにより1台のサーバの性能を10倍にするか、スケールアウトにより複数台のサーバで合計10倍の性能とする方法が考えられる。ログデータが日毎や時間毎に分割されているようなケースであれば、スケールアウトのほうがフィットする。その場合に、分散処理フレームワークの利用がフィットする
- Amazon EMRは、過去に「Amazon Elastic MapReduce」というサービスで提供されていた経緯から命名されている
- EMRのアーキテクチャは次の通り
  - EMRは「分散処理基盤」と「分散処理アプリケーション基盤」の2つの機能で構成されている
  - EMRは、マスターノード・コアノード・タスクノードという3種類のノードで構成されている
  - コアノードを利用して実際のジョブ（処理）を実行する
  - タスクノードも実際のジョブ（処理）を実行するが、データ保存領域を持たない
  - コアノードなしにタスクノードのみの構成にすることはできない
  - マスターノードはコアノード・タスクノードにジョブを振り分ける
- EMRは分散処理基盤として機能する
ETLツール

Kinesis
- Data Streams・Data Firehose・Video Streams・Data Analyticsなど様々な機能がある
- Data Streamsを利用すると、センサーやログなどのストリームデータを変換し、S3バケットやDynamoDBテーブルなどへ格納することができる
Data Pipeline
- オンプレやAWS上の特定の場所へ定期的にアクセスし、S3やRDSなどへ流す
Glue
- S3やDynamoDBなどのデータソースをクロールし、Redshiftに変換して格納するといったことができる
Amazon Athena
- S3内のデータを直接クエリできるサービスである
- 内部的には、PrestoというオープンソースのSQLクエリエンジンが利用されている
Amazon QuickSight
- データの可視化ツールである
- RDB、Redshift、Athenaなどのデータソースと接続し、UIコンポーネントと関連付けて分かりやすく状況が確認できるダッシュボードを作ることができる
hirobel

8月 16, 2022

AWS, 勉強会
[AWS]プロビジョニングサービスについてまとめてみた
かとあき

AWSのプロビジョニングサービスについて勉強したよ

kuma

したよ
- AWSのプロビジョニングサービスといえば、代表的なものは以下の3つ
  - Elastic Beanstalk
  - OpsWorks
  - CloudFormation
CloudFormationしか使ったことないけどな
- Elastic Beanstalkとは、定番のインフラ構成を自動構築するサービス
  - 構築できる構成は大きく分けて2つある
    Webサーバ構成：ELB(Elastic Load Balancer) + Auto Scaling + EC2
    Batchワーカー構成：SQS + Auto Scaling + EC2
  - 言語も選択可能
    Java, Ruby, PHP, Python
  - EBで構築すると、デプロイが楽になる
    既存のデプロイ方式を簡単にチョイスして利用できる
    All at Once
    Rollingデプロイ
    Rolling with additional batch デプロイ
- OpsWorksとは、Chefを利用した構成管理サービス
  - レシピという単位で設定ファイルを作成し、プロビジョニングを行う
  - 管理方式が2種類ある
    Chef Client ローカル方式
    各サーバがレシピを持つ。自分自身にレシピを適用
    Chef Server/Client方式
    マスターサーバがレシピを持つ。配下のサーバへレシピを適用
- CloudFormation
  - AWSリソースを自動構築するためのサービス
  - 構築にはテンプレートと呼ばれる設定ファイルを利用する
  - テンプレートを元にスタックが作成される
  - どういうタイミングで更新が必要かなどの観点でスタックを分割する
    スタックの分割ポリシーは公式のベストプラクティスを参照
    https://docs.aws.amazon.com/ja_jp/AWSCloudFormation/latest/UserGuide/best-practices.html#organizingstacks
  - テンプレートには3つのセクションがある
    Resources：構築するAWSリソースの設計を書く
    Parameter：実行時に値を選択する項目を定義する
    Mappingsセクション：変数をMap形式で定義できる
hirobel

7月 19, 2022

AWS, 勉強会
AWSの開発者ツールについてまとめてみた
はじめに

ソース管理からデプロイまで、様々な機能を提供するAWSサービスについて、「AWS認定資格試験テキスト AWS認定ソリューションアーキテクト – アソシエイト改訂第2版」を読みつつ整理してみた。

まとめ
- AWSでは、CI/CD環境を構築するためのマネージドサービスが提供されている
- CI/CD環境を構築するためのマネージドサービスには次のものがある
  - CodeCommit：ソースの管理
  - CodeBuild：ソースのビルド（兼テスト）
  - CodeDeploy：ビルドアーティファクトのデプロイ。ビルドアーティファクトとは、ビルドされたモジュールのこと。
  - CodePipeline：上記3つのサービスを束ね、ソース管理→ビルド→デプロイの連携を実現するサービス
  - CodeStar：上記4つのサービスを利用し、CI/CI環境を自動構築するサービス
- CodeCommit
  - Gitリポジトリを提供するマネージドサービス
  - IAMユーザとの連携ができる
  - その他AWSサービスとの連携も便利
- CodeBuild
  - ソースのコンパイル・ビルド環境を提供するマネージドサービス
  - 外部プロバイダ（GithubやBitbucket）と連携する設定も可能
  - buildspec.ymlでビルドの定義を行う
  - 料金は従量課金制（スペック x 時間）
- CodeDeploy
  - ビルドされたモジュール（アーティファクト）をサーバへ自動デプロイするサービス
  - 段階的なデプロイ、問題発生時のロールバックする機能が組み込み済
  - appspec.ymlでデプロイ先・デプロイ方式の設定が可能
  - デプロイ方式には次がある
    AllAtOnce：まとめて更新
    HalfAtATime：50%ずつデプロイ
    OneAtATime：一台づつ、切り離してデプロイ
- CodePipeline
  - ソース管理・ビルド・デプロイの連携を実現するサービス
    まずここから骨組みを作って、肉付けしていくという進め方もできる
  - 途中で人による承認プロセスも組み込むことができる
最後に

CodeStarと似たようなサービスでAWS Amplifyがあるが、CodeStarだとアプリケーションのソースのスケルトンまで用意してくれる、という違いがあるようだ

参考
- Amazon.co.jp: AWS認定資格試験テキスト AWS認定ソリューションアーキテクト – アソシエイト改訂第2版 : NRIネットコム株式会社, 佐々木拓郎, 林晋一郎, 金澤圭: 本 https://www.amazon.co.jp/dp/4815607389/
hirobel

7月 12, 2022

AWS, 勉強会
AWS Certificate Managerについて学んでみた
はじめに
- xxx
やってみたこと
- 以下についてまとめてみた
  - サーバ証明書とは
  - 証明書の役割・種類
  - AWS Certificate Manager
サーバ証明書とは
- 通信の暗号化、通信先のサーバの信頼性を確認するために利用されるもの
- 認証局を通して発行するものである
  - 既存の認証局に発行させる。自分で認証局を建てることもできる
証明書の役割・種類
- 証明書の役割は、経路感の安全性の確保と、通信先の本人性の証明である
- 証明のために、信頼性の高い第三者が必要である
- 認証局により、第三者として、証明する。
- 証明方法には複数の種類があり、信頼性の高さが異なる
  - （低）オレオレ証明書：自分で認証局を立てて証明書を発行
  - （小）ドメイン認証（DV）：ドメインを所有していることを認証
  - （中）組織認証（OV）：組織の審査をもって認証
  - （高）拡張認証（EV）：OVより更に厳格な基準で審査
AWS Certificate Manager
- AWSが認証局となり、DV証明書を発行するサービス
最後に
- ACM単体で使うことはないので、どういうサービスと利用するのかというケースを抑えておくと良いと思う。
参考
- AWS認定資格テキストAWS認定ソリューションアーキテクトアソシエイト改定第二版（書籍）
  - https://www.amazon.co.jp/dp/B08MVXRFFN/ref=dp-kindle-redirect?_encoding=UTF8&btkr=1
hirobel

6月 14, 2022

AWS
KMSとCloudHSMについて勉強した
はじめに

KMSとCloudHSMについて学んで、要点をまとめてみることにした

やってみたこと
- AWSの鍵管理サービスには2種類ある
  - KMS
    マルチテナント
    使った分だけ課金
  - CloudHSM
    専有
    月額の固定費
- 使い分けの基準
  - 秒間で100を超えるリクエストがあるならCloudHSM
  - 公開鍵暗号化を利用したい場合にはCloudHSM
    暗号化と復号化に同じ鍵を使うのが共通鍵暗号化方式
    鍵が漏れると危険
    暗号化と復号化に別な鍵を使うのが公開鍵暗号化方式
    平文で送らないように内容は暗号化したい
    鍵が漏れても期限じゃない
    暗号化のための鍵はだれでも入手可能に
    ただし、復号化のための鍵は自分しかもっていない状態にする
  - それ以外であればKMS
- KMSの機能
  - Encrypt：暗号化
  - Decrypt：復号化
  - GenerateDataKey：カスタマーデータキーを作成
- マスターキーとデータキー
  - データの暗号化をCDK（Customer Data Key）で行う
  - CDKの暗号化をCMK（Customer Master Key）で行う
  - それによって、例えばS3のデータキーが流出しても、マスターキーが流出しない限りは復号化を防ぐことができるということ
    なぜなら、マスターキーが無いと、データキーを複合できないため
  - なので、マスターキーだけに管理リソースを全振りできることになり、セキュリティを高めることができる
最後に

マスターキーの考え方を延伸すると、すべてのAWSアカウントのマスターキーのマスターキーが欲しい。みたいな考え方になる気がするけど合ってる？

参考
hirobel

5月 31, 2022

AWS, 勉強会
[AWS]セキュリティとアイデンティティについてまとめてみた
概要

AWSのアカウントの種類
- 2種類ある
  - AWSアカウント（ルートユーザ）
  - IAMユーザ
    AWS IAM（Identity xxx management）を通して、権限を限定したユーザ
IAM
- IAMグループ
  - IAMユーザ
    IAMポリシー
    「EC2にインスタンスを立ち上げできる」とか「EC2のインスタンスを停止できない」とか
- IAMポリシー
  - Action：どのサービスの
  - Resource：どういう範囲を
  - Effect：拒否・許可
- インラインポリシーとマネージドポリシー
- マネージドポリシー
  - AWS管理ポリシー
    例：「Administarator」「PowerUser」
  - カスタマー管理ポリシー
- IAMロール
  - 一時的にAWSリソースへのアクセス権限を付与する際に利用するもの
- ちょっといい方を変えて説明してみる
  - IAMというサービスでユーザが作成できる
  - 作成したユーザに権限を設定できる
  - 権限は、「許可」と「拒否」の2種類ある
  - 権限は1ユーザに複数設定できる
  - IAMで作成したユーザを「IAMユーザ」と呼ぶ
  - 権限を「ポリシー」と呼ぶ
  - 複数のユーザにまとめてポリシーをセットする場合には、「IAMグループ」を使う
  - AWS管理のマネージドポリシーを利用すると、一切権限定義をせずに、いい感じの権限がセットできる
    例えば
    「Administarator」：何でもできる
    「PowerUser」：何でもできるけど、ユーザだけイジれない
  - マネージドポリシーを元に、独自のポリシーを用意することもできる
    例えば、「Adminnistrator」で開発を進めていって、途中で明らかにいらない権限をコツコツ剥奪していく
  - 完全に独自でポリシーをインラインポリシーで作り込んでいくこともできる
  - 一時的にだけ権限がほしい場合には、ロールを割り当てる。
hirobel

5月 17, 2022

AWS
[AWS]AWSのデータベースサービスとは
AWSのデータベースサービスについてまとめてみた。

やってみたこと

まず、そもそもデータベースってなんだっけ？みたいなところから初め、AWSにおけるDBサービスについてまとめてみた。

そもそも、データベースとは？
- 大量のデータの読み・書きに特化したサービス
- いきなりDB使おうとするのではなくて、たぶんこんな流れで検討するのが自然
  - 紙に書いとけばよくない？
  - 大量のデータをコピペするとか検索するの大変じゃなければテキストファイルくらいでよくない？
  - デジタルデータにしとこう。テキストエディタとかExcelに書いておこう
  - 量が増えてきて、整合性をとって変更するとか、複雑な条件で検索する参照するにもExcelで事足りない？
  - Excelファイルが散らばってたり、人によって書き方違うので集計大変とまでいかなければExcel頑張ればよくない？
  - 大人数で開発するとか、はじめっから使いこなせるチームでも無い限り、運用方法だけ定めてExcelの使い方とかを使い回せるようにフレームワーク化するくらいでよくない？
  - 黙ってDB使っとくべきか？
- 「データベース」といってもいろいろな種類・特徴がある。よく使われるアーキテクチャとしては2つある
  - RDB
    表形式でデータを管理できる
    表から表に「関連付け」することができる
    例えば、はじめに「顧客名簿」「購買履歴」という表を別々に作る。次に、両方に”顧客ID”という項目を入れる。すると、2つの表を「関連付け」て、顧客ごとの購買履歴を集計することなどができる。また、顧客名簿の更新が反映される。
    代表的なソフトがいくつかある
    Oracle
    Microsoft SQL Server
    MySQL
    PostgreSQL
    SQLという言語を利用して操作できる
  - NoSQL
    Not Only SQLの略
    SQLを使わないデータベースアーキテクチャ
    RDBよりも柔軟な形式でデータを格納できる
    代表的なソフトがいくつかある
    Redis
    Memcached
    Cassandra
    MongoDB
    CouchDB
    Neo4j
    Titan
DynamoDB

概要
- どれ使うか迷ったら、まずこれを検討しよう。
特徴
- 高可用性をもつ設計
  - DynamoDBをチョイスするだけで一定の高可用性が担保できる
  - なんも考えなくてもいい
- 基本そのままでいいんだけど、こまったら使うとよいオプションが色々ある
  - スループットキャパシティ
  - データパーティショニング
  - DynamoDBにおけるプライマリキーとインデックス
  - DynamoDB Streams
  - Consistent Read
  - DynamoDB Accelarator
- TTL
RDS

概要
- DynamoDBの癖が強すぎて感化できないなら、こいつに任せれば間違いない。長期政権。
ストレージタイプ

特徴
- マルチAZ構成である
- リードレプリカという概念がある
- バックアップとリストアが便利である
- セキュリティオプションがある
Amazon Auroraというサービス
- 構成要素
- Auroraレプリカとは
- エンドポイントの設定
Redshift

概要
- RDSの集計が遅い、そこだけなんとかしたい。
Redshiftの構成
- クラスタとリーダーノードとコンピュートノード
Redshiftの特徴
- カラムナ型データベースである
- 多くのエンコード方式に対応している
- ゾーンマップという概念がある
- 柔軟な拡張性を持っている
- ワークロードの管理機能を持っている
- Redshift Spectrumという拡張サービスがある
Elasticache

概要
- Memcached型Elasticacheの特徴
  - クラスタ構成
  - スケーリング
- Redis版Elasticacheの特徴
  - クラスタ構成
  - スケーリング
  - CPU使用率
  - データ暗号化
RDSの集計が遅い、

その他のデータベース

他にもいろいろなAWSサービスがある。一言だけで雑に表現してみる

Amazon Neptune
- グラフDBは任せろ
Amazon DocumentDB
- MongoDBをAWSで使いたいなら任せろ
Amazon Keyspaces
- Apache CassandraをAWSで使いたいなら任せろ
Amazon Timestream
- 時系列DBは任せろ
Amazon QLDB
- 台帳DBなら任せろ
最後に

参考
hirobel

5月 10, 2022

AWS, 勉強会
[AWS]AWSの代表的なストレージサービスについてまとめてみた
はじめに

AWSの代表的なストレージサービスについて、よく知らなかったのでまとめてみた

まとめ

一般的なストレージのタイプ

ブロックストレージ
- データを物理的なディスクにブロック単位で管理するストレージ
ファイルストレージ
- データをファイル単位で管理するストレージ
オブジェクトストレージ
- ファイルを「オブジェクト」単位で管理するストレージ。オブジェクトとは、メタデータとファイルをひとまとめにしたデータ。
Amazon EBS(Elastic Block Store)
- ブロックストレージサービス
  - ブロックストレージとは、「ブロック」の単位でデータを保存するストレージ
- 1つのEC2(インスタンス)に1つ割り当て可能
  - ただし、マルチアタッチ機能により複数同時アタッチも可能なケースも有る
- 同じAZ内のEBSしかアタッチできない
  - 別なAZに移す場合にはスナップショットをとって新規に作る必要がある
- 代表的なボリュームタイプが複数存在する
  - 汎用SSD
    汎用タイプ
    3〜16000 IOPS
  - プロビジョンドIOPS SSD
    最も高性能なタイプ
    50〜64000 IOPS
  - スループット最適化HDD
    1TBあたり 40MB〜500MB/秒のベースライン性能
  - Cold HDD
    最も低コスト
    1TBあたり 12MB/秒〜250MB/秒のベースライン性能
- ベースライン性能とバースト性能
  - バースト性能
    一時的な処理量の増加に対応
  - ベースライン性能
    普段の処理用
- EBSで何が拡張・変更できるのか
  - 容量
    拡張はできるが縮小はできない
  - ボリュームタイプ
- 可用性・耐久性・セキュリティが高い
  - SLA：99.99% / 月
Amazon EFS(Elastic File Server)
- ファイルストレージサービス
- EFSの構成要素
  - ファイルシステム
    NTFSやAPFSなどの方式
  - マウントターゲット
    マウントに必要な情報
  - セキュリティグループ
    通信制限などの設定
- EFSのパフォーマンスモード
  - 汎用
  - 最大I/O
    数百〜数千台といったクライアントから同時にEFSへアクセスがある場合などに利用
    PercentIOLimitメトリクスで要否を判断するとよい
- EFSのスループットモード
  - バーストスループット
  - プロビジョニングスループット
Amazon S3(Simple Storage Service)
- オブジェクトストレージサービス
  - ファイルストレージサービスっぽいけどちょっと違う
- 構成要素
  - バケット
    フォルダみたいなもの
  - オブジェクト
    ファイルみたいなもの
  - メタデータ
    オブジェクトの管理情報
- S3の整合性
  - 結果整合性方式を採用している
    要はラグる
- ストレージクラス
  - S3標準
  - 低頻度アクセス
  - Inteligent-Tiering
  - Glacier
  - Glacier Deep Archive
- ライフサイクル管理
  - 移行アクション
    利用頻度に応じてストレージクラスを変更するオプション
  - 有効期限アクション
    指定された期限を超えたオブジェクトを削除するオプション
- バージョニング
- Webサイトホスティング機能
- アクセス管理機能
  - バケットポリシー
    独自の記法で、アクセスできる条件を細かくセットできる
  - ACL
    オブジェクト単位で公開・非公開を設定できる
最後に

S3が全然Simpleじゃない
hirobel

5月 3, 2022

AWS, 勉強会
[AWS]AWSにおける運用支援サービスについてまとめてみた
なぜ必要なのか

システムを公開するだけではなく、継続的に機能改善していけるかが重要

機能改善にリソースを割くためにも、まず日々の安定稼働が必要

安定稼働のためには定期的にAWSリソースの状態を取得し、問題があれば通知する仕組みが必要

どうやるのか

Amazon CloudWatchを利用する
- 何を持って「問題がある」かを定義
  - メトリクスという単位をセットする
- どの問題が起きた際に、どこに通知するかを定義
AWS CloudTrailを利用する
- マネジメントコンソールやログインなどの操作を記録する
- S3にログを溜める
Amazon CloudWatchとは

運用監視を支援するマネージドサービス

CloudWatch
- 各AWSリソースの状態を定期的に取得する
  - メトリクスを定期的に取得する
    各AWSリソースの「状態」のことを「メトリクス」と呼ぶ
    メトリクスには2種類ある
    標準メトリクス
    カスタムメトリクス
  - メトリクスに対してアラームをセットする
    「システムのよくない状況をすぐに検知する」
    例：Webサーバ用のEC2インスタンスのCPU利用率が80%を上回った時、SNSへ通知する。SNSは、運用担当者にメールを送信する。
CloudWatch Logs
- アプリケーションログやApacheなどのログをモニタリングするサービス
- 独自のエージェントを介して収集
- 収集したログに対してアラームをセットすることができる
  - 例えば戦闘に「[ERROR]」で始まる行があったら何かしらの通知処理をトリガーするなど
CloudWatch Events
- 独自のトリガーと何かしらの後続アクションの組み合わせを定義するサービス
  - イベントソース
    スケジュール
    イベント（AWSリソースの「イベント」）
    例：「Auto Scalingがインスタンスを増減させたら」等
  - ターゲット
    Lambda
    CodePipeline
    などなど・・・
- 将来的にはEventBridgeに統合される予定
AWS CloudTrailとは

CloudTrailで取得できるログの種類
- 管理イベント
- データイベント
CloudWatch Logsとの連携
- 例えば戦闘に「LOGIN」で始まる行があったら管理者へログインが行われたことを通知するなど
hirobel

4月 26, 2022

AWS, 勉強会

はじめに

やってみたこと

Amazon EMRについて

AWSのETLサービスについて

Kinesis

Glue

最後に

参考

Amazon EMR

ETLツール

Kinesis

Data Pipeline

Glue

Amazon Athena

Amazon QuickSight

はじめに

まとめ

最後に

参考

はじめに

やってみたこと

サーバ証明書とは

証明書の役割・種類

AWS Certificate Manager

最後に

参考

はじめに

やってみたこと

最後に

参考

概要

AWSのアカウントの種類

IAM

やってみたこと

そもそも、データベースとは？

DynamoDB

概要

特徴

RDS

概要

ストレージタイプ

特徴

Amazon Auroraというサービス

Redshift

概要

Redshiftの構成

Redshiftの特徴

Elasticache

概要

RDSの集計が遅い、

その他のデータベース

Amazon Neptune

Amazon DocumentDB

Amazon Keyspaces

Amazon Timestream

Amazon QLDB

最後に

参考

はじめに

まとめ

最後に

なぜ必要なのか

どうやるのか

Amazon CloudWatchを利用する

AWS CloudTrailを利用する

Amazon CloudWatchとは

運用監視を支援するマネージドサービス

CloudWatch

CloudWatch Logs

CloudWatch Events

AWS CloudTrailとは

CloudTrailで取得できるログの種類

CloudWatch Logsとの連携