林田力 何者のだましの堤防も崩す

SQL Server 用に構築されたアプリケーションは、Azure Synapse 専用 SQL プールとシームレスに連携します。 ただし、SQL Server で一般的に使用されている機能と言語要素が Azure Synapse で使用できなかったり、異なる動作をしたりする場合があります。
https://docs.microsoft.com/ja-jp/azure/synapse-analytics/sql-data-warehouse/sql-data-warehouse-partner-compatibility-issues

SQL Server と Azure SQL Managed Instance での T-SQL の相違点
https://github.com/MicrosoftDocs/azure-docs.ja-jp/blob/master/articles/azure-sql/managed-instance/transact-sql-tsql-differences-sql-server.md
互換性証明書
https://docs.microsoft.com/ja-jp/sql/database-engine/install-windows/compatibility-certification?view=sql-server-ver15
ALTER DATABASE (Transact-SQL) 互換性レベル
https://docs.microsoft.com/ja-jp/sql/t-sql/statements/alter-database-transact-sql-compatibility-level?view=sql-server-ver15

AWS Glue DataBrewはAWSのビジュアルデータ準備ツール。データプロファイル、データクレンジング、データリネージュ機能がある。データのクリーニングと正規化を迅速にする。コードを記述することなく、データをクリーンアップし正規化する。GlueとBrewで韻を踏んでいるのだろうか。
AWS Glueはコーディング前提のサービスであり、既存ETLからのシフトにはハードルがある。これに対してGlue DataBrewはビジュアル操作を強調しており、既存のデータプロファイリングやクレンジングの市場に影響を与えそうである。
Glue DataBrewはデータセット内のデータを視覚的に探索、把握、統合、クリーンアップ、正規化するためのプロジェクトを作成する。複数のデータセットをマージしたり結合したりできる。データの系統を視覚的にマッピングして、データが通過した様々なデータソースと変換ステップをビジュアルで確認する。
コンソールからは値の分布やヒストグラム、箱ひげ図などでデータの異常を特定できる。データ全体のなかで重複している値や欠けているデータの量、データの分散量（カーディナリティ）、分散の様子、ユニーク値にはどんな値があるかがビジュアルに表示される。
AWS Glue DataBrewではプロファイルジョブを実行して 列レベルのカーディナリティ（値の種類の絶対数）、数値的相関、一意の値、標準偏差などのデータ品質統計を自動生成できる。この際に分析するデータセットのサイズを設定することができる。非常に大きいデータセットの場合に一部のデータに対してプロファイルを実行して、結果を素早く取得することができる。
カーディナリティは項目の値の絶対数である。性別ならば2である。社員番号ならば社員数だけある。カーディナリティが低いとは、カラムの値の種類がレコード数に比べて少ないことを意味する。項目内の要素の重複が多くなる。

侵入検知システムIDS; Intrusion Detection Systemはネットワークやサーバを監視し、不正または異常な通信を検知し、管理者に通知するシステム。ホスト型IDSとネットワーク型IDSがある。前者は各ホストにソフトウェアを導入して分析する。後者はネットワークトラフィックを収集して分析する。多数のホストがある場合はネットワーク型IDSが拡張性の観点で優れている。

AWSでネットワーク型IDSを実装する場合、IDS用のVPCを作成し、全てのトラフィックをこのVPCにルーティングするように設定する。その上で新しいVPCにIDSプラットフォームを構築する。

Amazon GuardDuty はAWSのネットワーク型IDSのサービスである。GuardDutyはAWS CloudTrailイベントログ、Amazon VPCフローログ、DNSログなどの複数のAWS データソースからイベントを分析する。運用しているAWSで実際に起こったイベントが分析対象である。実際のログを分析して脅威が存在するかをチェックする。

Auto Scalingはリソースの使用状況をモニタリングし、その使用状況に応じてEC2 Instanceを自動で増減するサービス。負荷の状況に応じて自動でスケールアウト・スケールインすることができる。スケーラブルで費用対効果が高い。
Auto Scalingを実行するために設定するスケーリングプランには、CloudWatchのメトリクスやスケジュールの指定などを定義する。CloudWatchのメトリクスを参照する場合、CloudWatchが一定間隔で収集したデータを参照してスケールアウト・スケールインする。デフォルトの収集間隔は5分。詳細モニタリングのオプションを有効にすることで1分間隔とすることができる。
EC2 InstanceはAuto Scalingグループで指定したサブネットで動作する。AZが複数ある場合はAZ間でEC2 Instanceの均衡を保つように起動する。EC2 Instanceの増加時はEC2 Instanceが一番少ないAZで起動する。EC2 Instanceの起動に失敗した場合は、起動が成功するまで別のAZで起動を試みる。
AZが複数ある場合のスケールインはデフォルトではEC2 Instance数が最も多いAZ内からランダムにAZを選択する。AZのInstance数が同じ場合は、最も古い起動設定を使用したEC2 InstanceがあるAZを選択する。最も古い起動設定を使用したEC2 Instanceが複数ある場合は、次に課金が発生するまでの時間が最も短いEC2 Instanceを選択する。次に課金が発生するまでの時間が最も短いEC2 Instance複数ある場合は、この中からランダムにEC2 Instanceを選択する。

AWSにはDocker containerをサポートするcontainer orchestration service としてAmazon ECS; Amazon Elastic Container ServiceとAmazon EKS; Elastic Kubernetes Serviceがある。ECSにはEC2起動タイプとFargate起動タイプがある。
EC2起動タイプはEC2上にタスクとしてContainerをデプロイし、サービスをスケーリングすることで処理を分散する。Container自体がスケールし、ホストのリソースをひっ迫させた場合もホストするEC2自体がスケーリングするため、ワークロードに合わせたインフラストラクチャを利用できる。起動したEC2に対して費用が発生する。
EC2起動タイプはContainer実行環境であるホストマシンの管理・運用が必要である。インフラストラクチャを含めて設定を管理したい場合に利用する。
Fargate起動タイプはプラットフォームを含めてフルマネージドになる。ホストマシンを意識せずにContainerを実行できる。EC2 Instance typeの選択やクラスターのプロビジョニングとスケール、各サーバのパッチ適用と更新が不要。ユーザーはアプリケーションのデプロイに集中できる。AWS FargateはAmazon ECSとAmazon Elastic Kubernetes Service; EKS の両方で動作するContainer向けのサーバーレスコンピューティングエンジン。
Amazon ECSは、Amazon ECS タスク定義での Amazon FSx for Windows ファイルサーバーの使用をサポートする。これによってECS Container間で永続的な共有ストレージを使用できる。
ECSではIAMリソースポリシーを VPCエンドポイントにアタッチできる。インターフェイス VPC エンドポイントを使用するようにECSを設定することで、VPCとECS間のトラフィックをAmazonネットワークに制限してVPCセキュリティを向上させることができる。

AWS SSO; Single Sign OnはAWS Accountやクラウドアプリケーションへの SSO アクセスの一元管理を容易にするクラウドベースのSSOサービス。割り当てられたアカウントとアプリケーションの全てに対する1か所からのSSOアクセスをユーザーに提供できるようにする。Microsoft AD; Active DirectoryやAzure AD; Active Directory, Okta Universal Directoryなどの既存のアイデンティティソースに接続することができる。
AWS SSOはオンプレミス環境のADと連携し、AWS Management ConsoleへのSSOを許可することもできる。オンプレミス環境のADの情報を利用し、Management Consoleへのアクセスを許可するためにはSAML 2.0の形式でIdP側とAWSでメタデータ情報を交換し、信頼関係を構築する必要がある。
AWS Directory ServiceのAD Connectorを利用するAD Connectorを利用を利用する場合はManagement Consoleへのアクセスを許可するIAM Roleを作成し、IAM RoleにAWS Directory Serviceとの信頼関係を設定する。AWS Directory Service for Microsoft ADを利用する場合は、AWS Directory Service for Microsoft ADとオンプレミス環境のAD間に信頼関係を設定する必要がある。

Internet Gatewayは、VPCとInternetとの間の通信を可能にするVPCコンポーネント。VPC内のリソースからInternetへアクセスするためのGateway。Internet GatewayはIPv4 トラフィックとIPv6トラフィックをサポートする。
Internet GatewayはInstanceに代わって1対1のNATを論理的に行う。トラフィックがVPC subnetから出てInternetへ向かう時、返信アドレスフィールドはInstanceのPrivate IP AddressではなくPublic IPv4 Addressまたは Elastic IP Addressに設定される。逆にInstanceのPublic IPv4 Addressまたは Elastic IP Address宛てのトラフィックは、その送信先アドレスがInstanceのPrivate IP Addressに変換されてから、VPC に配信される。

AWS Backupはバックアップのサービス。AWS Backupは、Amazon DynamoDB table, Amazon EBS volume, Amazon EFS, Amazon EC2 Instance, Amazon FSx, Amazon RDS, Aurora Cluster, AWS Storage Gateway volumeなどの AWS resourceのバックアップポリシーを一元的に設定し、バックアップアクティビティをモニタリングできる。AWS BackupはAWS Storage Gatewayと統合されており、AWS Storage Gatewayに保存されたオンプレミスデータも同じポリシーでバックアップできる。
AWS Backupはクロスリージョンバックアップやクロスアカウントバックアップが可能。クロスアカウントバックアップはAWS Organizations内の別のAccountにバックアップをコピーできる。AWS Organizationsを活用してソースアカウントと送信先アカウントを定義する。クロスアカウントバックアップとクロスリージョンバックアップの同時適用も可能。これによってバックアップを別のRegionの別のAccountにコピーできる。

AWS Storage Gatewayは既存のオンプレミス環境とAWS Cloudを接続するハイブリッドクラウドストレージサービス。オンプレミスのソフトウェアアプライアンスをクラウドベースのストレージと接続し、オンプレミスのIT環境とAWSのストレージインフラストラクチャをシームレスに統合する。オンプレミスアプリケーションをS3, EBS, Glacierのようなストレージサービスに接続する。オンプレミス環境とクラウド環境との隙間を埋める。
AWS Storage Gatewayはローカルキャッシュを有している。ローカルキャッシュを利用することで、データをオンプレミスに保持し、データアクセスと復元時間を最小限に抑えることができる。GatewayからAWSにデータをアップロードするために利用できるネットワーク帯域幅が限られている場合、アップロードのためにローカルキャッシュに多くのデータをバッファできる。
AWS Storage Gateway にはFile, Volume, Tapeの3種類がある。File Gateway はデータをS3に直接objectとして格納する。S3 object storageへのFile protocol accessを必要とするオンプレミスや EC2 ベースのアプリケーションで使用できる。NFS; Network File SystemやSMB; Server Message Blockなどの業界標準のFile protocolを使用して、S3でobjectの保存や取得を行う。
File Gatewayにはアクセスベースの列挙機能がある。アクセス許可に基づいて開くことができないSMBファイル共有やフォルダ、ファイルがユーザーに表示されないようにすることができる。各ユーザーには自身がアクセスできるフォルダとファイルのみを表示することで、フォルダ構造の簡略化されたビューを提供する。
Volume GatewayはInterfaceにiSCSIを使用。Volume Gatewayにはキャッシュ型と保管型がある。キャッシュ型はプライマリデータを S3に格納する。アクセス頻度の高いデータはローカルにキャッシュすることでデータへの高速アクセスが可能になる。保管型はプライマリデータをローカルに保存し、非同期にS3にバックアップを格納する。
Volume Gateway ではLocal Volumeのスナップショットを取得し、そのスナップショットを Amazon EBSに保存することもできる。このようなスナップショットから新たに Amazon EBS Volumeを作成し、それを Amazon EC2 Instanceにアタッチできる。
Tape Gatewayは物理テープ装置の代替としてデータをS3に格納する。InterfaceにiSCSIを使用。Tape GatewayとVolume Gatewayではスケジュールベースでネットワーク帯域幅を調整できる。Gatewayで設定したスケジュールに基づいて、Gatewayがオンプレミスデータを AWS と同期するために使用するネットワーク帯域幅を調整できる。これにより、ピーク時の帯域幅の使用を調整してネットワークの混雑を最小限に抑え、ピーク時以外の時に使用可能な全ての帯域幅を使用できる。

AWS Systems Manager ExplorerはAWS AccountとRegion全体の運用データを表示する運用ダッシュボード。EC2 Instanceの概要やパッチのコンプライアンスなど、関連する運用データをわかりやすくグラフィカルに表示する。
AWS Configルールと関連のあるリソースコンプライアンスの概要を提供する。AWS Config ウィジェットで準拠/非準拠のルールとリソースを選択し、ルール名、修復アクション、リソースの詳細、Regionなどの詳細を表示できる。これらの詳細をCSVファイルにエクスポートし、Amazon SNS通知を発行できる。

AWS DataSyncは、オンプレミスのストレージとAWSストレージサービスやAWSストレージサービス間のデータの移動を簡素化、自動化、高速化するオンラインデータ転送サービス。Network File System; NFS共有やServer Message Block; SMB共有、Amazon S3, Amazon EFS, Amazon FSx for Windowsファイルサーバー間でファイルやオブジェクトを転送できる。
AWS DataSyncは転送中のデータの自動暗号化や転送中および保存中のデータ整合性検証などが可能。送信元のファイルシステムと送信先にある全てのファイルのチェックサムをローカルで計算して比較する。DataSyncは、送信元のファイルシステムと送信先にある全てのファイルのメタデータを比較する。いずれかに相違がある場合には、検証は失敗し、何が失敗したかを明確に指定するエラーコードを表示する。
AWS DataSyncタスクスケジューリングにより、転送タスクを定期的に実行して、ソースからターゲットに変更をコピーできる。タスクスケジューリングは、設定したスケジュールでタスクを毎時または毎日、毎週と自動的に実行できる。
ファイルがロックされていて、サーバーによってDataSyncが当該ファイルを開くことを禁止されている場合、DataSyncは当該ファイルの転送をスキップする。DataSyncはTRANSFERRINGフェーズ中にエラーをログに記録し、検証エラーを送信する。

AWSはDocker containerをサポートするcontainer orchestration service としてAmazon ECS; Amazon Elastic Container Serviceを提供する。ECSにはEC2起動タイプとFargate起動タイプがある。
EC2起動タイプはEC2上にタスクとしてContainerをデプロイし、サービスをスケーリングすることで処理を分散する。Container自体がスケールし、ホストのリソースをひっ迫させた場合もホストするEC2自体がスケーリングするため、ワークロードに合わせたインフラストラクチャを利用できる。起動したEC2に対して費用が発生する。
EC2起動タイプはContainer実行環境であるホストマシンの管理・運用が必要である。インフラストラクチャを含めて設定を管理したい場合に利用する。
Fargate起動タイプはプラットフォームを含めてフルマネージドになる。ホストマシンを意識せずにContainerを実行できる。EC2 Instance typeの選択やクラスターのプロビジョニングとスケール、各サーバのパッチ適用と更新が不要。ユーザーはアプリケーションのデプロイに集中できる。AWS FargateはAmazon ECSとAmazon Elastic Kubernetes Service; EKS の両方で動作するContainer向けのサーバーレスコンピューティングエンジン。
Amazon ECSは、Amazon ECS タスク定義での Amazon FSx for Windows ファイルサーバーの使用をサポートする。これによってECS Container間で永続的な共有ストレージを使用できる。