MS_AzureSynapse

Azure Synapse

• 戻る（AzureのBI系サービス）
  • Power BI
  • Azure Analysis Services
  • Azure Data Explorer
  • Elastic on Azure
  • Azure Synapse

概要

• Azure SQL Data Warehouse の進化版

• Azure Databricks で提唱されたレイクハウス
  とは言うモノの、専用のデータウェアハウス（DWH）は必要。みたいな話。

• データは、Azure Data Factoryや
  Azure Databricksで加工してストアする。

補足（「レイクハウスとは言うモノの」の含意）: この一文は、
データ レイクと DWH の役割分担についての議論を指している。

【レイクハウス派】
  データ レイク（安価・生データ）に直接クエリすれば DWH は不要

【DWH 必要派（原文の立場）】
  結局、以下の理由で専用の DWH は要る
    ・列指向で最適化された高速な集計
    ・スキーマとデータ品質の保証
    ・多数の利用者からの同時実行と一貫した性能

Synapse は、この両方を 1 つのワークスペースに束ねるという
解決を採った点が特徴である。

詳細

補足（原文が空欄のため、構成を補う）

何が「統合」されているのか

Azure Synapse Analytics は、複数のエンジンを
1 つのワークスペースにまとめたものである。

構成要素	内容
専用 SQL プール	旧 SQL Data Warehouse。MPP 型の DWH。事前にプロビジョニングし、DWU 単位で課金
サーバーレス SQL プール	データ レイク上のファイルにそのまま T-SQL でクエリ。処理データ量で課金
Spark プール	Apache Spark。ノートブックでの加工・機械学習
パイプライン	Azure Data Factoryと同等の ETL 機能
Synapse Studio	上記を横断する統合 Web UI

「レイクハウスとは言うモノの DWH は必要」という原文の主張が、
サーバーレス SQL プール（レイクに直接）と
専用 SQL プール（本格 DWH）の両方を持つという構成に表れている。

専用 SQL プールの特性

旧 SQL Data Warehouse を引き継ぐ **MPP（Massively Parallel Processing）**で、
データを 60 の分散（distribution）に分割して並列処理する。
このため、テーブルの分散方式の選択が性能を大きく左右する。

分散方式	適する対象
ハッシュ分散	大きなファクト テーブル（結合キーで分散）
ラウンドロビン	ステージング用の一時テーブル
レプリケート	小さなディメンション テーブル（全ノードに複製）

結合するテーブル同士を同じキーでハッシュ分散しておくと、
ノード間のデータ移動（data movement）が減って大幅に速くなる。
SQL Server パーティション分割とは
目的が異なる（あちらは管理性、こちらは並列度）点に注意。

現在の位置づけ

Microsoft Fabric（2023 年〜）が後継の統合基盤として登場しており、
新規構築では Fabric の
Data Warehouse / Data Engineering が案内されることが多い。
Synapse は継続提供されているが、
新機能の投入は Fabric 側が中心になっている。

参考

microsoft.com

Microsoft Azure

• Azure Synapse Analytics
  https://azure.microsoft.com/ja-jp/products/synapse-analytics/

Microsoft Learn

• Azure Synapse Analytics のドキュメント
  https://learn.microsoft.com/ja-jp/azure/synapse-analytics/
• 専用 SQL プールでのテーブルの分散に関するガイダンス
  https://learn.microsoft.com/ja-jp/azure/synapse-analytics/sql-data-warehouse/sql-data-warehouse-tables-distribute

---

Tags: 移行, クラウド, ビッグデータ, Azure