Skip to content

MS_AzureDataLake

Jump to bottom
nishi_74322014 edited this page Sep 1, 2026 · 1 revision

Azure Data Lake

概要

補足（原文が空欄のため、補う）: 「データ レイク」は
加工前の生データを、形式を問わずそのまま大量に置いておく場所を指す考え方である。

【データ ウェアハウス（DWH）】
  入れる前にスキーマを決めて整形する（schema-on-write）
  → 使い道が決まっているデータに強い

【データ レイク】
  生のまま入れておき、読むときに解釈する（schema-on-read）
  → 「後で何に使うか分からない」データに強い

Azure Data Lake は、この考え方を実現するための

  • Storage（置き場所）
  • Analytics（その上での分析基盤）

の 2 系統からなる、というのが本ページの構成である。

詳細

Analytics

Data Lake Analytics

補足（最新化）: Azure Data Lake Analytics は
2024 年 2 月に提供終了した。
独自言語 U-SQL（SQL ＋ C# のハイブリッド）で
サーバーレスに分析ジョブを実行するサービスだったが、
Azure Databricks や
Azure Synapse の Spark プールへの
移行が案内されている。

Azure HDInsight

Storage

  • ビッグ データ分析用のスケーラブルで費用対効果の高いストレージ
  • 複数のプラットフォームと言語であらゆる種類の処理と分析を簡単に実行するために必要な機能

Azure Data Lake Storage Gen1

  • 2024 年 2 月 29 日 に Azure Data Lake Storage Gen1 は廃止予定
  • ビッグ データの分析ワークロードに対応するエンタープライズ レベルのハイパースケール リポジトリ
  • 運用分析や調査分析を目的として任意のサイズ、種類、および取り込み速度のデータを 1 か所でキャプチャ
  • Hadoop (HDInsight クラスターで使用可能) から、WebHDFS と互換性のある REST API を使用してアクセス可能

補足（最新化）: 予告どおり Gen1 は 2024 年 2 月 29 日に廃止された。
現在は Gen2 のみである。

Azure Data Lake Storage Gen2

  • Azure Blob Storage と Azure Data Lake Storage Gen1 の機能を集約。
  • Azure Blob Storage に基づいて構築された、ビッグ データ分析専用の機能セット。
    • ファイル システム セマンティクス、ファイルレベルのセキュリティ、スケーリング機能が提供される。
    • 高可用性およびディザスター リカバリー機能を備えた低コストの階層型ストレージも利用可能。

補足（Gen2 の実体）: Gen2 は独立したサービスではなく、
ストレージ アカウントの「階層構造の名前空間
（Hierarchical Namespace, HNS）」を有効にしたものである。

【通常の Blob】     フラットな key-value。"/" は名前の一部でしかない
                    → ディレクトリの一括リネーム = 全ファイルのコピー

【Gen2（HNS 有効）】 本物のディレクトリ構造を持つ
                    → ディレクトリのリネーム = メタデータ操作のみ（高速）
                    → ディレクトリ単位の ACL（POSIX 風）が付けられる

分析処理では中間結果をディレクトリごと移動する操作が頻出するため、
この違いが性能に直結する。

実務上の注意:

  • HNS はアカウント作成時にしか有効化できない
    （後から有効化する移行機能はあるが、計画的に決めるべき）。
  • HNS を有効にすると使えなくなる機能がある（一部の Blob 機能）ため、
    汎用ストレージと分析用ストレージはアカウントを分けるのが定石。
  • アクセス制御は RBAC（粗い）と ACL（細かい）の併用になる。

参考

Qiita

microsoft.com

Microsoft Azure

Microsoft Learn

Tags: 移行, クラウド, ビッグデータ, Azure

このWikiは「Open棟梁Project」,「OSSコンソーシアム 開発基盤部会」によって運営されています。

NetDevInfraWiki

マイクロソフト系技術情報 Wiki
Open 棟梁 Wiki

（未着手）

開発基盤部会 Wiki

移行管理: DONE ／ TODO

Clone this wiki locally