DNET_BigData

ビッグデータ

• 戻る（サービス）
  • SaaS設計のポイント > 要素技術
  • DXのポイント > DX設計のポイント、ユースケース検証（DX系）
    • IoT
    • ビッグデータ
    • BI / AI

概要

• 時代はビッグデータのハズ？
• EXCELに入り切るかどうか？（１つの基準）

3V

以下の増加（量（Volume）だけではない！）。

量（Volume）

• データ量

• テクノロジー

  • 超並列処理（Massively Parallel Processing）
  • 分散処理

処理速度（Velocity）

• データの生成される速度

• テクノロジー

  • ストリーム処理（分散処理の該当節を参照）
    • データ収集(DC)系
    • シングル・イベント・プロセッサ(SEP)系
    • 複雑イベントプロセッサ(CEP)、
      イベントストリームプロセッサエンジン(ESP)系

多様性（Variety）

• 扱うデータの多様性

• テクノロジー

  • 現実的な難題の多い分野
  • まだテクノロジーが問題を解決していない分野

4V, 5V

3V

Veracity

• データの正確さ

• テクノロジー
  多様性（Variety）と同様に、まだテクノロジーが問題を解決していない分野

Value

移行メモ: 元ページでは見出しのみで本文が無い（書きかけ）。

詳細

データの泉源

オープンデータ

公共の公開されたデータ

• 機械判読に適したデータ形式
• 二次利用が可能な利用ルール

企業データ

企業が蓄積したデータ

データの発生場所

SNSデータ

SNSの情報

Webサイト・データ

サイト運営中に生成される情報

• ログ・データ
• Webシステムにエントリされたデータ
• マルチメディア（音声・動画）の再生データ

カスタマー・データ

顧客に関する情報

• CRM、カード

• POSなどのデータ

• 患者データ（AIの活用例の該当節を参照）

オフィス・データ

事務で発生するデータ

オペレーション・データ

業務で発生するデータ

• POSなどのデータ

センサー・データ

センサーが生成するデータ

• 製造業系
• 医療系
• , etc.

のモニタリング・システム。

※ 沢山あって網羅しきれない。

データの種類

構造化データ

• テーブル構造
• ネットワーク構造
• 時系列（統計解析の該当節を参照）
• , etc.

非構造化データ

データサイエンス力の該当節を参照。

データからの知識発見

データの収集と整形

• 全体の80-90％

• データの収集の問題

  • どこにある？
  • 生データのデジタル化
  • 業務システム（レガシー）
  • 外部システム
  • 分析手段が属人的
  • 結果が理解されない。

• 基盤：データ・パイプライン

機械学習ツール

• 人工知能（AI）

• 学習に必要なデータの量の問題

  • 人間：O(1)
  • 知識主導型学習：O(10)
  • 従来型学習：O(10^2)-O(10^4)
  • 深層学習：O(10^6)

データの解釈と評価

人間が行う。

基盤部分

スタック＆コラボレーション

• IoT → ビッグデータ → 人工知能（AI）

• プロダクトの組み合わせ（本ページの「データ・パイプライン」節を参照）

データ・パイプライン

フロントエンドからバックエンドまでの流れ

• Device、Edge（データの発生場所）
• Cloud
  • Device、Edgeの管理
  • データストア（ストレージ、NoSQL）
  • データ処理（EAI/ETL、分散処理）
  • データ解析ツール（データ解析の該当節を参照）

データサイエンティスト

突如として人気を博してきた背景には、
ビッグデータを重視するようになった企業の姿勢がある。

• データサイエンス力
• データ分析

参考

関連

• ストレージ
• NoSQL
• EAI/ETL
• 分散処理

ゼッタテクノロジー株式会社

データ活用塾
https://www.zetta.co.jp/bigdata/

ビッグデータ活用講座

https://www.zetta.co.jp/bigdata/l_000_top.shtml

• 始めに　ビッグデータとは
• 第１回　問題解決方法
• 第２回　データクレンジング
• 第３回　単純集計とカテゴライズ
• 第４回　Excelを使ったクロス集計
• 第５回　多重クロス集計1
• 第６回　多重クロス集計2
• 第７回　アソシエーション分析１
• 第８回　アソシエーション分析２

特別講座

https://www.zetta.co.jp/bigdata/sl_101.shtml

• 杉浦先生基調講演：前編
• 杉浦先生基調講演：中編
• 杉浦先生基調講演：後編

ビッグデータ | Coursera

https://www.coursera.org/specializations/big-data

• Introduction to Big Data
  https://www.coursera.org/learn/big-data-introduction?specialization=big-data
• Big Data Modeling and Management Systems
  https://www.coursera.org/learn/big-data-management?specialization=big-data
• Big Data Integration and Processing
  https://www.coursera.org/learn/big-data-integration-processing?specialization=big-data
• Machine Learning With Big Data
  https://www.coursera.org/learn/big-data-machine-learning?specialization=big-data

---

Tags: 移行, サービス, DX, ビッグデータ, 開発基盤