Skip to content

DNET_LLMStartHere

nishi_74322014 edited this page Sep 11, 2026 · 1 revision

オリジナル・コンテンツ(イキナリLLMからスタートしたい)

概要

(何気に、以下の概要の文字列は生成AIで生成していたりする笑)

  • イキナリLLMからスタートしたい
    ~Python知らなくても、機械学習の基礎飛ばして、LLMを即戦力に!~
  • 伝統的なルートを飛び越えて、LLMの世界にダイブしましょう!
    あなたのAI活用が、今日から変わります。

なぜ「イキナリLLM」なのか?

  • AIの波が急速に広がる中、特にLLM、大規模言語モデルが
    ビジネスや日常に浸透し始めています。

  • ChatGPTやGeminiなどのツールがEUCとして誰でも簡単に使えるようになり、
    企業ではLLMを活用した業務効率化が急務となっています。

    • しかし、伝統的な学習パスでは、先ず、G検定
      E資格を目指し、Pythonプログラミングを学び、
      機械学習の基礎を固め、深層学習を理解
    • そして、ようやく大規模な言語モデルであるLLM
      Transformer系)に到達する……
      というステップを踏むのが一般的です。
      これでは、数ヶ月から1年かかることも珍しくありません。
  • 「そんな時間がない! すぐにLLMを使って仕事やプロジェクトに活かしたい!」
    という声に応えるのが、このコンテンツの目的です。

    • 私たちは、最小限の前提知識でLLMの核心に飛び込み、
      即実践できるスキルを提供します。Pythonの基本すら知らなくてもOK。
    • 段階を飛ばして、LLMの活用法から逆算して必要な知識をピックアップし、
      短期間で「LLMを使いこなせる人」を生み出します。

このコンテンツの対象者

  • LLMに興味はあるけど、プログラミング経験ゼロの人
  • 基礎を学ぶ時間は無いが直ぐに実務で使いたいビジネスパーソン
  • AIツールをEUCとして活用し、業務効率化を目指す人
  • 各資格の取得は後回しで、まずはLLMの面白さを体感したい人

学習の目標と流れ

  • LLMの基礎理解(理論ゼロからスタート):LLMとは何か? なぜ今注目されているのか? を実例で解説。
  • 即実践ツール活用:APIやノーコードツールを使って、LLMを動かす(Python不要の方法から)。
  • 必須知識の逆引き学習:LLMを使う上で必要な機械学習/深層学習のエッセンスだけをピックアップ。
  • プロジェクト実践:チャットボット作成やテキスト生成などのハンズオンで即戦力化。

詳細

LLMの基礎理解

以下をLLMに聞いてみてください(笑)

LLMとは何か?

  • 言語モデルのうち、主に次単語予測を行うもので、Transformerを使用した大規模なモノ。

  • 大規模なテキストコーパスを使って学習、
    タスク(生成、理解、抽出)に合わせて追加学習される。

    • 自然言語生成(NLG)

      • 文章生成
      • 要約
      • 翻訳
      • 対話
    • 自然言語理解(NLU)

      • 質問応答
      • 感情分析
      • 意図認識
      • 文書分類
    • 情報抽出(IE)

      • 実体
      • 関係
      • 要点
  • 更に、ドメイン(業務、教育、医療、法律、開発、創作)にあわせて
    ファインチューニングされる。

注目の理由は?

  • 自然言語処理のブレイクスルー
    従来のルールベースや小規模モデルでは難しかった
    自然な会話や創造的な文章生成が可能。

  • 汎用性の高さ
    1つのモデルで複数のタスクをこなせるため、開発コストや時間を大幅に削減。

  • 業務効率化・自動化
    カスタマーサポート、ドキュメント生成、データ分析など、さまざまな業務に応用可能。

  • 急速な進化とオープン化
    OpenAI、Meta、Google、Anthropicなどが競って開発を進めており、OSSのLLMも登場。

実例で解説

  • カスタマーサポートの自動化
    チャットボットが顧客の質問に自動応答。

  • 社内ドキュメント検索エージェント
    社内のPDFやドキュメントを自然言語で検索・要約。

  • コード生成・レビュー支援
    開発者が自然言語で指示を出すと、コードを生成・修正・レビュー。

環境構築編

Python環境

Pythonのインストール方法と基本的な動作確認を解説。

  • Pythonのバージョン(2025/10現在)

    • 3.8~3.11の推奨理由:安定性・機能性・互換性のバランスが非常に良い。

    • 3.12の推奨理由:パフォーマンス・開発体験・型安全性・構文の柔軟性

    • また、更に別バージョンをインストールしたり、仮想環境を使用したりする。

      • システムPythonを汚さないよう別のPythonをインストールすることもできる。
      • 仮想環境を使用についてはPKGMGRと仮想環境で解説する。
  • WindowsのWSL2でのPythonインストール手順

  • ターミナル / コマンドプロンプトでの基本操作(python)
    Pythonの該当節を参照)

PKGMGRと仮想環境

「PKGMGR」と「仮想環境」の使用方法を学び、プロジェクト毎に独立した環境を構築、
LLM関連パッケージを安全にインストール。

  • PKGMGR

    • ...とは、パッケージ・マネージャーのこと

    • pythonではpipと言うパッケージ・マネージャーを使用する。

    • ターミナル / コマンドプロンプトでの基本操作(pip)
      Pythonの該当節を参照)

  • 仮想環境(Pythonの該当節を参照)

    • 実行単位に依存関係のPKGバージョンが異なると、
      スクリプト系特有の互換性の緩さから、動かないことが多い。

    • 仮想環境では、環境や実行の単位毎にインストール・パッケージを別々に管理できる。

    • ターミナル / コマンドプロンプトでの基本操作(venv)
      Pythonの該当節を参照)

Notebook環境

Jupyter系やGoogle Colabのセットアップ。
PythonのREPL(対話型シェル)以上のインタラクティブ体験を説明。

IDE環境

より本格的な開発向けに、IDEのセットアップ。将来的なスケールアップに備える

基本ツール編

前提

# LLM系
OPENAI_API_KEY=sk-proj-...
# Proxy環境下で使用する場合は
HTTP_PROXY=" http://<USERID>:<PASSWORD>@<HOSTNAME>:<PORTNUMBER>"
HTTPS_PROXY=" http://<USERID>:<PASSWORD>@<HOSTNAME>:<PORTNUMBER>"
REQUESTS_CA_BUNDLE=combined-ca-bundle.pem
# ...
  • JupyterLabのPythonセルで...

    • はじめにパッケージのインストール(Pythonシェルマジック)

      !pip install python-dotenv

      ※ JupyterLabのPythonセルからシェルを実行する場合、「!」を付与する。

    • 以下のコードで「.env」ファイルの環境変数をロード(Python)

      from dotenv import load_dotenv
      import os
      
      # .env ファイルをロード
      load_dotenv()

      ※ カレント・ディレクトリからルートに遡ってはじめに見つかった
      「.env」ファイルを適用する。

Ollama

ローカルでLLMを動かすための軽量ツール、プライバシーやコストを意識した活用法を学ぶ。

  • Ollamaのインストール(Ollamaの該当節を参照)

  • OSSモデルのダウンロードと実行(Ollamaの該当節を参照)

  • APIエンドポイントを使った簡単なアプリケーション構築
    Ollamaの該当節を参照)

OpenAI API

OpenAI API(ChatGPTの基盤)を使ったLLM活用の入門。

  • APIキーの取得とセットアップ(OpenAI APIの該当節を参照)。

  • 簡単なテキスト生成(curl → python)(OpenAI APIの該当節を参照)。

LlamaIndex

LlamaIndex を使いRAGを作成。

※ 実装レベルの参考はコチラ(LlamaIndexの該当節を参照)

  • LlamaIndexの概要

    • RAGを簡単に実装するためのフレームワーク
    • LangChainよりRAG、特にIndexに特化している。
  • インストールと基本設定(LLM_LlamaIndex1.ipynb)

  • 実例

    • ベクトル検索(LLM_LlamaIndex1.ipynb)
    • グラフ検索(LLM_LlamaIndex2.ipynb)
  • その他、様々なインデックス(LlamaIndexの該当節を参照)

  • その他の機能

    • エージェントの構築(LLM_LlamaIndex3.ipynb)
    • パイプライン、ワークフロー(LLM_LlamaIndex4.ipynb)
    • 構造化データ抽出(...)

LangChain

  • LangChainの概要

    • LLMを簡単に実装するためのフレームワーク。
    • Script、LLM界隈の悪しき慣習(I/F変更)の象徴(笑)
      LangChainの該当節を参照)
  • 実行できたら同時の環境を記憶しておく。

    • 仮想環境からパッケージ情報を抜いてくる(シェル)

      pip freeze > requirements.txt
    • 当該仮想環境のパッケージの全クリア(シェル)

      pip uninstall -r <(pip freeze) -y
    • 当該仮想環境のパッケージの再インストール(シェル)

      pip install -r requirements.txt
  • インストールと基本設定、基本機能の実行
    LLM Engineering:Master AI、Large Language Models&Agentsの該当節を参照)

  • ただし、動作しなくなっているので、
    チュートリアルはコチラ(笑)

Gradio

LangFlow

LangFlowを使い基本的なチュートリアルを実行。

LLMエージェント編

エージェント概要

エージェントとは何か、LLMとの違いを理解し、次のプログラミングに意欲を持つ。

  • エージェントの定義
  • 実例:タスク分解、外部ツール連携
  • フレームワークの紹介

ほぼバズワードのMCP

  • MCP(Model Context Protocol)

  • AIモデルと外部システムのやりとりを標準化するオープン・プロトコル

  • MCPの機能要件はFunction callingと変わらないが、
    その他の幾つかの非機能要件に対応。

  • 関心の本丸はSaaS(法人向けの重量級機能)の利用(統一的なアクセスポイント化)

マルチ・エージェント

  • マルチ・エージェント(LLMエージェントの該当節を参照)

  • 利用例、実装例

  • PE技法との関連

    • Self-Consistency(自己整合性)
    • GKP(Generated Knowledge Prompting)
    • Self-Ask
    • ToT(Tree of Thoughts)
    • AoT(Algorithm of Thoughts)
  • 連携方式

    • 協調スタイル
    • 制御モデル
    • 通信モデル・プロトコル
    • 共有リソースモデル
    • その他のトピック

エージェント・フレームワーク

エージェントを動かす簡単なコード実装・実行し、感覚をつかむ。

  • インストール
  • エージェント定義
  • ハンズオンの内容

GPUオフロード環境編

Google Colaboratory

Hugging Face

項目 Spaces Inference Endpoints
主目的 デモ・プロトタイプ・インタラクティブな体験共有 本番運用向けの安定したAPI提供
UIの有無 ほぼ必ずWeb UIがある(Gradio / Streamlit) 基本的にUIなし、純粋なREST API
誰に向いているか 研究/デモ/ポートフォリオ/ハッカソン/プロトタイプ 本番バックエンド・企業利用
使いやすさ ★★★★★(数クリックで公開可能) ★★★☆☆(設定項目が多いがドキュメントは充実)
カスタマイズ性 高い(Pythonコードほぼ自由) 制限あり(Transformers / TGI / TEI ベース)
スケーラビリティ 普通〜弱め(無料枠はスリープ) 強い(オートスケール&ゼロスケール)
セキュリティ Public / Private / Secret Public / Protected / Private(VPC対応も可)
スリープ/ゼロスケール 無料枠は数十分〜数時間でスリープ ゼロスケール対応
GPU利用 可能(有料枠でA100/H100なども) 可能(幅広いGPU/CPUインスタンス選択可)
課金体系のイメージ 無料枠あり・常時稼働は時間課金 ゼロスケールで実質従量課金
2026年現在の価格目安 無料〜数ドル/時(GPU) $0.03〜数十ドル/時(インスタンスによる)

Modal (.com) 他

サーバーレス/オンデマンドGPUプラットフォーム(Spacesのような UI は無し)

項目 Replicate Modal RunPod
ターゲット コミュニティモデル利用者 Pythonista、複雑な前/後処理、バッチ とにかく安くGPUを使いたい
主な強み 豊富なコミュニティモデルを最も簡単に Pythonだけで完結、開発者体験最高 最安値クラス + GPU種類最多
XaaS CaaS(cogベース) FaaS FaaS(Serverless) & CaaS(Pods)
デプロイのしやすさ 数行でAPI化 Python SDK、@app.functionデコレータ、CLI テンプレート豊富だが設定多め
コールドスタート時間 数秒-10秒台(人気モデルはほぼゼロ) -数秒 FlashBootで<200ms-数秒
GPU種類 中(T4/A100/H100中心) 中〜多(T4〜H100/H200) 最多(RTX 4090〜H100/H200/MI300X/AMDなど)
価格帯の目安(A100 40GB 1枚/時) $3.5〜5.0前後 $2.5〜4.0前後 $1.9〜2.7前後(最安クラス)
課金単位 秒単位 / 入力トークン単位のモデルもあり 秒単位(scale-to-zero完全対応) 秒単位(Serverless) / 分単位(Pods)
UI / 管理画面 非常に洗練(モデルページがそのままAPI) CLI/SDK中心(Webダッシュボードは補助的) Webコンソール充実(Pods管理しやすい)
スケーリング 自動(非常に優秀) 自動(数千並列も余裕) 自動(Serverless) / 手動(Pods)
カスタムコード自由度 中(cog.yamlで指定) ほぼ何でもPythonで書ける Dockerコンテナ持ち込み自由
典型的なユースケース HFモデル、Stable Diffusion、Translator系 の WebAPI RAG、バッチ推論、データ前処理 LoRA/QLoRA fine-tuning、大量並列推論、コスト最優先

※ cogはMLモデルを本番環境に対応した
標準的なコンテナにパッケージ化するためのOSSツール

※ 上記以外にも、GPUSOROBAN(日本向け)、Lambda(企業レベル大規模クラスタ)、
Vast.ai(RunPod競合)などがあるらしい。

LLMファインチューニング編

ファインチューニング概要

ファインチューニングの基本概念と必要性を解説。
ファインチューニングの目的とプロセスを直感的に理解。

  • ファインチューニングとは?(モデルを特定タスクに最適化)。

  • 転移学習やLoRA(軽量チューニング)の簡単な説明。

  • 実例: カスタマーサポート向けの応答モデル、専門用語対応モデル。

  • 必要なデータセットの準備(例: JSONやCSV形式)。

  • コストや計算リソースの現実的な話(GPU必要性など)を追加。

ファインチューニング・プログラミング

実際にファインチューニングを実践、簡単なファインチューニングを自分で実行し、
業務特化のモデルを試作。

  • オープンソースモデルをHugging Faceでチューニング

  • LoRAを使った軽量チューニングの実装(peftライブラリ)

  • ハンズオン: 小規模データセットでカスタムモデル作成。

  • 評価方法(生成結果の比較、精度チェック)

  • Google Colab などの無料GPU活用をガイド

全体の補足と提案

移行メモ

  • PukiWiki のページ内アンカ(#xxxxxxxx)は GitHub Wiki では再現できないため、

    • 同一ページ内のアンカは、見出しから生成されるアンカに張り替え、
    • 他ページのアンカを指すリンクは「〜(ページ名 の該当節を参照)」の形に置き換えた。
  • 元 Wiki で見出しそのものが他ページへのリンクになっていた箇所 (「Ollama」「OpenAI API」「Gradio」「LLMエージェント編」「エージェント概要」 「ほぼバズワードのMCP」「マルチ・エージェント」「エージェント・フレームワーク」 「Google Colaboratory」「Hugging Face」「Modal (.com) 他」)は、 GitHub Wiki では見出しからアンカが生成されるため、 見出しをプレーン・テキストとし、リンクは直下の箇条書きに置いた。

  • 元 Wiki の行頭空白によるプレフォーマット・ブロックは、 フェンス付きコードブロックにした。

  • 元ページの誤記を修正した。 LlamaIndex 節の見出し下の「LangChainの概要」→「LlamaIndexの概要」、 「構築構造化データ抽出」→「構造化データ抽出」、 「スクリプト系特融の互換性」→「スクリプト系特有の互換性」、 「利用例、P実装例」→「利用例、実装例」、 「Spacesの用なUIは無し」→「Spaces のような UI は無し」、 「LoRA/QLORA fine-tuning」→「LoRA/QLoRA fine-tuning」。


Tags: 移行, LLM, 学習ロードマップ, Python, JupyterLab, Ollama, OpenAI API, LlamaIndex, LangChain, Gradio, LangFlow, エージェント, ファインチューニング

NetDevInfraWiki

マイクロソフト系技術情報 Wiki
Open 棟梁 Wiki

(未着手)

開発基盤部会 Wiki

移行管理: DONETODO

Clone this wiki locally