-
Notifications
You must be signed in to change notification settings - Fork 0
DNET_LLMStartHere
- 戻る(テキスト生成系(Transformer系) > 学習系(テキスト生成系(Transformer系)の該当節を参照)、LLMエージェント)
(何気に、以下の概要の文字列は生成AIで生成していたりする笑)
- イキナリLLMからスタートしたい
~Python知らなくても、機械学習の基礎飛ばして、LLMを即戦力に!~ - 伝統的なルートを飛び越えて、LLMの世界にダイブしましょう!
あなたのAI活用が、今日から変わります。
-
AIの波が急速に広がる中、特にLLM、大規模言語モデルが
ビジネスや日常に浸透し始めています。 -
ChatGPTやGeminiなどのツールがEUCとして誰でも簡単に使えるようになり、
企業ではLLMを活用した業務効率化が急務となっています。 -
「そんな時間がない! すぐにLLMを使って仕事やプロジェクトに活かしたい!」
という声に応えるのが、このコンテンツの目的です。- 私たちは、最小限の前提知識でLLMの核心に飛び込み、
即実践できるスキルを提供します。Pythonの基本すら知らなくてもOK。 - 段階を飛ばして、LLMの活用法から逆算して必要な知識をピックアップし、
短期間で「LLMを使いこなせる人」を生み出します。
- 私たちは、最小限の前提知識でLLMの核心に飛び込み、
- LLMに興味はあるけど、プログラミング経験ゼロの人
- 基礎を学ぶ時間は無いが直ぐに実務で使いたいビジネスパーソン
- AIツールをEUCとして活用し、業務効率化を目指す人
- 各資格の取得は後回しで、まずはLLMの面白さを体感したい人
- LLMの基礎理解(理論ゼロからスタート):LLMとは何か? なぜ今注目されているのか? を実例で解説。
- 即実践ツール活用:APIやノーコードツールを使って、LLMを動かす(Python不要の方法から)。
- 必須知識の逆引き学習:LLMを使う上で必要な機械学習/深層学習のエッセンスだけをピックアップ。
- プロジェクト実践:チャットボット作成やテキスト生成などのハンズオンで即戦力化。
以下をLLMに聞いてみてください(笑)
-
言語モデルのうち、主に次単語予測を行うもので、Transformerを使用した大規模なモノ。
-
大規模なテキストコーパスを使って学習、
タスク(生成、理解、抽出)に合わせて追加学習される。-
自然言語生成(NLG)
- 文章生成
- 要約
- 翻訳
- 対話
-
自然言語理解(NLU)
- 質問応答
- 感情分析
- 意図認識
- 文書分類
-
情報抽出(IE)
- 実体
- 関係
- 要点
-
-
更に、ドメイン(業務、教育、医療、法律、開発、創作)にあわせて
ファインチューニングされる。
-
自然言語処理のブレイクスルー
従来のルールベースや小規模モデルでは難しかった
自然な会話や創造的な文章生成が可能。 -
汎用性の高さ
1つのモデルで複数のタスクをこなせるため、開発コストや時間を大幅に削減。 -
業務効率化・自動化
カスタマーサポート、ドキュメント生成、データ分析など、さまざまな業務に応用可能。 -
急速な進化とオープン化
OpenAI、Meta、Google、Anthropicなどが競って開発を進めており、OSSのLLMも登場。
-
カスタマーサポートの自動化
チャットボットが顧客の質問に自動応答。 -
社内ドキュメント検索エージェント
社内のPDFやドキュメントを自然言語で検索・要約。 -
コード生成・レビュー支援
開発者が自然言語で指示を出すと、コードを生成・修正・レビュー。
Pythonのインストール方法と基本的な動作確認を解説。
-
Pythonのバージョン(2025/10現在)
-
3.8~3.11の推奨理由:安定性・機能性・互換性のバランスが非常に良い。
-
3.12の推奨理由:パフォーマンス・開発体験・型安全性・構文の柔軟性
-
また、更に別バージョンをインストールしたり、仮想環境を使用したりする。
- システムPythonを汚さないよう別のPythonをインストールすることもできる。
- 仮想環境を使用についてはPKGMGRと仮想環境で解説する。
-
-
WindowsのWSL2でのPythonインストール手順
- WSL → WSL2
- 通常のPythonをインストールする
(Pythonの該当節、WSL2 Ubuntu 24.04 LTS 2025/1/21)。 - システムPythonと別のPythonをインストールする
(以降、pythonとpipはエイリアスで使い分ける)
(LLMのFTの該当節を参照)。
-
ターミナル / コマンドプロンプトでの基本操作(python)
(Pythonの該当節を参照)
「PKGMGR」と「仮想環境」の使用方法を学び、プロジェクト毎に独立した環境を構築、
LLM関連パッケージを安全にインストール。
-
PKGMGR
-
...とは、パッケージ・マネージャーのこと
-
pythonではpipと言うパッケージ・マネージャーを使用する。
-
ターミナル / コマンドプロンプトでの基本操作(pip)
(Pythonの該当節を参照)
-
-
仮想環境(Pythonの該当節を参照)
-
実行単位に依存関係のPKGバージョンが異なると、
スクリプト系特有の互換性の緩さから、動かないことが多い。 -
仮想環境では、環境や実行の単位毎にインストール・パッケージを別々に管理できる。
-
ターミナル / コマンドプロンプトでの基本操作(venv)
(Pythonの該当節を参照)
-
Jupyter系やGoogle Colabのセットアップ。
PythonのREPL(対話型シェル)以上のインタラクティブ体験を説明。
-
JupyterLabのインストールと起動 ...
ただし、仮想環境での手順はコチラ
(WSL2 Ubuntu 24.04 LTS 2025/1/21の該当節を参照) -
JupyterLabの使い方は、Notebook系なので
Jupyter Notebookとほぼ同じ
(コード実行、Markdown記法、結果の可視化) -
サンプルコード(簡単なテキスト生成)(OpenAI APIの該当節を参照)を
JupyterLabから実行して動作確認してみる。 -
Google Colabの利用方法と基本操作(無料で使えるクラウド環境)。
より本格的な開発向けに、IDEのセットアップ。将来的なスケールアップに備える
- VS CodeのインストールとPython、Jupyter 拡張機能の設定。
- Notebook系との違いを簡単に説明、基本的なデバッグ方法やコード補完の活用。
- VS CodeベースのCursorもPython界隈では人気がある模様。
(The Complete Agentic AI Engineering Course (2025)の該当節を参照)
-
「.env」の内容
# LLM系
OPENAI_API_KEY=sk-proj-...
# Proxy環境下で使用する場合は
HTTP_PROXY=" http://<USERID>:<PASSWORD>@<HOSTNAME>:<PORTNUMBER>"
HTTPS_PROXY=" http://<USERID>:<PASSWORD>@<HOSTNAME>:<PORTNUMBER>"
REQUESTS_CA_BUNDLE=combined-ca-bundle.pem
# ...-
JupyterLabのPythonセルで...
-
はじめにパッケージのインストール(Pythonシェルマジック)
!pip install python-dotenv※ JupyterLabのPythonセルからシェルを実行する場合、「!」を付与する。
-
以下のコードで「.env」ファイルの環境変数をロード(Python)
from dotenv import load_dotenv import os # .env ファイルをロード load_dotenv()
※ カレント・ディレクトリからルートに遡ってはじめに見つかった
「.env」ファイルを適用する。
-
ローカルでLLMを動かすための軽量ツール、プライバシーやコストを意識した活用法を学ぶ。
-
Ollamaのインストール(Ollamaの該当節を参照)
-
OSSモデルのダウンロードと実行(Ollamaの該当節を参照)
-
APIエンドポイントを使った簡単なアプリケーション構築
(Ollamaの該当節を参照)
OpenAI API(ChatGPTの基盤)を使ったLLM活用の入門。
-
APIキーの取得とセットアップ(OpenAI APIの該当節を参照)。
-
簡単なテキスト生成(curl → python)(OpenAI APIの該当節を参照)。
LlamaIndex を使いRAGを作成。
※ 実装レベルの参考はコチラ(LlamaIndexの該当節を参照)
-
LlamaIndexの概要
- RAGを簡単に実装するためのフレームワーク
- LangChainよりRAG、特にIndexに特化している。
-
インストールと基本設定(LLM_LlamaIndex1.ipynb)
-
実例
- ベクトル検索(LLM_LlamaIndex1.ipynb)
- グラフ検索(LLM_LlamaIndex2.ipynb)
-
その他、様々なインデックス(LlamaIndexの該当節を参照)
-
その他の機能
- エージェントの構築(LLM_LlamaIndex3.ipynb)
- パイプライン、ワークフロー(LLM_LlamaIndex4.ipynb)
- 構造化データ抽出(...)
-
LangChainの概要
- LLMを簡単に実装するためのフレームワーク。
- Script、LLM界隈の悪しき慣習(I/F変更)の象徴(笑)
(LangChainの該当節を参照)
-
実行できたら同時の環境を記憶しておく。
-
仮想環境からパッケージ情報を抜いてくる(シェル)
pip freeze > requirements.txt -
当該仮想環境のパッケージの全クリア(シェル)
pip uninstall -r <(pip freeze) -y -
当該仮想環境のパッケージの再インストール(シェル)
pip install -r requirements.txt
-
-
インストールと基本設定、基本機能の実行
(LLM Engineering:Master AI、Large Language Models&Agentsの該当節を参照) -
ただし、動作しなくなっているので、
チュートリアルはコチラ(笑)
-
Gradio(LLMチャット系ツールの該当節を参照)
-
Gradioの概要
-
インストール(LLMチャット系ツールの該当節を参照)
!pip install gradio -
画面定義の例(LLMチャット系ツールの該当節を参照)
- Gradioによる画面定義
- Session的な概念を加えた画面定義
- チャットUI(履歴の考慮もアリ)。
- チャットUIにRAGを追加した例
LangFlowを使い基本的なチュートリアルを実行。
-
LangFlowの概要
ノーコード/ローコードLLMフロー可視化・実行ツール -
インストールと基本設定(LangFlowの該当節を参照)
- エージェント概要(LLMエージェントの該当節を参照)
エージェントとは何か、LLMとの違いを理解し、次のプログラミングに意欲を持つ。
- エージェントの定義
- 実例:タスク分解、外部ツール連携
- フレームワークの紹介
-
AIモデルと外部システムのやりとりを標準化するオープン・プロトコル
-
MCPの機能要件はFunction callingと変わらないが、
その他の幾つかの非機能要件に対応。 -
関心の本丸はSaaS(法人向けの重量級機能)の利用(統一的なアクセスポイント化)
-
マルチ・エージェント(LLMエージェントの該当節を参照)
-
利用例、実装例
-
PE技法との関連
- Self-Consistency(自己整合性)
- GKP(Generated Knowledge Prompting)
- Self-Ask
- ToT(Tree of Thoughts)
- AoT(Algorithm of Thoughts)
-
連携方式
- 協調スタイル
- 制御モデル
- 通信モデル・プロトコル
- 共有リソースモデル
- その他のトピック
- エージェント・フレームワーク(LLMエージェントの該当節を参照)
エージェントを動かす簡単なコード実装・実行し、感覚をつかむ。
- インストール
- エージェント定義
- ハンズオンの内容
-
Space
-
Inference Endpoints
| 項目 | Spaces | Inference Endpoints |
|---|---|---|
| 主目的 | デモ・プロトタイプ・インタラクティブな体験共有 | 本番運用向けの安定したAPI提供 |
| UIの有無 | ほぼ必ずWeb UIがある(Gradio / Streamlit) | 基本的にUIなし、純粋なREST API |
| 誰に向いているか | 研究/デモ/ポートフォリオ/ハッカソン/プロトタイプ | 本番バックエンド・企業利用 |
| 使いやすさ | ★★★★★(数クリックで公開可能) | ★★★☆☆(設定項目が多いがドキュメントは充実) |
| カスタマイズ性 | 高い(Pythonコードほぼ自由) | 制限あり(Transformers / TGI / TEI ベース) |
| スケーラビリティ | 普通〜弱め(無料枠はスリープ) | 強い(オートスケール&ゼロスケール) |
| セキュリティ | Public / Private / Secret | Public / Protected / Private(VPC対応も可) |
| スリープ/ゼロスケール | 無料枠は数十分〜数時間でスリープ | ゼロスケール対応 |
| GPU利用 | 可能(有料枠でA100/H100なども) | 可能(幅広いGPU/CPUインスタンス選択可) |
| 課金体系のイメージ | 無料枠あり・常時稼働は時間課金 | ゼロスケールで実質従量課金 |
| 2026年現在の価格目安 | 無料〜数ドル/時(GPU) | $0.03〜数十ドル/時(インスタンスによる) |
- Modal(LLM Engineering:Master AI、Large Language Models&Agentsの該当節を参照)
サーバーレス/オンデマンドGPUプラットフォーム(Spacesのような UI は無し)
| 項目 | Replicate | Modal | RunPod |
|---|---|---|---|
| ターゲット | コミュニティモデル利用者 | Pythonista、複雑な前/後処理、バッチ | とにかく安くGPUを使いたい |
| 主な強み | 豊富なコミュニティモデルを最も簡単に | Pythonだけで完結、開発者体験最高 | 最安値クラス + GPU種類最多 |
| XaaS | CaaS(cogベース) | FaaS | FaaS(Serverless) & CaaS(Pods) |
| デプロイのしやすさ | 数行でAPI化 | Python SDK、@app.functionデコレータ、CLI | テンプレート豊富だが設定多め |
| コールドスタート時間 | 数秒-10秒台(人気モデルはほぼゼロ) | -数秒 | FlashBootで<200ms-数秒 |
| GPU種類 | 中(T4/A100/H100中心) | 中〜多(T4〜H100/H200) | 最多(RTX 4090〜H100/H200/MI300X/AMDなど) |
| 価格帯の目安(A100 40GB 1枚/時) | $3.5〜5.0前後 | $2.5〜4.0前後 | $1.9〜2.7前後(最安クラス) |
| 課金単位 | 秒単位 / 入力トークン単位のモデルもあり | 秒単位(scale-to-zero完全対応) | 秒単位(Serverless) / 分単位(Pods) |
| UI / 管理画面 | 非常に洗練(モデルページがそのままAPI) | CLI/SDK中心(Webダッシュボードは補助的) | Webコンソール充実(Pods管理しやすい) |
| スケーリング | 自動(非常に優秀) | 自動(数千並列も余裕) | 自動(Serverless) / 手動(Pods) |
| カスタムコード自由度 | 中(cog.yamlで指定) | ほぼ何でもPythonで書ける | Dockerコンテナ持ち込み自由 |
| 典型的なユースケース | HFモデル、Stable Diffusion、Translator系 の WebAPI | RAG、バッチ推論、データ前処理 | LoRA/QLoRA fine-tuning、大量並列推論、コスト最優先 |
※ cogはMLモデルを本番環境に対応した
標準的なコンテナにパッケージ化するためのOSSツール
※ 上記以外にも、GPUSOROBAN(日本向け)、Lambda(企業レベル大規模クラスタ)、
Vast.ai(RunPod競合)などがあるらしい。
ファインチューニングの基本概念と必要性を解説。
ファインチューニングの目的とプロセスを直感的に理解。
-
ファインチューニングとは?(モデルを特定タスクに最適化)。
-
転移学習やLoRA(軽量チューニング)の簡単な説明。
-
実例: カスタマーサポート向けの応答モデル、専門用語対応モデル。
-
必要なデータセットの準備(例: JSONやCSV形式)。
-
コストや計算リソースの現実的な話(GPU必要性など)を追加。
実際にファインチューニングを実践、簡単なファインチューニングを自分で実行し、
業務特化のモデルを試作。
-
オープンソースモデルをHugging Faceでチューニング
-
LoRAを使った軽量チューニングの実装(peftライブラリ)
-
ハンズオン: 小規模データセットでカスタムモデル作成。
-
評価方法(生成結果の比較、精度チェック)
-
Google Colab などの無料GPU活用をガイド
全体の補足と提案
移行メモ
PukiWiki のページ内アンカ(
#xxxxxxxx)は GitHub Wiki では再現できないため、
- 同一ページ内のアンカは、見出しから生成されるアンカに張り替え、
- 他ページのアンカを指すリンクは「〜(
ページ名の該当節を参照)」の形に置き換えた。元 Wiki で見出しそのものが他ページへのリンクになっていた箇所 (「Ollama」「OpenAI API」「Gradio」「LLMエージェント編」「エージェント概要」 「ほぼバズワードのMCP」「マルチ・エージェント」「エージェント・フレームワーク」 「Google Colaboratory」「Hugging Face」「Modal (.com) 他」)は、 GitHub Wiki では見出しからアンカが生成されるため、 見出しをプレーン・テキストとし、リンクは直下の箇条書きに置いた。
元 Wiki の行頭空白によるプレフォーマット・ブロックは、 フェンス付きコードブロックにした。
元ページの誤記を修正した。 LlamaIndex 節の見出し下の「LangChainの概要」→「LlamaIndexの概要」、 「構築構造化データ抽出」→「構造化データ抽出」、 「スクリプト系特融の互換性」→「スクリプト系特有の互換性」、 「利用例、P実装例」→「利用例、実装例」、 「Spacesの用なUIは無し」→「Spaces のような UI は無し」、 「LoRA/QLORA fine-tuning」→「LoRA/QLoRA fine-tuning」。
Tags: 移行, LLM, 学習ロードマップ, Python, JupyterLab, Ollama, OpenAI API, LlamaIndex, LangChain, Gradio, LangFlow, エージェント, ファインチューニング
このWikiは「Open棟梁Project」,「OSSコンソーシアム 開発基盤部会」によって運営されています。