DNET_LLMQuestionExamples

LLMへの様々な質問例

• 戻る（ChatGPT）
  • LLMへの様々な質問例
  • LLMのユースケース

概要

• プロンプト・エンジニアリング（LLMのPE）ではなくLLMの傾向を見るために様々な質問をテストした。
• 2023-2024年に作成したコンテンツなので現在のLLMとの回答と傾向が変化している可能性あり。
• ただし、LLMの動作原理からして、当初の方が、純粋なLLMの回答の傾向を表していたとも言える。

質問のタイプ

回答に必要となる知識や処理で分類

言語的＆確率的に学習した結果で回答可能な質問

≒ 得意とするタスク（ChatGPTの該当節を参照）

論理クイズなど、論理的な思考が必要な質問

≒ 苦手とするタスク（ChatGPTの該当節を参照）

LLMが学習していない暗黙知を必要とする質問

• 案外、言語で質問できるものは既に形式知化されており、
  暗黙知に対する質問を言語で行うこと自体が困難と判明した。

• 暗黙知の例えに出てくる自転車の乗り方
  「自転車に乗る時どのようにして倒れないようにバランスを取っているか教えてください。」

  • 自転車に乗る時、バランスを取るためには、ペダルを踏んで前進することが必要です。
  • 初めて自転車に乗る場合は、ペダルを外して自転車に乗り、
    バランス感覚を身につけることから始めましょう。
  • また、自転車を押して歩くことで、ハンドル操作の感覚を覚えることも大切です。

• 例えば、以下のような質問はネット上に情報が無く、解答が難しいと考えた。

  • 三角錐と立方体のうち転がり難いものは？
    → 回答は間違いだった（ネット上に情報を確認できない）

  • 3本足の椅子、4、5、6、本足の椅子のうち安定性が高いのは？
    → 回答が可能だった（ネット上に情報を確認できる）

• 実際に該当する様な質問（文字列化可能な暗黙知）が存在し、
  それを質問した場合、LLMは類推する事で答えられる可能性はある。

  • 例：以下の質問に、一応、それっぽく応えはする。

    • 仮に日中が暗く夜間が明るかった場合、人間の生活はどのように変化すると考えられますか？
    • 仮に法律が悪行を推奨し善行を裁くように定義されていた場合、
      人間の生活はどのように変化すると考えられますか？

  • 全体的に、

    • 常識の範囲で回答しようとするが、
    • 考察が浅い傾向がある（逆に言うと考察は現時点で人間の仕事）。
      ・世の中に深く考察した情報が無い。
      ・そもそもLLMは深く考察していない。

• また、特定の組織内の話題も、一般的な話題の一部に含まれることがある
  （一般化することで回答が期待できる）。

  • ツールが組織に浸透しない。一般的にどのような理由が考えられますか？
  • 開発したツールの評判が悪い。一般的にどのような理由が考えられますか？

LLMが学習していない事物に対する質問

マイナーなものに対する質問やノウハウについての質問

• ChatGPTが学習している言語データの中で、最も大きな割合を占めるのは英語で、
  「日本固有の知識を問う質問には誤った回答が散見された。」と言う情報があり実際、その様な体感。

• サブカル問題

  • 「スンドコベロンチョ」（世にも奇妙な物語）に対する質問 → 知ってた。

  • お笑い芸人明石家さんまの経歴を教えてください。→ デタラメ。

  • キン肉マンに出てくるレオパルドン → 知らなかった。

    • 回答１：キン肉マンではなくスパイダーマンに出てくるキャラクター。
    • 回答２：レオパルドンは、
      ・その名前の通り、ヒョウのような模様が特徴の豹のような外見を持つ。
      ・様々な必殺技があり、ストーリーにおいて重要な役割を果たすこともあった。

• 単語（を組み合わせた）固有名詞
  に対する質問は、構成される単語から、
  その固有名詞がどのようなものか？を推論して、でっち上げる傾向がある。

  • デタラメを言うケース

    • 前述のレオパルドンの「回答２」はデタラメを言うケースのうちの一つ。
    • 東映スパイダーマンにレオパルドンという特撮巨大ロボが居るらしい（笑）

  • 知らないと言ったケース
    結構会ったがメモし忘れている。最近はInformation Retrievalで発生し難い。

  • セーブしたケース
    ・漫画、珍遊記の内容を教えてください。
    ・一般的に「珍遊記」と呼ばれる作品の中には
    　「西遊記」（または「西遊記」に基づく作品）を元にした作品もあります。
    ・中国の古典文学作品「西遊記」を元にした冒険ファンタジーです。
    　原作「西遊記」は、孫悟空（猿の王）や三蔵法師などの仏教伝説に基づいています。
    ・主要な登場キャラクターには、孫悟空、三蔵法師、猪八戒、沙悟浄などが含まれます。
    　それぞれが異なる能力や個性を持っています。
    ・物語は、三蔵法師が仏典を取りに天竺（インド）へ向かう冒険の旅を描いています。
    ・孫悟空やその他の仲間たちと共に、数々の試練や戦いに立ち向かいながら、
    　仏典を取り戻すための旅路を進みます。
    ・「西遊記」は仏教の教えや神話を基にしており
    　登場人物たちが様々な試練や成長を通じて修行を積む様子が描かれています。
    ・また、悟りや仏教的なメッセージも含まれています。

• 自作の名詞

  • 「最小セット」
    プログラミングのデバッグで障害発生部位を特定するのに効果的な
    「最小セット」とはどの様な技法ですか？
    → コレは、プログラムのステップをビルド・実行可能で障害を発生させる
    　 最小のセットにまでステップ削減し、
    　 障害を発生させるステップの部位を明確化する技法を意図していたが、
    　 意図した回答は得られなかった。

移行メモ（正誤）: 元ページの「散見さた」「文字列か可能な暗黙知」「立ち向かりながら」
は、それぞれ「散見された」「文字列化可能な暗黙知」「立ち向かいながら」の誤記のため修正した。

対象の特性で分類

LLMがテキスト・コーパスで学習した事物に対する質問

言語的＆確率的に学習した結果で回答可能な質問

• 「定義」「真偽」についての質問
• テンプレ的なクリエイティブ（LLMのユースケースの該当節を参照）の生成

LLMがテキスト・コーパスで学習していない事物に対する質問

LLMが学習していない事物に対する質問を参照。

LLMにプロンプトで読み込ませた事物に対する質問

• 土台の能力は次単語予測によって提供されている。

• 追加でインストラクション・チューニング（指示チューニング）がされている。

  • 指示への追従性向上
  • ゼロショット性能の向上
  • 対話・チャット能力の獲得

• 質問（指示）：要約、翻訳、校正

  • 要約、翻訳は得意とされるタスク
  • 校正は苦手とされるタスク。

複雑な構造をしている対象についての質問

• 「事物の「定義」についての質問」中の複雑な構造のもの。
• 「LLMがテキスト・コーパスで学習していない事物に対する質問」的な側面
  • そもそも説明し切る事が困難
  • また分野毎に様々な側面がある。
  • ソレにより、説明文が不足している。
  • 業界毎のマニュアルや文字列化されたノウハウが役立つ可能性

質問の特性で分類

事物の「真偽」についての質問

• 学習した内容で真偽を回答する。何をどう学習したかによる。

• プロンプトで与えた事項に対して学習した常識で真偽を回答する。

• 確率的に生成されたリスクある情報であることを考えると
  真偽を扱うのはあまり適切ではない。

• ChatGPT
  「一般的に信頼性が高いとされるメディアとして、なんというメディアがありますか？」

  • 信頼性のある報道機関はバイアスを排除し
    客観的な事実報道を提供することに専念するメディア組織です。
  • 以下は、一般的に信頼性が高いとされる国際的な報道機関の一部です
  • (2021年の情報を元にしていますが、状況は変化する可能性があります):
    • ニューヨーク・タイムズ (The New York Times)
    • ワシントン・ポスト (The Washington Post)
    • BBCニュース (BBC News)
    • ロイター (Reuters)
    • アソシエイテッドプレス (The Associated Press)
    • フィナンシャル・タイムズ (Financial Times)
    • ガーディアン (The Guardian)
    • エコノミスト (The Economist)
    • フランス通信社 (Agence France-Presse)
    • ブルームバーグ (Bloomberg)
  • これらの報道機関は、国際的に信頼性が高く、報道倫理を重視しています。
  • ただし、どのメディアも完璧ではなく、偏見が含まれている可能性もあるため、...

移行メモ（正誤）: 元ページの「真疑を扱う」は「真偽を扱う」の誤記のため修正した。

事物の「定義」についての質問

苦手ではないものの、「定義」に付いての質問は、間違うとクリティカルなケースがある。

• 定義：ある概念内容・語義や処理手続をはっきりと定めること。それを述べたもの。

  • 辞典：言葉、漢字、物事を集め解説した書籍

    • 主に言葉について書かれたものが「辞典」
    • 主に文字について書かれた辞典は「字典」
    • 主に事物に就いて詳細に書かれた辞典は「事典」

  • マニュアル

    • マニュアル：
      ある条件に対応する方法を知らない者に対して示し、
      教えるために標準化・体系化して作られた文書、取扱説明書、ユーザーガイド。

    • リファレンス・マニュアル：
      ハードウェアやソフトウェアの機能一覧を解説したマニュアル。

• 構造：幾つかの部分から全体を成り立たせる組立て。
  全体を形作る、諸要素の依存・対立の関係のあり方の総称。

  • 物理的な構造の説明

    • 複雑な物理構造を文字列で視覚的に説明する事は難しい。
    • 物理スキーマ的等の場合はリファレンス・マニュアルなどに記載されているので回答可能。

  • 論理的な構造の説明

    • 論理構造は文字列で説明されていることが多いので、説明する事は可能。
    • 論理スキーマ的等の場合はリファレンス・マニュアルなどに記載されているので回答可能。

  • 体系（システム）的な構造の説明、一つの統一的全体を構成する、
    科学的あるいは哲学的命題の集合

    • 体系は論理構造と同じように文字列として学習した結果で確率的に、説明する事は可能。
    • ただし、複雑な個々の要素が多数スタック＆コラボレーションしているシステムは
      文字列だけでの説明は困難。

質問者が知らない事物についての質問

• 質問対象の構造が解っていないと自分が解っていないポイントについて質問ができない。
• 家庭教師などなら手引してくれる可能性があるがLLMは手引してくれない
  （FAQがある場合、それを元にした手引を生成する可能性はある）。

質問のポイント

入力の質問を作成する際のポイント

• 入力として与えられた情報を基に回答を生成するため...
• ただし、GPTが苦手な事をプロンプトでなんとか出来ると思わない方が良い。

明確で具体的な質問をする

• 明確で具体的な質問に対してより適切な回答を生成できる。
• 抽象的な質問や、複数の解釈ができる質問に対しては、正確な回答は困難。

必要な情報をすべて含める

質問をする際には、必要な情報をすべて含めることで、より適切な回答を生成できる。

質問を分割する

• 複雑な質問や、複数の質問を一度にすることは、より適切な回答を得ることが困難。
• 複雑な質問は、複数の分割された質問に分けることで、より適切な回答を生成できる。

情報が含まれる範囲を明確にする

• 質問をする際には、回答を求める情報が含まれる範囲を明確にすることで、
  より適切な回答を生成できる。

プロンプト・エンジニアリング

ChatGPTの該当節も参照。

• そもそもの仕組み（LLMの特徴）
• 入力（質問の仕方）を工夫すると、出力（回答の質）が変わる。
• このため適切な出力を得るために入力を工夫することとして注目されている。

出力の回答を解釈する際のポイント

入力として与えられた情報を基に回答を生成するため...

正確であることを確認する

• 回答が正確であるとは限らない。
• 回答が正確であることを確認することが重要。

抽象的である場合、具体的に解釈する

• 抽象的な質問に対しても回答を生成できる。
• 具体的な意味を求めるようにすることが重要。

複数の解釈ができる場合、質問を再確認する

• 複数の解釈ができる質問に対しても回答を生成できる。
• 質問を再確認し正確な意味を確認することが重要。

回答が省略されている場合は、補足する

• （入力で与えられた）必要な情報が省略されることがある。
• このような場合には、回答を補足することで、正確な意味を理解できる。

参考

• LLMのPE

---

Tags: 移行, AI, LLM, 開発基盤