生成AIの取り組みの活発化
LLMは、一度世界中の大量のデータを使って学習された汎用的なAIなので、1つのAIモデルで様々なタスクに対応できる。特にLLMのチャットツールやRAG（検索拡張生成）、エージェントといったツールは、誰もが触りやすいという意味で注目されている。
チャットツールのすぐ後に盛り上がったRAGは、自社の持つプライベートな知識・資料などインターネットにないものについてLLMに答えてもらうための仕組みである。手元に整理したナレッジ、例えば業務マニュアルやFAQ集を用意し、それらを検索エンジンなど資料を探すデータベース上に保存しておく。LLMと共に成長してきた埋め込みベクトル（文字の性質を数字で表現する仕組み）を使って、キーワードでなく意味的な近さで検索を行うような仕組みを併用することが多い。
外部にない自社の情報をLLMに覚えてもらい、一般論以外の自社ならではの情報を答えてくれるボットを作るにはRAGが有用であり、ハルシネーションも抑えやすいと言われている。
さらに2025年はAIエージェントというキーワードが踊っている。エージェントは、LLMが自律的に物事を考えて問題を解決しようとする仕組みである。但し、エージェントはまだR&D段階の技術であり、これから1〜2年かけて事例が出てくる。
LLMの特徴
LLMという技術は「物知りでタフで賢い新入社員」と説明している。その仕組みは、「文章の続きを考える」という1点を実現している。その単純さにも関わらず、LLMは文章の要約や分類、質問への回答や会話など多様な処理に対応できている。
LLMは人間以上に「明文化されている」ことによって仕事を実現する。そのため、まずは社内の知識や方法をテキストで与える必要がある。しかもLLMには様々な制約がある。
- 扱える処理テキストの長さに限界がある（必要な部分だけ取り出すという行為ができない）
- 確率的モデルである（毎度回答が違うことがある）
- 嘘をつく（最もらしい回答をつくろうとする）
- 知識に限界がある（専門性が深くなるほど、うまく取り出せない）
- 記憶を持たない（プロンプトに入力されたデータがすべて）
LLMという新入社員とうまく付き合うためには、まず明確で詳細な指示を与える癖をつけること。新人に仕事を任せる視点で捉えてみると良いプロンプトになりやすい。また、要約やなんらかのデータの抽出であれば、過去の事例を提供することも有効である。使うモデルの癖を理解することも有効である。特に論理的推論や難しい意見を書いたりといったタスクではGPT-5 Thinking、プログラミングであればClaude、画像・音声・動画といったデータ処理はGeminiを使うなど得意分野を使い分けるといい。
AIオンボーディング
新入社員と同じようにLLMの戦力化には、知識と業務の方法の2つを教え込むことが必要である。企業特有の知識や過去との整合性を保てるようLLMをオンボーディングする上では、知識を整理し供給するデータベース「ナレッジベース」の存在が欠かせない。
LLMには扱えるデータ量の限界がある。コンテキストウィンドウと呼ばれる一回に扱えるデータ量の限界があり、それを超えて処理を行うことができない。一方で業務によっては、関連するドキュメントの量は数百ページを有に超える文書を扱うこともしばしばである。こうした大量の文書等と向き合って業務をこなすには、人間の「書類を読む方法」をLLMに伝える仕組みが必要である。これを可能にするのが「ワークフロー」である。
重要な知識をまとめた「ナレッジベース」と、やり方を示す「ワークフロー」の2つの基盤をうまく整備することができれば、LLMの導入は誰でも活用できるものとなる可能性がある。
・ワークフロー
ワークフローは、単にプロンプトを改善するだけでなく、業務プロセス全体を再設計し、LLMが効果的に機能できる環境の構築を目指す。適切に設計されたワークフローは、複雑な業務を小さなステップに分解し、各ステップでLLMが最大限の能力を発揮できるようにする。
LLMを活用可能なワークフロー製品には、Dify、n8n、Copilot Studio、AI Workforceなどがある。
・ナレッジベース
ナレッジベースでは、情報の関連性や文脈を保持し、LLMが理解しやすい形で取り出し、構造化できる必要がある。また、検索可能性を高め、必要な時に適切な情報を取り出せるよう最適化されている。さらに、企業固有の専門用語や暗黙知を明示的に含め、LLMがプロンプトの中で参照できるよう設計されている。
具体的には、業務マニュアル、過去の事例、稟議書などの決裁文書、会議の議事録、顧客とのやり取りなど、企業活動の中で生まれるあらゆる知識を、その目的や用途に合わせて整理する。