LLM(大規模言語モデル)に自社データを活用する。（RAG）

Chat GPTやClaudeなどのLLM（大規模言語モデル）を業務に利用されている企業も多いのではないでしょうか？

一般的なことであればそれらのLLMで事足りるのですが、当然の事ながらLLMが事前学習していない情報は答えることはできません。

今回は社内にあるExcelやPDFなどのデータをLLMに活用する方法をご紹介します。

RAG（検索拡張生成）とは？🤔

RAGとは、LLMが事前学習していない情報（社内にあるドキュメントやWEBの最新情報）を検索して、その内容をLLMに加えることで回答の精度を高める手法です。

例えば社内の有給休暇の申請方法を知りたいとします。
当然LLMはそんなことは知りませんのでそれっぽい嘘を返します。（AIがそれっぽい嘘を返すことをハルシネーションといいます。）

しかし、RAGという技術を用いれば正しい答えが返ってきます。

どんな事に活用できるのか？

具体的にRAGはどのような業務に活用できるのでしょうか？

• 社内ナレッジベースの検索や要約
• カスタマーサポートやコールセンターの品質向上
• 顧客からの質問に回答するチャットボット
• 記事やレポート、商品説明などのコンテンツの生成

などなど、挙げればきりがありませんが、社内データや外部のデータを利用できるという点で通常のLLMに比べて活用の範囲が広がります。

社内データ漏洩の問題😒

RAGで社外秘のデータを利用するケースでは、データ漏洩が問題となってきます。
また、チャットに入力するプロンプトもLLMの学習に利用されたら困ります。

データを漏洩のリスクを低くしてRAGを利用することはできるのでしょうか？

ご安心ください。😊

クラウド上に自社専用のLLMを作成することで可能です。

下記はAWS上に構築した場合の簡単なイメージ図です。

最後に

今回は、社内情報をLLMに利用するRAGについてご紹介しました。

RAGを活用することにより、業務改善や生産性の向上が見込まれます。

弊社では、AIやRAGの環境構築に関するサービスをご提供しております。

詳細はお気軽にお問合せください👍