社内RAG「AskNow」を、使いながら改善する

株式会社シスラボでは、社内情報をもとに質問に答える社内RAG「AskNow」の活用と改善に取り組んでいます。

自社で使いながら回答を確かめ、参照する情報を整えることで、日々の仕事で役立つ回答に近づけています。

目指しているのは、必要な情報を探し、その内容を確かめるためにかかる時間を減らし、メンバーが次の判断や行動に移りやすくすることです。そのために、AIの答え方と、答えのもとになる社内情報の両方を見直しています。

• 情報があっても、すぐに仕事に使えるとは限りません

  社内で調べものをするとき、資料が見つかれば、それだけで解決するとは限りません。

  見つけた情報が最新なのか、自分の状況にも当てはまるのか、別の資料に例外や補足が書かれていないか。実際に仕事で使うためには、こうした確認が必要になることがあります。

  資料を読んでも判断できず、事情を知るメンバーに聞き直すこともあります。質問する側は回答を待ち、答える側は進めていた仕事を止めて確認するため、一つの情報を確かめるだけでも、複数の人の時間が使われます。

  こうした場面を減らすには、情報の保管場所をまとめることに加え、必要な内容と、その情報を使うための条件が分かるようにすることが大切です。

  AskNowでは、社内の知識を日々の質問への回答につなげることで、メンバーが情報を確かめながら仕事を進められる環境を目指しています。

• 社内の情報を参照し、質問に合った回答をつくる

  RAGは、質問に関連する情報を文書などから検索し、その内容を参照しながら生成AIが回答をつくる仕組みです。一般的な知識だけでは答えられない、社内固有の情報を扱う方法の一つとして活用されています。

  ただし、情報を参照する仕組みを用意すれば、どの質問にも適切に答えられるわけではありません。

  必要な情報が資料に含まれていなかったり、質問に合う箇所を見つけられなかったりすれば、回答にも不足が生まれます。参照した内容が正しくても、適用条件や注意点が回答から抜けてしまえば、利用する人が判断に迷う可能性もあります。

  そのため、AskNowの改善では、読みやすい文章になっているかに加え、質問に必要な内容が含まれているか、根拠となる情報と合っているかを確かめることを重視しています。

• 回答を見直すときは、そのもとになった情報まで確かめる

  期待した回答が得られなかった場合、直したいのはAIの文章だけとは限りません。

  例えば、説明が足りない回答でも、もとの資料に必要な情報が書かれていない場合と、資料には書かれているのに回答へ反映されていない場合では、見直すべき点が異なります。

  前者であれば、まず情報を補う必要があります。後者であれば、質問に関連する情報の探し方や、参照した内容の伝え方を確かめる必要があります。

  また、資料同士で説明が食い違っている場合には、どちらの内容を基準にするのかを、人が確認しなければなりません。

  当社が進めている回答の見直しと参照データの整備は、こうした問題を一緒に考えるための取り組みです。回答の表面を整えるだけで終わらせず、利用する人が迷う原因まで確かめることが、継続的な改善につながると考えています。

• 情報の整備は、仕事の前提を共有すること

  社内情報を整えることには、文章を読みやすくしたり、資料を分類したりする以上の意味があります。

  例えば、ある資料に対応方法が書かれていても、誰を対象にしたものなのか、いつから適用されるのか、どのような場合に別の対応が必要なのかが分からなければ、使う人は判断できません。

  長くその業務に関わっているメンバーには当然のことでも、初めて担当する人には分からない前提があります。人に聞けば補ってもらえていた説明が、文書には残っていないこともあります。

  RAGを業務で活用するには、こうした前提や条件にも目を向ける必要があります。

  これまでの運用には、その方法が選ばれてきた理由や、現場で積み重ねてきた工夫があります。情報を整える際にも、その背景を理解しながら、ほかのメンバーが使える形で共有することを大切にしたいと考えています。

  AskNowへの質問は、社内の知識の中で、どこに説明を補う必要があるのかを考える手がかりにもなります。

• 実際の質問から、改善すべき点を見つける

  使う人は、必ずしも資料に書かれている正式な名称で質問するわけではありません。

  業務の呼び方を短くしたり、自分が置かれている状況を説明したりしながら、知りたいことを尋ねます。同じ情報を必要としていても、担当業務や経験によって、質問の言葉や詳しさは変わります。

  だからこそ、実際に使う中で生まれる質問には、開発する側だけでは気づきにくい改善の手がかりがあります。

  回答を読んだ後も同じ点を聞き直しているなら、説明が足りないのかもしれません。情報は見つかっていても次の行動が分からないなら、判断に必要な条件や確認先が抜けている可能性があります。

  AskNowでは、日々の質問と回答を、回答内容と参照データを見直すきっかけとして捉えています。

  改善した後も、もともと困っていた質問に答えられるようになったか、別の聞き方でも必要な情報にたどり着けるかを確かめることが大切です。利用と見直しを繰り返すことで、仕事の中で使いやすい仕組みに近づけていきます。

• 根拠が足りないときの対応も大切にする

  業務で使うAIには、答えられる範囲と、確認が必要な範囲を分かりやすく伝えることも求められます。

  参照できる情報だけでは判断できない場合に、もっともらしい回答を返してしまうと、利用する人が誤った前提で仕事を進めるおそれがあります。

  情報が不足しているのか、質問の条件をもう少し確認する必要があるのか、担当部門による判断が必要なのか。その違いが分かれば、利用する人も次に何を確かめればよいかを考えやすくなります。

  AskNowの改善でも、回答を増やすことだけを目標にせず、根拠を確認しながら安心して使えることを大切にしています。

• 社内の知識を、次の仕事につなげる

  必要な情報を自分で確かめられる場面が増えれば、質問する側は回答を待つ時間を減らせます。知識を持つ側も、繰り返し同じ説明をする負担を減らし、個別の判断が必要な相談や、新しい課題に時間を使いやすくなります。

  そのためには、AIの回答と、社内で共有する情報を継続的に見直していくことが欠かせません。

  シスラボは、AskNowを自社で使いながら、役立つ回答とは何か、そのためにどのような情報が必要なのかを確かめています。

  一人ひとりが持つ知識や経験を、ほかのメンバーの判断や行動にもつなげられるように、AskNowの活用と改善を進めていきます。