Core Concepts
オープンソースアルゴリズムプロジェクトに関する質問に対して、LLMベースの技術アシスタントを活用することで、効果的に回答を提供し、開発者をサポートすることができる。
Abstract
本研究では、HuixiangDou と呼ばれる LLM ベースの技術アシスタントを開発しました。このシステムは、OpenMMLabのコンピュータービジョンやディープラーニングのプロジェクトなどのオープンソースアルゴリズムプロジェクトに関する質問に対して、洞察力のある回答を提供することを目的としています。
具体的な取り組みは以下の通りです:
- グループチャットシナリオに特化したアルゴリズムパイプラインの設計
- text2vecを用いた質問拒否機能の信頼性検証
- LLMに求められる3つの重要な機能(スコアリング能力、In-Context Learning、長文脈理解)の特定
- ソースコードの公開やアプリ・Webサービスの提供など、今後の研究や応用に役立つ取り組み
HuixiangDouは、インスタントメッセージングツールのグループチャット内で活用できるシステムです。
Stats
ユーザーの質問の11.6%が実際の質問であることが確認された。
text2vecモデルを用いた質問拒否機能の精度は、precision 0.99、recall 0.92であった。
40,000トークンの長文脈に対応可能なLLMモデルを実現した。
Quotes
"ChatGPTは単一ユーザーチャット向けに設計されているため、グループチャットに直接統合すると、他のユーザーの体験に影響を及ぼし、グループから退出させる可能性がある。"
"コードの実装原理や修正方法などの本当に価値のある質問に対しては、ChatGPTは正しい回答を提供できない。これは、その学習データがインターネットから収集されたものであり、ドメイン固有の知識が不足しているためである。"