gpt_index - 外部情報を整理し、クエリに回答するためにGPTによって作成されたインデックス!

(An index created by GPT to organize external information and answer queries!)

Created at: 2022-11-02 12:24:54
Language: Python
License: MIT

🗂️ ️GPTインデックス

GPT Index は、LLM を使用して作成され、クエリに応答するために LLM を使用して走査できる一連のデータ構造で構成されるプロジェクトです。

PyPi: https://pypi.org/project/gpt-index/

ドキュメント: https://gpt-index.readthedocs.io/en/latest/.

ツイッター:https://twitter.com/gpt_index

不和:https://discord.gg/dGcwcsnxhU

🚀概要

注: この README は、マニュアルほど頻繁には更新されません。最新のアップデートについては、上記のドキュメントを確認してください。

文脈

  • LLMは、知識の生成と推論のための現象的なテクノロジーです。
  • LLMの大きな制限はコンテキストサイズです(たとえば、Davinciの制限は4096トークンです。大きいですが、無限ではありません)。
  • LLMに「知識」を提供する機能は、この限られたプロンプトサイズとモデルの重みに制限されます。

提案された解決策

GPT Indexの中核には、LLMを外部データに簡単に接続できるように設計されたインデックスデータ構造のツールキットが含まれています。 GPTインデックスは、次の利点を提供するのに役立ちます。

  • プロンプトサイズの制限に関する懸念を取り除きます。
  • 一般的な使用パターンを抽象化して、LLMアプリの定型コードを削減します。
  • 一般的なデータソース(Googleドキュメント、Slackなど)へのデータコネクタを提供します。
  • コストの透明性+パフォーマンスを向上させながらコストを削減するツールを提供します。

各データ構造は、異なるユースケースとさまざまなカスタマイズ可能なパラメータを提供します。これらのインデックスは、LLMで通常達成するタスクを達成するために、汎用的な方法で照会できます。

  • 質疑応答
  • 要約
  • テキスト生成(ストーリー、TODO、電子メールなど)
  • もっと!

💡貢献

貢献に興味がありますか?詳細については、貢献ガイドを参照してください。

📄ドキュメンテーション

完全なドキュメントはここにあります: https://gpt-index.readthedocs.io/en/latest/.

最新のチュートリアル、ハウツーガイド、リファレンス、その他のリソースを確認してください。

💻使用例

pip install gpt-index

例はフォルダにあります。インデックスはフォルダ内にあります(以下のインデックスのリストを参照)。

examples
indices

単純なベクトルストアインデックスを構築するには:

from gpt_index import GPTSimpleVectorIndex, SimpleDirectoryReader
documents = SimpleDirectoryReader('data').load_data()
index = GPTSimpleVectorIndex(documents)

ディスクに保存してディスクからロードするには:

# save to disk
index.save_to_disk('index.json')
# load from disk
index = GPTSimpleVectorIndex.load_from_disk('index.json')

クエリするには:

index.query("<question_text>?", child_branch_factor=1)

🔧依存 関係

主なサードパーティ製パッケージの要件は、およびです。

tiktoken
openai
langchain

すべての要件はファイル内に含まれている必要があります。ホイールを構築せずにパッケージをローカルで実行するには、 を実行するだけです。

setup.py
pip install -r requirements.txt