🗂️ ️GPTインデックス

GPT Index は、LLM を使用して作成され、クエリに応答するために LLM を使用して走査できる一連のデータ構造で構成されるプロジェクトです。

PyPi: https://pypi.org/project/gpt-index/。

ドキュメント: https://gpt-index.readthedocs.io/en/latest/.

ツイッター:https://twitter.com/gpt_index。

不和:https://discord.gg/dGcwcsnxhU。

🚀概要

注: この README は、マニュアルほど頻繁には更新されません。最新のアップデートについては、上記のドキュメントを確認してください。

文脈

• LLMは、知識の生成と推論のための現象的なテクノロジーです。
• LLMの大きな制限はコンテキストサイズです(たとえば、Davinciの制限は4096トークンです。大きいですが、無限ではありません)。
• LLMに「知識」を提供する機能は、この限られたプロンプトサイズとモデルの重みに制限されます。

提案された解決策

GPT Indexの中核には、LLMを外部データに簡単に接続できるように設計されたインデックスデータ構造のツールキットが含まれています。 GPTインデックスは、次の利点を提供するのに役立ちます。

• プロンプトサイズの制限に関する懸念を取り除きます。
• 一般的な使用パターンを抽象化して、LLMアプリの定型コードを削減します。
• 一般的なデータソース(Googleドキュメント、Slackなど)へのデータコネクタを提供します。
• コストの透明性+パフォーマンスを向上させながらコストを削減するツールを提供します。

各データ構造は、異なるユースケースとさまざまなカスタマイズ可能なパラメータを提供します。これらのインデックスは、LLMで通常達成するタスクを達成するために、汎用的な方法で照会できます。

• 質疑応答
• 要約
• テキスト生成(ストーリー、TODO、電子メールなど)
• もっと!

💡貢献

貢献に興味がありますか?詳細については、貢献ガイドを参照してください。

📄ドキュメンテーション

完全なドキュメントはここにあります: https://gpt-index.readthedocs.io/en/latest/.

最新のチュートリアル、ハウツーガイド、リファレンス、その他のリソースを確認してください。

💻使用例

pip install gpt-index

例はフォルダにあります。インデックスはフォルダ内にあります(以下のインデックスのリストを参照)。

examples

indices

単純なベクトルストアインデックスを構築するには:

from gpt_index import GPTSimpleVectorIndex, SimpleDirectoryReader
documents = SimpleDirectoryReader('data').load_data()
index = GPTSimpleVectorIndex(documents)

ディスクに保存してディスクからロードするには:

# save to disk
index.save_to_disk('index.json')
# load from disk
index = GPTSimpleVectorIndex.load_from_disk('index.json')

クエリするには:

index.query("<question_text>?", child_branch_factor=1)

🔧依存 関係

主なサードパーティ製パッケージの要件は、およびです。

tiktoken

openai

langchain

すべての要件はファイル内に含まれている必要があります。ホイールを構築せずにパッケージをローカルで実行するには、 を実行するだけです。

setup.py

pip install -r requirements.txt