ChatGPTのAPIを利用してWebページの解析ロジックを作成していたのですが、コンテキストウィンドの上限で失敗するという、なんとも初歩的な失敗のご紹介です。
ツールの詳細はさておきまして、上限の調査について紹介します。
今回は、gpt-3.5-turboを利用しています。
①ModelごとのContext Windowについて確認します。
https://platform.openai.com/docs/models/gpt-3-5-turbo
gpt-3.5-turbo-0125は、16,385 tokenes
②実際に投入するトークンの数を確認する
https://platform.openai.com/tokenizer
ためしに、実際にデータを入れてみたところ、なんと18,177 tokensでした。
あらかじめ仕様と実データについて確認するべきでした。反省です。
（以前に投稿した参考記事）
PythonからChatGPTをAPI利用してみる
（記事のお問合せ・無料相談 → こちら）
