少し前にAWS サーバーレスで構築したチャットシステムにChatGPTをAPI連携させて、ＡＩチャットボットを開発してみました。
OpenAI社のAPI利用で機能を実現したのですが、実際に組み込むところは非常に簡単に実現することができます。（OpenAI社のAPIドキュメントはこちらです）
簡単にAPI Gateway→Lambda関数→OpenAI API で組み込んでみたところ、思いのほかレスポンスに時間がかかっていることがわかり、以下の様に修正を加えました。
変更点としては、間に「SQS」「Lambda関数」を含めるようにしました。
OpenAIへの問合せに時間がかかってもSQSで緩衝できる様になっています。
この変更によって、AIへの連続した問合せに耐えられる仕組みとなっています。OpenAI に相対しているLambda関数では、OpenAIへの問合せ状況をコントロールするなど、問合せに柔軟な対応ができることを考慮しています。
（記事のお問合せ・無料相談 → こちら）