ホームページ作成の費用相場について
いくらくらいが適切なの？
「ChatGPTに文字数制限ってあるの？」
「ChatGPTに入力できる最大文字数っていくつなの？」
「途中で文章の出力が止まってしまった」
ChatGPTを扱う上で、このような疑問を持ったことはないでしょうか。ChatGPTは高度な文章を生成してくれる優れたAIですが、長文の読み込みや回答には対応していません。
そのため、長文の要約などを依頼するとエラーが起きてしまいます。
この記事では、ChatGPTに入力できる最大文字数やエラーが起きた際の対処法を検証を元に解説していきます。
ChatGPTの利用でつまづいている方は、ぜひ参考にしてください。
AIチャットで
業務を効率化しませんか？
うちのAIで
ChatGPTを御社専属の社員に
できます。
ChatGPTには文字数制限がある
ChatGPTには、テキストの入力、出力共に文字数制限があります。正確には、文字数ではなくトークン数によって制限が設けられており、「英語」「ひらがな」「漢字」などの違いで上限が異なります。文字数制限が設けられている理由は、以下の3つです。
- ChatGPTが、より大きなテキストを処理する際にかかる負荷により、パフォーマンスが低下し誤情報を出さないようにするため
- 一度に覚えられる情報量が限られていて、超えるとロケット鉛筆方式で古い情報を忘れてしまうため
- 長すぎる返答により、ユーザーにとって理解しやすい文章にするため
ユーザーに対して有益な情報を提供するため、あるいはChatGPTが誤作動を起こさないために文字数制限が設けられていると考えられます。
ChatGPTのトークンとは
トークンとはChatGPTのテキスト上の、句や単語の最小単位です。トークンの計算方法は公開されていませんが、Web上には、以下のように定義されているという情報もあります。
| 英語 | 1単語=1トークン |
|---|---|
| ひらがな | 1文字=1〜2トークン |
| 漢字 | 1文字=1〜3トークン |
ただし、上記の情報が正確とは限らず、文字によって数も異なるため、文章を見ただけでは正確なトークン数は判別できません。しかし、ChatGPTの運営元である「OpenAI」が提供している「Tokenizer」というツールを使えば、入力したテキストのトークン数を簡単に知れます。
ChatGPTの最大文字数を検証
ChatGPTに入力できる最大文字数を以下の条件で検証していきます。
- 文章は「ひらがなのみ」と「漢字を含む」の2つ
- それぞれ同じ文字数で比較
- 入力と出力両方の文字数を検証
- 「Tokenizer」でトークン数も調査
また、文字数制限の基準となっているトークン数ですが、ChatGPTに確認したところ以下の返答がえられました。
プロンプト：「ChatGPTの入力時の最大トークン数はいくつ？」
回答：対話コンテキスト全体で4096トークン
参考：ChatGPTの回答
続けて最大文字数も聞いてみました。
プロンプト：「じゃあ、入力時の日本語の最大文字数はいくつ？」
回答：日本語は一般的に1文字1トークンなので、おおよそ4096文字
参考：ChatGPTの回答
トークン数とほぼ一緒の4096文字が日本語の最大文字数という回答が得られました。この結果の正確性を測るために、検証を行っていきます。
テキスト入力時
以下の手順で検証を行いました。
- ChatGPTに2000文字の「ひらがなのみ」or「漢字を含む」文章を入力して、「上記の文章を要約をして」とお願いする
- 入力する文章の文字数を1000単位で増やしていき、エラーが出るまで続ける
- エラーがでたら500文字減らして入力して範囲を狭める
- 3でエラーが出たら250文字、エラーが出なければ750文字を試す
※「上記の文章を要約して」の一文は文字数に含めないものとする
ひらがなのみの場合
2000文字は難なく要約してくれました。
3000文字も要約してくれました。
4000文字も要約してくれました。
5000文字も要約してくれました。
6000文字ではエラーが表示され、要約してくれませんでした。
エラーの文章を訳してみると、「あなたの文章は長すぎたため、短くしてから再度入力してください」という意味のものでした。これが文字数制限に引っかかったときに出るエラーのようです。
5500文字でもエラーが出てしまい、要約してくれませんでした。
5250文字では要約をしてくれました！
この検証から、ひらがなのみの文章の入力時の最大文字数は5250文字程度だと分かりました。事前に聞いていた約4096文字よりも1000文字近く多いです。
一方、トークン数は6786でした。こちらも事前に聞いていた制限の4096トークンよりも多かったです。
漢字を含む場合
2000文字では要約してくれました。
3000文字では要約してくれました。
4000文字では要約してくれました。
5000文字では要約してくれました。
6000文字ではエラーが出てしまい、要約してくれませんでした。
5500文字でもエラーが出てしまい、要約してくれませんでした。
5250文字では要約してくれました！
この検証から、漢字を含む文章の最大文字数は約5250文字だと分かりました。ひらがなのみの場合とほとんど一緒です。
次に、トークン数を調べてみます。
トークンの数は7517トークンでした。「ひらがなのみ」の文章のトークン数は6786トークンだったのでトークン数は漢字を含んだ文章のほうが1.25倍ほど多くなりました。しかし、最大文字数は「ひらがなのみ」「漢字を含む」のいずれも約5250文字程度と差がありませんでした。
上記の結果から、「ChatGPTはトークン数ではなく、文字数で制限しているのではないか」との仮説が立てられます。
テキスト出力時
以下の手順で、テキスト出力時の文字数も検証していきます。
- 3つほど質問して、それぞれ末尾に「1000文字以上で教えて」と書き加える
- それぞれ出力が止まった時点までの文字数を調べる
- それぞれの文字数の平均値をとって出力の最大文字数を割り出す
まず、入力時と同様にChatGPT自身に文字数制限を聞いてみます。
プロンプト：「ChatGPTの出力時の最大トークン数はいくつ？」
回答：1回のリクエストごとに、4096トークン。入力分と出力分の合計で計算される。
参考：ChatGPTの回答
プロンプト：「じゃあ、出力時の日本語の最大文字数はいくつ？」
回答：通常1文字が1トークンとしてカウントされる。一般的には3000文字から3500文字程度の範囲で成約されることが多い。
参考：ChatGPTの回答
ChatGPTに文字数を聞いたところ、応答の場合はトークンは最大4096で、出力と入力の合計であるとも言っています。日本語の出力文字数は3000から3500文字だと言っています。入力時の質問とトークンのところで食い違っていました。疑問点が多いので、検証を行い実際の出力可能文字数を確認していきます。
1000文字以上の回答を求めて質問をしましたが、730文字で応答が止まってしまいました。
2000文字以上の回答を求めて質問したのですが、739文字で応答が止まってしまいました。
3000文字以上の回答を求めて質問したのですが、687文字で応答が止まってしまいました。
この検証結果から、約718文字が出力の文字数制限であることが分かりました。事前にChatGPTが言っていた3000文字から3500文字という結果とは大きく異なっています。しかし、「Continue generating」をクリックすれば、続きを書いてもらうことは可能です。
ChatGPTを自社サイトで利用できるか試してみませんか？
ChatGPTの（無料版GPT-3.5）と有料版（GPT-4）の文字数制限の比較
ChatGPTには無料版と有料版があります。これまでの検証は誰でも気軽に使うことができる無料版で行ってきました。そこで、次はChatGPTの有料版でしか使えないGPT-4の文字数制限を調査して無料版と比較していきます。
テキスト入力時
- ChatGPTに2000文字の「ひらがなのみ」or「漢字を含む」文章を入力して、「上記の文章を要約をして」とお願いする
- 入力する文章の文字数を1000単位で増やしていき、エラーが出るまで続ける
- エラーがでたら500文字減らして入力して範囲を狭める
- 3でエラーが出たら250文字、エラーが出なければ750文字で試す
ひらがなの場合
1000文字では要約をしてくれました。
2000文字では要約をしてくれました。
3000文字ではエラーが出てしまい、要約をしてくれませんでした。
2500文字では要約をしてくれました！
2750文字ではエラーが出てしまい、要約してくれませんでした。
]
この結果から、ひらがなのみの入力の最大文字数は約2500文字だと分かりました。GPT-3.5は約5250文字だったため、3000弱の差があることがわかります。
漢字を含む場合
1000文字では要約をしてくれました。
2000文字でも要約してくれました。
3000文字ではエラーが出てしまい、要約してくれませんでした。
2500文字では要約してくれました！
2750文字ではエラーが出てしまい、要約してくれませんでした。
この検証結果から、GPT-4の漢字を含む文章入力の最大文字数は約2500文字だと分かりました。ひらがなと同様にGPT-3.5とは3000文字弱の差がありました。
テキスト出力時
1000文字以上の回答を求めて質問したのですが、769文字で応答は止まってしまいました。
2000文字以上の回答を求めていたのですが、734文字で回答は止まってしまいました。
3000文字以上の回答を求めていたのですが、732文字で止まってしまいました。
3つの出力の結果から、平均は745文字でした。この検証結果から、GPT-4の出力の最大文字数は約745文字と分かりました。
GPT-3.5（無料版）とGPT-4（有料版）の文字数制限の比較
検証の結果を表にまとめました。
| ひらがなのみの入力時 | 漢字を含む入力時 | 出力時 | |
|---|---|---|---|
| GPT-3.5 | 約5250文字 | 約5250文字 | 約718文字 |
| GPT-4 | 約2500文字 | 約2500文字 | 約745文字 |
| 比較結果 | 倍以上の差がある | 倍以上の差がある | さほど差はない |
入力時はひらがなのみの場合も漢字を含む場合も倍以上差があります。GPT-4の方がGPT-3.5に比べて入力の文字数制限は厳しいようです。一方で、出力時はさほど大きな差はありませんでした。
ChatGPTの文字数制限を回避する方法
ChatGPTの文字数制限を解除することはできませんが、ChatGPT文字数制限を回避することはできます。その方法を検証も含め解説していきます。
テキスト入力時
要約して欲しいテキストが文字数制限に引っかかる場合、下記の方法を使えば、ChatGPTにテキストを分割して送信できます。
手順
- これからのチャットにルールを決めることをChatGPTに理解させる
- ルールを提示する（チャットへの応答を限定するようなもの）
- ルールを理解しているようであれば分割したテキストを複数回に分けて送る
- 3までで上手く行っていない場合は新しいチャットを開き手順1からやってみる
これからチャットのルールを決めることを理解させます。
ルールを伝えます。
理解しているようであればそのままテキストを入力します。
以下は実際に使用した例です。
このように指示を出すことでChatGPT側からこう返ってきました。
最終的に分割したテキストを一つの文章として捉え、要約文を返してくれました。
テキスト出力時
ChatGPT側からの応答は700文字程度で止まりますが、下部に表示される「Continue generating」をクリックすると続きを書いてくれます。稀に表示されないことがありますが、その際は「続きを書いて」と指示を出せば同様の効果が得られるため、試してみましょう。
応答停止画面
まとめ
この記事では、ChatGPTの日本語の入出力時の文字数制限について検証しました。GPT3.5（無料版）では、入力時の最大文字数は「ひらがなのみ」「漢字を含む」同様に約5250文字、出力時は約718文字という結果でした。GPT-4（有料版）では、入力時の最大文字数は「ひらがなのみ」「漢字を含む」同様に約2500文字、出力時は約745文字という結果になりました。
上記のそれぞれの検証結果を比較したところ、GPT-3.5とGPT-4の入力時の最大文字数は倍以上違い、GPT-3.5の方が一度に多くの日本語を入力できることが分かりました。しかし、出力時の差は30文字程度しかなく、GPT-4の方が少し多く応答してくれるようでした。
さらに、テキスト入力時の文字数制限の回避方法や、テキスト出力時に文字数制限で応答が止まった時の対処法を解説しました。入力時の文字数制限を回避する際、ChatGPTは一度に多くの情報を処理すると精度が落ちてしまうので、手順を踏んでルールを理解させました。まず、チャットのルールを決めることを承知させて、ルールを送り理解させます。その後テキストを分割して送り、最後にまとめて要約してもらうようにします。出力時では、「Continue generating」のボタンをクリックするか、チャットに「続きを書いて」と送ることで応答を再開してくれます。
これは長文のテキストを楽に読むために要約してもらいたいときや、質問に対してもっと長く説明してほしい際に役立つので、ぜひ活用してみてください。
Share
