ChatGPTの中心にあるのは大規模言語モデル（LLM）です。大量の文章から「この言葉の次にはどんな言葉が来やすいか」を学んでおり、質問と会話の流れをふまえて、答えの文章を少しずつ予測しながら作っています。必要に応じてウェブ検索・計算・ファイル分析などの道具も使います。「調べて覚えた事実を取り出している」のではなく「文章を作っている」ので、もっともらしい間違いが起きることがあります。
答えが返ってくるまで
- 入力を受け取る：質問の文章、添付したファイルや画像、カスタム指示やメモリなど
- 文脈を読む：同じ会話の中のこれまでのやりとりもまとめて読みます（コンテキストウィンドウとは？）
- 言葉を予測して作る：文章を「トークン」という小さな単位で少しずつ作ります
- 道具を使う：最新情報は検索、計算やグラフはプログラムを動かして作ることがあります
- 回答を表示：文章のほか、表・画像・計算ツールなどの形で返すこともあります（Intelligent UI）
「学習」は2段階
まず大量の文章で言葉のパターンを学び（事前学習）、そのあと人の評価なども使って、役に立ち安全な答え方をするように調整されます。学習に使われたデータには期限があり、それより新しいことは検索しないと分かりません（知識の期限とは？）。
思考（Thinking）モデルとは
難しい質問では、答える前に時間をかけて考える「推論（思考）」をするモデルが使われます。計算や計画、複雑な比較などで正確さが上がる一方、返事までに時間がかかります（InstantとThinkingの違い）。
仕組みから分かる上手な使い方
参考：OpenAI「Prompt engineering」ガイド（推論モデルとGPTモデルの違い）、Wikipedia「Generative pre-trained transformer」。