2026年9月2日
———————————————————————————
■□■　平林良人の『つなげるツボ』Vol. 572 ■□■
―　ISOマネジメントシステムのテクノファ　―
＊＊＊　ISO9001キーワード「組織の知識」AI_6 ＊＊＊
　　　　　　AIの大量な知識の取得方法
———————————————————————————
AIは一体どのようにして大量の知識を身につけたのでしょうか。前回、最新生成AIモデ
ルでは国会図書館蔵書の約3倍の1.3億冊に相当する言語を学習しているとお話ししまし
た。AIが言語を処理する単位をトークンといいます。世界には歴史的に発展してきた多く
の言語がありますので、トークンを単純に説明できないのですが、「日本語」では、文字
や文字列をいくつかの単位に分けて処理しており、大体１文字が１トークン程度になる場
合もある、と考えると分かりやすいでしょう。

■□■　AIの大量な知識の獲得のしかた　■□■
AIを使っていると、「どうしてこんなことまで知っているのだろう」と驚くことがありま
す。歴史について質問すれば答えます。英文を渡せば翻訳します。ソフトウエアのプログ
ラムも書きます。料理の相談にも乗ります。人間なら、医学を学ぶだけでも何年もかかり
ます。法律も、工学も、文学ともなれば、一人の人間が一生かかっても全部を専門的に学
ぶことはほとんど不可能です。
ところがAIは、非常に幅広い分野について答えます。いったい、どうやってこれほど大量
の知識を身につけたのでしょうか。ここでまず知っておきたいのが、AI分野で説明される
「学習」です。人間が勉強するときには、本を読んで、「鎌倉幕府は……」「水の化学式は
……」などと知識を覚えていきます。
AIの学習は少し違います。例えば、「日本の首都は東京です」という文章を一枚のカード
に保存しておき、質問されたらそのカードを取り出す、という仕組みにはなっていませ
ん。大量の文章を材料にして、その中にある言葉、意味、文章構造、事実、考え方などの
関係を膨大な数値へと反映していって学習します。

■□■　AIの学習のしかた　■□■
AIは学習の過程で、文章の一部を見ながら、「この後にはどんな言葉が来るだろう」とい
う予測を何度も繰り返します。
学習時に与えられた文章に対して予測が外れれば、内部の数値をほんの少し修正します。
また予測します。また修正します。これを膨大な回数行い、学習していきます。このとき
調整される数値を、一般にパラメータと呼びます。非常に大きなAIでは、このパラメータ
が莫大な数（何千億～何兆）になっています。
一つひとつのパラメータに、「これは富士山についての知識」、「これは夏目漱石についての
知識」と名前が付いているわけではありません。大量の数値が互いに働くことで、質問に
応じた文章を作れる状態を形成していくのです。ここは、人間にはイメージしにくいとこ
ろです。例えるなら、料理人の経験に似ているところがあります。熟練した料理人に「こ
の料理がおいしい理由は何ですか」と聞いても、「私の頭の中の○○レシピを使っているか
らです」とは答えないでしょう。長年、食材を見たり、調理したり、失敗したりした経験
が、全体として料理の腕になっています。
AIについても、人間とは仕組みが違いますが、「大量の経験が全体の能力として組み込ま
れる」という点では似たイメージを持つことができます。AIを巨大な百科事典だと思うと
違います。百科事典なら、一度書いた文章を探し出せばその文章を見つけることができま
すが、AIは学習によって形づくられた内部の数値関係を使って、その場で文章をその都度
新しく作ります。そのため、「同じ質問をしたら、いつでも同じ文章が出てくる」とは限り
ません。

■□■　AIにはその後の学習もある　■□■
AIの学習にはもう一段階あります。大量の文章を参考にして予測と修正を繰り返す基本的
な能力を身につけた後に、また学習をします。特定のユーザに向けて「利用者の質問に役
立つ形で答える」、「危険な要求には対応しない」、「指示に従って文章を書く」といった個
別の学習も行われます。学校に例えるなら、大量の文章を使った最初の学習が基礎教育で、
その後の学習が社会人教育のようなものと考えると、分かりやすいかもしれません。

この学習に関して重要なことがあります。AIが大量に学習したからといって、世界中のこ
とをすべて学習しているわけではありません。知識が不完全なこともあります。知識が古
いこともあります。言葉同士の関係についても、間違って身につけている場合があります。
このようないくつかの要因によって、AIは明確でないこと、知らないこと、間違っている
ことを含んだ、それらしい答えを作ってしまうことがあります。

学習に関して、私には一つ疑問がありました。ChatGPTを使っていて「おや？」と思うこ
とがあります。先週の「金1gの値段を教えて」と聞くと、ちゃんと数日前の正確な値段を
答えてくれます。ということは、AIは毎日最新のあらゆる知識を学習しているのか？とい
う疑問です。そこで調べてみました。どうも最近のAIは、学習していない最新の知識はネ
ットから得ているようなのです。
AIは質問を受けると、学習済みの知識で答えられるのか、インターネット検索して答える
のかを選別しているというのです。「学習して知っていること」と「インターネットで調べ
たこと」は、生成AIの仕組みは同じではありません。
（つづく）

2026年8月26日
———————————————————————————
■□■　平林良人の『つなげるツボ』Vol. 571 ■□■
―　ISOマネジメントシステムのテクノファ　―
＊＊＊　ISO9001キーワード「組織の知識」AI_5 ＊＊＊
　　　　　　　なぜ人間と自然に話せる
———————————————————————————
私たちがこれまで「考える」と呼んできた仕事のかなりの部分を、AIが行えるようになっ
てきました。最近では「AIエージェント」というような呼び方が業界の中では頻繁に使わ
れています。エージェントとは「代理人」という意味です。AIエージェントとは、人間か
ら与えられた目標を達成するために、必要な作業を計画し、AIが人に代わって実行する仕
組みのことです。つまり、AIが「考える」だけでなく、「行う」こともできるようになっ
てきたということです。前回お話ししたように、人間と同じように考えているわけではな
いAIが、なぜこんなに自然に話すことができるのでしょうか。

■□■　AIは、なぜ人間とこんなに自然に話せる　■□■
AIは、なぜ人間とこんなに自然に話せるのでしょうか。初めてChatGPTを使った人が驚
くことの一つは、会話があまりにも自然なことです。「おはよう」と入力すれば、「おはよ
うございます」と返ってきます。毎日決まりきったような挨拶でもありません。時には
「おはよう」と少しくだけた返事が来ます。
「今日は仕事に行きたくないなあ」と言えば、「少し疲れているのでしょうか」と、人間
のような返事をすることもあります。
さらに、「もっと簡単に説明してください」と言えば、それなりに言い換えた返事が来ま
す。「小学生にも分かるようにしてください」と言えば、語彙を易しいものに変えた解説を
してくれます。
複雑な返事もしてくれます。例えば、「反対の立場から考えてください」などと頼むと、先
の返事とは反対の答え方をしてきたりします。

■□■　どうしてそんなことができるのか　■□■
不思議に思いませんか。どうしてそんなことができるのでしょうか。この秘密の大きな鍵
が、言葉同士の関係を大量に学習していることです。日本の国会図書館には約4,700万冊
の蔵書があると言われていますが、最新の生成AIは約13,000万冊（1.3億冊）の学習を
していると言われます。
例えば、
「春になると桜の花が……」という文章があったとします。この後には「咲きます」が来
そうです。
「冷蔵庫から冷たい……」なら、「水」「ジュース」「ビール」などが続きそうです。
人間も、ある程度は次に来る言葉を予想しながら文章を読んでいます。現在の文章生成AI
も、大ざっぱに言えば、これに似たことを非常に高度な形で行っています。
AIは学習の段階で膨大な文章に接し、「このような言葉の後には、どのような言葉が現れ
やすいか」という関係を学んでいます。ただし、「次の単語を当てているだけ」と理解する
と、少し単純化しすぎです。特に2017年にTransformerという技術が登場してから、文章
中の離れた言葉同士の関係や文脈を捉える能力が大きく発展しました。現在のAIは、一
つ前の言葉だけを見るのではなく、それまでの文章に含まれるさまざまな言葉の関係や文
脈を考慮しながら、次に現れる言葉を予測しています
例えば、
「太郎は冷蔵庫から牛乳を取り出しました。それをコップに入れて飲みました」
という文章では、「それ」が何を指しているのかを考える必要があります。「冷蔵庫」では
なく「牛乳」だと判断しなければ文章は理解できません。

■□■　Attention：注意機構　■□■
こうしたときに大きな役割を果たしている仕組みの一つが、Attention：注意機構です。
Attentionとは、簡単に言えば、文章の中で「今の言葉を考えるとき、ほかのどの言葉に注
目すればよいか」を計算する仕組みです。
2017年に発表された「Attention Is All You Need」という論文から発展したTransformer
という仕組みが、現在の多くの生成AIの基礎になっています（本稿vol.568、569で詳し
く説明しています）。
例えば、
「昨日、私は京都で清水寺を見ました。とても美しい建物でした」とあれば、「建物」と
いう言葉と「清水寺」との関係に注目します。このような関係を一つ二つではなく、大量
の文章の中から学習します。
その結果、AIの内部では、
「医者」と「病院」
「教師」と「学校」
「雨」と「傘」
のような単純な関係だけでなく、「謝罪するときの文章」「相手に反論するときの言い方」
「難しい内容を簡単に説明するときの表現」といった複雑な関係まで扱えるようになりま
した。ここに、現在のAIの会話の自然さがあります。

■□■　文章全体の関係性を捉える　■□■
私たちがAIに、「この説明、ちょっと難しいですね」と言うとします。人間なら、「もっと
簡単にしてほしいのだな」と察します。AIも、それまでの会話や言葉の関係から、「説明
の難易度を下げることが求められている」と判断し、それに合いそうな文章を生成します。
そのため、私たちには「こちらの気持ちを理解してくれた」ように見えるのです。
しかし、ここでは注意が必要です。
自然に話せることと、人間と同じように理解していることは同じではありません。
非常に自然な日本語で、間違ったことを説明する場合があります（ハルシネーション）。
人間は「こんなに自信たっぷりに説明するのだから正しいだろう」と思いがちですが、文
章の上手さと内容の正確さは別の問題なのです。
では、そもそもAIはどうやって、医学、歴史、法律、文学、プログラミングなど、これほ
ど幅広いことについて話せるようになったのでしょうか。それには、AIが行う「事前学習」
を知る必要があります。

（つづく）

2026年8月19日
———————————————————————————
■□■　平林良人の『つなげるツボ』Vol. 570 ■□■
―　ISOマネジメントシステムのテクノファ　―
＊＊＊　ISO9001キーワード「組織の知識」AI_4 ＊＊＊
　　　　　　AIは考えているのか？
———————————————————————————
前回、AIは考えることができる？答えはNOです、と答えましたが、いくつか質問が来ま
したので、もう少し正確に説明したいと思います。現在のAIはコンピュータ上で動いてい
ますから、最も基本的なところでは0と1の電気信号で処理されています。しかし、AIそ
のものは0と1を見分けているだけではありません。大量の数値を使って複雑な計算を繰
り返しています。

■□■　AIは本当に「考えて」いるのでしょうか　■□■
ChatGPTなどのAIと話していると、ときどき不思議な気持ちになります。「この文章につ
いてどう思いますか」と聞けば、良いところと悪いところを分けて答えてくれます。「別の
考え方はありませんか」と聞けば、先ほどとは違う立場から意見を述べます。こちらが間
違いを指摘すると、「確かにその通りです」と答えて、考え直したような文章を返してきま
す。
これを見ていると、「AIは本当に考えているのではないか」と思えてきます。では、AIは
考えているのでしょうか。前回はNOと答えましたが、実は、この質問に単純にYES、
NOで答えるのは正確な答えではありませんでした。なぜなら、そもそも「考えるとは何
か」が簡単には決められないからです。
人間の場合、私たちは問題を解くだけでなく、「どうしようかな」と迷ったり、「これはお
かしい」と感じたり、「昨日の失敗は悔しかった」と思ったりします。そこには記憶、感
情、意識、欲求など、いろいろなものが関係しています。一方、現在のAIが行っているこ
とは、それとはかなり違います。
例えば私たちが、「日本で一番高い山は？」と質問したとします。
AIの内部には、人間が読むような百科事典が置いてあって、そこから「富士山」というペ
ージを探しているわけではありません。

■□■　AIは膨大な計算をしている　■□■
AIは質問として入力された「言葉を数値として扱い」、それまでの学習で身につけた膨大
な関係を使って、「この質問に対して、次にはどのような言葉を続けるのが適切か」を計算
していきます。
その計算を何度も繰り返した結果、「日本で一番高い山は富士山です」という文章が出来
上がります。AI研究開発はものすごいスピードで進んでいます。現在のAIは、一つの質
問に答えるだけではありません。「東京から大阪へ行きたい。費用を抑えたいが、あまり
時間もかけたくない」と相談すると、新幹線、飛行機、夜行バスなどを比較して答えま
す。つまり、単に覚えた文章を繰り返すだけではなく、与えられた条件を整理し、比較
し、ある程度の推論を行うこともできます。
そのため、AI研究では「reasoning」、日本語では「推論」と呼ばれる能力が重要になって
います。

■□■　推論は考えること？　■□■
では、それを「考えている」と呼んでもよいのでしょうか。ここが難しいところです。
AIは、人間が考えているような結果を出すことができます。一方で、人間と同じような意
識を持ち、「いま私は考えている」と自覚しているわけではありません。つまり例えばAI
が、「それは悲しいですね。お気持ちは分かります」と言ったとしても、人間と同じように
胸が苦しくなっているわけではありません。

ここで、自動車を思い浮かべてみましょう。自動車は人間より速く走れます。しかし、「自
動車には人間より優れた脚がある」とは言いません。人間の脚と自動車のエンジンでは、
移動するという結果は似ていても、仕組みがまったく違うからです。

AIについても同じ見方ができます。人間は考えて答えを出します。AIも、ある種の問題で
は人間以上の答えを出すことがあります。しかし、同じ答えに到達したからといって、そ
こへ至る仕組みまで人間と同じではありません。
ですから、「AIは考えるか」という問いに対して、現在のところ私は、「AIは人間と同じ
ように考えているとは言えない。しかし、私たちがこれまで「考える」と呼んできた仕事
のかなりの部分を、AIが行えるようになってきた」と理解するのが正確であると思います。

■□■　もっと面白い疑問？　■□■　　
そう考えると、もう少し違う疑問が出てきます。人間と同じように考えているわけではな
いAIが、なぜ私たちとこれほど自然に話すことができるのでしょうか。次回その疑問を
考えてみたいと思います。

（つづく）

2026年8月12日
———————————————————————————
■□■　平林良人の『つなげるツボ』Vol. 569 ■□■
―　ISOマネジメントシステムのテクノファ　―
＊＊＊　ISO9001キーワード「組織の知識」AI_3 ＊＊＊
———————————————————————————
自動車はガソリンで動きます。最近では電気で動く自動車も出てきました。この２種類の
自動車はエネルギー源が異なることから、動く理屈は違います。AIはどうでしょうか。今
のところAIのエネルギー源は電気でしかないので動く理屈は一つしかありません。それは
０か１かの識別という理屈です。「0」か「1」を並べたビット列命令（二進コード、バイナ
リコード）で書かれた機械語で動きます。

■□■　AIは考えることができる？　■□■
答えはNOです。AIが、人間と同じように意識を持って考えていると確認されているわけ
ではありません。私たちが「AIが考えている」ように感じるのは、非常に複雑な計算によ
って、人間らしい答えを返すことができるからです。現在のAIはコンピュータ上で動い
ていますから、最も基本的なところでは0と1の電気信号で処理されています。しかし、
AIそのものは0と1を見分けているだけではありません。大量の数値を使って複雑な計算
を繰り返しています。
いま自動車では自動運転の研究開発が進められていますが、限定された地域や条件では、
すでに運転者のいない自動運転サービスも実用化されています。これも自動車が考えてい
るわけではありません。AIが考えて運転している？、いえそうではありません。

2022年にChatGPTが登場して、今まで専門家しか触れてこなかったAIに多くの人が接
するようになりました。それまでも、お話しロボットなどがシニアのお相手をするという
話題はありました。しかし、LLM大規模言語モデルという仕組みが開発されてから一変し
ました。
あなたが「おはよう」とAIに挨拶する、あたかも考えているように「今日のご機嫌はいか
がですか」などと答えてきます。しかも、その答えは毎回同じではありません。
どうしてそんなことができるのでしょうか。

AIについて知識を得ようとして驚くことがあります。ちょっとした話を調べようとすると
膨大な出典（reference）が付いてくることです。米国と中国の間のAIの開発競争は熾烈
を極めており、AI開発は企業機密であると思っていました。しかし、ある論文の出典を調
べた時、そうでもないことを知りました。生成AI（人工知能）を含む最新のAI研究の動
向は論文サイト「arXiv（アーカイブ）」に掲載され、世界中の研究者やエンジニアが参照
できるようになっているのです。
生成AI（ChatGPTなど）の核心技術に関する研究論文も論文サイトに掲載され、現在も
参照可能です。それは、2017年にGoogle研究グループが発表した“Attention Is All You
Need：必要なのはAttenntionだけ”という論文です。前回もお話ししたようにAI分野で
はもっとも有名な論文だそうです。

論文では、最初に表題“Attention Is All You Need”が書かれ、その次に共同研究者の名前が
８人書かれています。１人を除き全員がgoogleの研究者です。その次に論文の要旨
（Abstract）が書かれています。

Abstractを日本語にしてみます。
「従来、系列変換（sequence transduction）の主要なモデルは、**エンコーダ（encoder）
とデコーダ（decoder）を備えた複雑な再帰型ニューラルネットワーク（RNN）や畳み込
みニューラルネットワーク（CNN）**を基盤としていました。
特に高い性能を示すモデルでは、さらに**Attention（注意機構）**によってエンコーダと
デコーダを接続しています。
本論文では、Transformerと呼ばれる新しくシンプルなニューラルネットワーク・アーキ
テクチャを提案します。
Transformerは、Attention機構だけを基盤としており、再帰処理（recurrence）や畳み込
み処理（convolution）を完全に使用しません。
2つの機械翻訳タスクで実験した結果、このモデルは、
　・翻訳品質が優れている
　・並列処理を行いやすい
　・学習に必要な時間を大幅に短縮できる
という特徴を持つことが示されました。
私たちのモデルは、WMT 2014 英語→ドイツ語翻訳タスクにおいてBLEUスコア28.4を
達成しました。これは、複数モデルを組み合わせたアンサンブルモデルを含む、それまで
の最高結果を2 BLEU以上上回る結果です。
さらに、WMT 2014の英語→フランス語翻訳タスクでは、8台のGPUを使用して3.5日
間学習することで、単一モデルとして当時の最高性能となるBLEUスコア41.8を達成し
ました。しかも、この学習コストは、それまでに報告されていた最高性能モデルと比較し
て、ほんのわずかなものでした。」

■□■　どうして論文を紹介するのか　■□■
Attention Is All You Need論文を紹介した理由は、我々が毎日便利に使用しているAIがそ
の裏側でどんな仕組みで動いているのか、その仕組みはいつ頃、誰が、どのようにして作
ったのかなどを大雑把で良いから知っておきたいと思うからです。

したがって、論文の内容を理解しようとするつもりはありません。そもそも、我々には論
文に書かれている専門用語、理屈、背景、知識などは持ち合わせていませんので、内容を
正確に理解することは不可能でしょう。
ちょうど自動車を運転するときに、どうして自動車は動くのかを分かりやすく知っておく
ことと一緒であると思っています。
あまり見ることが無いと思いますので、AI分野で有名になったという論文を掲載します。
著作権がありますので冒頭の部分だけ引用します。

（つづく）

2026年8月5日
———————————————————————————
■□■　平林良人の『つなげるツボ』Vol. 568 ■□■
―　ISOマネジメントシステムのテクノファ　―
＊＊＊　ISO9001キーワード「組織の知識」AI_2 ＊＊＊
———————————————————————————
生成AI（ChatGPTなど）の説明でよく出てくる用語にLLMがあります。Large
Language Modelの略で大規模言語モデルと呼ばれています。2022年に公開されたOpen
AIのChatGPT（チャッピーとの愛称あり）の核心にある技術がこのLLMです。事前に学
習した膨大な知識（国会図書館蔵書1260万冊と同等）情報をベースにユーザ質問に答え
る文章を作る技術です。

■□■　AIはどうやって文章を作るのか　■□■
AIが文章を作る方法を翻訳を例に説明します。例えば、「吾輩は猫である」を英語に翻訳
したい場合、AIには、まずインプットである日本語を、吾輩→は→猫→で→ある、という
ように、文章全体を一つずつの用語（トークン）に分解させます。そして先頭から順番に
用語を処理させていきます。この処理は、まずインプットの用語をベクトルに変換します。
この「ベクトル」という概念はわれわれ一般人にはよく理解できないのですが、まずはベ
クトルという言葉にとらわれず、機械（コンピュータ）が理解できるような単位に変換す
ると考えてください。

次に、膨大な事前学習のベクトル化された知識の中から、「吾輩→は→猫→で→ある」を
”I →am →a→ cat”という順に、頭から順に統計的確率の高い用語を選んでいくという
ことをひたすら高速に実施していきます。
しかし、この方法では、前の用語の計算が終わらないと次の用語を処理できないため、
いわば一本のレールの上を走る電車のようにしか処理できなくて、文章作成に時間がかか
るということが問題でした。

現在のLLMの基盤となっているTransformer（トランスフォーマー）は、文章中の言葉同
士の関係を効率よく捉えながら処理するためのAIの仕組みです。2017年にGoogle研究チ
ームが発表した論文「Attention Is All You Need」で提案されました。この論文はAI分野
でもっとも有名な研究論文の一つです。入力された文章の文脈をもとに言語を処理すると
いう従来の言語モデルの考え方を発展させ、GPTなどのLLMでは次に来る用語（トーク
ン）の確率を予測して文章を生成しています。
大きな改善点は、Attentionという仕組みによって文章中の離れた用語同士の関係を捉えら
れるようになったこと、またトランスフォーマーによって学習時の並列処理が可能になっ
たことです。その結果、大量のデータを効率的に学習できるようになり、大規模な言語モ
デルの発展につながりました。

AIは「人工知能：Artificial Intelligence」と呼ばれるように、人間の脳の動きを分析、解
析し、疲れを知らない機械（コンピュータ）に真似させようという概念で、70年くらい前
に世界的に研究が始まりました。私がかつて在籍していたセイコーエプソンにも、1984年
に「エー・アイ・ソフト」という子会社が設立されました。設立直後から当時としては先
進的なソフトを開発しましたが、特徴は、OCR、画像処理など、エプソンが得意とするハ
ードウェア（スキャナ・プリンタ）と連携するソフトにフォーカスを当てていました。当
時、担当していた同僚から聞いた話で印象に残っていることがあります。
「人間はいろいろなことを考えるが、今行おうとしていることに集中するとより物事を深
めることができる。」という何気ない会話です。

東大松尾研 社会人公開講座で “Attention is All You Need”というフレーズを聞いた時、真
っ先に思い出したのが同僚とのこの会話でした。“attention”というのは、注意を向けると
いう意味ですが、いままで次の用語、また次の用語と順序よく文章を紡いでいた処理を、
今対象となっている文章の内容に焦点を当てると、大量の用語の中からどの用語が重要か
ということがはっきりし、用語同士の関係性から文章を作成する、という処理方法が開発
されたというのです。この2017年の研究論文が実を結んだのがOpen AIの2022年の
ChatGPTだったということです。GPTの正式な英語は、“Generative Pre-trained
Transformer”で日本語に訳せば、「生成型・事前学習済みTransformer」となります。この
ようにLLMのなかにはAttentionという概念を持ったトランスフォーマーというメカニズ
ムが使われています。

■□■　LLMはシンプル　■□■
LLMの基本的な考え方は比較的シンプルに成り立っているといわれます。それは確率的に
次に来る適切な用語を決めながら全体の文章を紡ぐ繰り返し処理であるからです。ただ、
この処理を日常生活では考えられないモーレツなスピードで大量に行っていることから
我々の常識が追い付かないというイメージになっているのです。

最新のLLMは事前学習で覚えた世界中の多くの知識を使って結果を出し、汎用な博識に
おいては人を超えているかもしれず、世界数学オリンピックでも優勝するレベルになって
います。ただ、モデルによっては知らないこともあり、その場合ハルシネーション（幻
想）と呼ばれる嘘を言うこともあります。
また、企業固有の業務にLLMを利用する場合は、プロンプトの工夫、社内資料の検索・
参照、RAG、ファインチューニングなどによって、必要な情報や回答形式を補うことも必
要になります。
企業が自社固有の課題をAIに実施させようとすると、次のようなステップを必要としま
す。いままで述べたことの繰り返しになりますが、再度整理します。

(1)文章を細かく分ける
入力された文章を「トークン」と呼ばれる処理単位に分割します。トークンは単語と一致
する場合もありますが、単語の一部、文字、記号などになることもあります。
(2)言葉を数字に変換する
各トークンをベクトルという数値の集まりに変換し、言葉の意味や関係を計算できるよう
にします。
(3)文脈を読み取る
TransformerのAttentionという仕組みを使い、文章中のどの用語が重要か、どの用語同士
が関係しているかを判断します。
(4) 次の言葉を予測する
例えば「今日は天気が」に続く候補として、「良い」「悪い」「暑い」などの用語の確率を計
算し、その中から一つを選びます。この処理を繰り返して文章を作ります。
（つづく）