2025-08

はじめに 今日はニューラルネットワークの基礎である ステップ関数と逆伝播の微分 を勉強しました。 また、11:00〜13:00 に『つくりながら学ぶ！LLM 自作入門』の輪読会に参加し、**第2章「トークナイザー」**を扱いました。 ステッ...

TL;DR LLM学習では「損失→勾配→最適化（AdamW）」が必須。推論は前向きのみ。 **RAG（TF-IDF+コサイン）**は“統計＋線形代数”で完結。勾配・活性化・最適化は使わない。 自作 MiniGPT（Pre-LN, GELU）...

今日はコードとにらめっこしながら、少しずつ準備を進めました。 やったことを振り返ると、大きくは２つです。 1. 全体処理にコメントを追加 今までコードを書きっぱなしだったので、読み返すと「これ何だっけ？」となる部分が多かったんです。 そこで...