未分類

はじめに 今日はニューラルネットワークの基礎である ステップ関数と逆伝播の微分 を勉強しました。 また、11:00〜13:00 に『つくりながら学ぶ！LLM 自作入門』の輪読会に参加し、**第2章「トークナイザー」**を扱いました。 ステッ...

TL;DR LLM学習では「損失→勾配→最適化（AdamW）」が必須。推論は前向きのみ。 **RAG（TF-IDF+コサイン）**は“統計＋線形代数”で完結。勾配・活性化・最適化は使わない。 自作 MiniGPT（Pre-LN, GELU）...

今日はコードとにらめっこしながら、少しずつ準備を進めました。 やったことを振り返ると、大きくは２つです。 1. 全体処理にコメントを追加 今までコードを書きっぱなしだったので、読み返すと「これ何だっけ？」となる部分が多かったんです。 そこで...

AIと仕事をする時代、「プロンプトの書き方」は新しい必須スキルになっています。でも、プロンプトエンジニアリングと聞くと、「なんだかエンジニア向けの難しい技術なのでは？」と思ってしまう人も多いかもしれません。 安心してください。 今回は、エン...

はじめに 音声データをリアルタイムで処理するアプリケーションの需要は、音声認識や音声チャットの普及により増加しています。この記事では、OpenAI Realtime APIを活用し、リアルタイム音声データを処理する実装方法を解説します。 特...