OS 開発ですが、 x86-64 は引き続き行ってますが、今のメインは RISC-V に移ってます。
基本的な部分は終わり、OSのセルフホスティング(OSの中でコンパイラでOS自身のソースをコンパイルして、起動できるようにする)までは行ってます。
OS 開発ですが、 x86-64 は引き続き行ってますが、今のメインは RISC-V に移ってます。
基本的な部分は終わり、OSのセルフホスティング(OSの中でコンパイラでOS自身のソースをコンパイルして、起動できるようにする)までは行ってます。
いつも行ってる隣の市の図書館に行ったら、ほしい本が新刊コーナーにありました。
Amazon.co.jp: ゼロから作るDeep Learning ❻ ―LLM編 : 斎藤 康毅: 本
もう2年くらい大規模言語モデルLLMの基礎技術の Transformer を勉強してきましたが、ずっと分からなかったのですが、この本でやっと腑に落ちました!!
Attension の Q, K, V から先に行けなかったのですが、この本に書いてある Attension は「ソフトなディクショナリ」として捉えることができます。
これとそのあとの例で、今まで分からなかったことが理解できました。目から鱗が落ちるってこのことでした。
このあと、モデル構造や学習方法を段階的に詳しくして行くとても分かりやすい構成です。
価格が4,400 円ですが、内容に感動して電子メディア版を購入しました。
このままでは物足りないので、トークナイザーを日本語対応にして、日本語LLMを開発します。

10年間書き溜めた アマゾン本 レガシーシリーズ8巻 の無償提供キャンペーンを始めます。
期間:2026/6/15(月) ~ 6/19(金)
ラズベリーパイ上で、40〜50年前の今の時代とは全く違ったOSを楽しめるシリーズとなってます。ただ10年前の違い現在は Windows 上なら WSL2 + Ubuntu 24.04 などで試せますし、 Mac なら brew 環境で簡単に試せます。
1冊だけはは今流行の AI 大規模言語モデルに関する平易な説明本です。

ご注意:左上のオリジナルOS本は無償枠を使ってしまったので、申し訳ありませんが、今回は提供出来ません。

Linux のソースは百万行レベルで理解するレベルには無いと思いますが、この OS のカーネルは1万6千行レベルなので、解説付きで十分読みこなせます。
ところで10年前から Amazon のキンドル本を少しずつ出版して、今回が9冊目です。
飽きやすい私がここまで来れました。

だいぶ間が空いちゃいました。
1. その間 ついに自分自身のOS ソースを自分の中でコンパイルして起動出来るようになりました。セルフホスティング
2. musl clib を shared lib サポート対応
3. Python の Numpy をインクルード出来る様になりました。
4. OS の本を書いてます。

現在校正中。AIエージェントを活用する構成です。
レガシーシリーズと同様 KDP から出版します。
価格は 500 円としました。
6月前半にリリース予定です。
完全にスタンドアローンの C 言語開発環境を目指してます。
1. ファイルシステムを導入して、読み書きできる様にしました。
この処理は RetroFS というオープンソースを移植して実装しました。
これで自立してボリュームを保持することができる様になりました。
2. それから オープンソースから軽量のテキスト・エディター kilo を導入。
挿入中に OS がパニックで停止。調査するとメモリー割り付けに不具合があり改修。
以上が整ってきたので、次に gcc を導入中です。
・感想
最初は一気にOSが出来て喜んでましたが、実際に種々のオープンソースを走らせると、もともとのOSの基本的な部分の欠陥、特にメモリー関連の弱さを露呈して、修正に時間がかかる様になってきました。