昨年(2023年)の９月末に４年間勤めた会社を退職。理由として、片道２時間の長距離通勤が嫌になったのと、上司の理解のなさで嫌気がさしたためです。
失業保険をもらって、ハローワークで１０月いっぱい求職したのですが、全部書類選考で落とされました。仕方がないので、１１月に人材派遣会社に登録したら、１０社ほど紹介してもらいましたが、やはり書類選考で落とされていた様ですが、２社が引っかかり面接となりました。１２月初旬に面接が有り、両方とも採用を頂けました。
大阪のIT会社に派遣となり、自分は埼玉なので、フルリモートで働いてます。
前の記事で LLM を勉強するために「Natural Language Processing with Transformers」を読み始めたと書きましたが、NLP(自然言語処理) の基本的な概念が分かって居ないため、全然進めない・・・
そこで、「ゼロから作るDeep Learning ❷ ―自然言語処理編」
を図書館で借りて、基礎からやり直し、基礎的な概念をつかめました。その間２週間。
やっと以前の紹介した本の翻訳本「機械学習エンジニアのためのTransformers」を攻略可能になりました。現在第二章を読んでます。個々のトピックスがとても素晴らしいです。
アメリカ GAFAM を中心とした企業で 大規模言語モデルを利用したチャットAI の開発が過熱してます。日本もサイバーエージェントやソフトバンク、rinna株式会社が LLM(Large Language Model) 開発を表明して公開してます。
その公開先は Hugging Face 社の Hub です。
Hugging Face Hub documentation
この会社は業界標準的な Transformers ライブラリ を開発して、公開してます。
Transformers ライブラリは、文章、画像、音声でのタスクを行う Transformer のオープンソースな Python パッケージである。PyTorch、TensorFlow、JAX ライブラリと互換性があり、BERT や GPT モデルのような著名なモデルの実装も含まれる。
以下の本がそのライブラリの利用を説明してます（オライリー・ジャパン日本語翻訳版有り）ちなみに ChatGPT(モデル：GPT-4)に翻訳させてます。分からない専門用語はその場で深掘り出来ます。
興味深い話題が満載。さっそく Git Hub で公開されている python の例題で第二章を試したのですが、Google Colab とか使っても、無償タイプだとメモリ不足になりました。
そこで、半導体不足で高騰してましたが、以前から欲しかった NVIDIA の グラフィックボードを購入しました。RTX 3060(12GB) 4万6千円で購入。補助電源ケーブルで8ピン・タイプが必要だったのですが、PCの電源が6ピンが2つ余っていたので、６＋６＝＞８ピンのケーブルが有ったので、合わせて購入しました。今のグラフィックボードを抜いて、入れ替えます。特に問題なく入れ替え完了。
例題を試した所、問題なく実行出来そうなので安心しました。
◎本の各章は
第1章「Hello Transformers」では、トランスフォーマーを紹介し、そのコンテキストを説明します。また、Hugging Faceエコシステムについても紹介します。
• 第2章「テキスト分類」は、感情分析（一般的なテキスト分類問題）を対象とし、Trainer APIを紹介します。
• 第3章「トランスフォーマーの解剖学」は、トランスフォーマーのアーキテクチャをより深く探求し、次の章の準備をします。
• 第4章「多言語の固有エンティティ認識」は、複数の言語でテキストのエンティティを識別するタスク（トークン分類問題）に焦点を当てます。
• 第5章「テキスト生成」では、トランスフォーマーモデルがテキストを生成する能力を探り、デコーディング戦略とメトリクスを紹介します。
• 第6章「要約」は、テキストの要約という複雑なシーケンス間タスクを詳しく見て、このタスクで使用されるメトリクスを探ります。
• 第7章「質問応答」では、レビューベースの質問応答システムの構築に焦点を当て、Haystackを用いた検索を紹介します。
• 第8章「製品化でのトランスフォーマーの効率化」は、モデルのパフォーマンスに焦点を当てます。私たちは意図の検出（シーケンス分類問題の一種）のタスクを見て、知識蒸留、量子化、剪定などの技術を探求します。
• 第9章「ラベルが少ないからない場合の対処法」では、大量のラベル付きデータがない場合のモデルパフォーマンスの向上方法を探ります。GitHubの問題タグ付けシステムを構築し、ゼロショット分類やデータ拡張などの技術を探ります。
・第10章「トランスフォーマーのゼロからの訓練」では、Pythonのソースコードを自動補完するモデルをゼロから構築し訓練する方法を示します。データセットのストリーミングと大規模訓練を見て、自分たちのトークナイザーを構築します。
• 第11章「未来の方向性」では、トランスフォーマーが直面している課題と、この分野の研究が進む興奮する新たな方向性を探ります。
毎日大量に ChatGPT 関連の話題がいろいろなメデイアにアップされてます。最近自分の流行は ChatGPT に関する YouTube 記事（特にテレ東関連）が面白いです。
免許証を取って、プロジェクトも終わったので忙しさも消え、帰国を決めました。
そこでせっかくアメリカに来ているので、ナイアガラの滝に行ってみるかと１０月末ころの週末で朝早くボストンから北へ車で出発。ゆけどゆけどナイアガラの標識が無いので、近くのスーパーで地図を買ったところ、なんとナイアガラの滝はボストンから西に行かないと行けない事が分かりました。
ここまで来てしまったので、近いカナダの街はモントリオールと分かり、初めてのカナダに行くことに決定。国境は日本の料金所みたいな感じです。係員とやり取りをして、「以前にカナダに来たか？」と聞かれて初めてと言ったら、一旦部屋に通され、質問されましたが特に難しいこともなく通過となりました。
カナダに入ると、速度標識が１００って書いてあるじゃないですか！え！っと思ったら、カナダはアメリカと違ってメートルが基準なので、時速１００ｋｍの事でした。
道沿いにあるレッドロブスターで夕食を取り、その日はホテルに宿泊。翌日公園名前は忘れましたが、のんびりと過ごして、早々にボストンに帰りました。
翌週、今度こそナイアガラの滝へ行きます。朝早く車で西へ西へと向かいますが、スピードを出しすぎて警察に捕まってしまいました。ほんとテレビで見るのと同じ感じで、後ろからサイレンを鳴らされ、右に寄るように言われます。警官が寄ってきて、パスポートと国際免許証を見せます（すでにアメリカの免許証は持ってましたが、それは見せず）あまり英語も分からないふりをしました。幾つか質問され、的確に答えてると「あんた英語が分かる」と言われました（笑）注意され無罪放免。
その日の５時過ぎに国境を超えカナダ側のナイアガラの滝に到着。国境を超える時、パスポートを確認しながら、前カナダに来たかと聞かれ、「先週来た」と言ったら、そのままパスでした。
続く・・・
