むしこあ

ちょっとブレーカーが落ちちゃって配信止まってます。そのうち復帰させます。

Switch2は結局発売日に店頭で買えました。アメリカではeBay などで転売が横行しているようです。アメリカのメルカリでも日本からの出品者が日本語版を販売しているようです。アメリカの人は日本語専用版の存在を公式からは知らされていないのでちょっと紛らわしいですね。

YouTube video by むしこあ@スマブラ深層強化学習 【クリア】vs マリオ Lv9 1-1 モデル (Large) #3 スマブラ × 深層強化学習 💪😼🔥🖥

クリアした回を集めたプレイリストを作りました。

www.youtube.com/watch?v=YtOu...

トランスフォーマーのモデルはうまくいきませんでしたね…。数日前からLSTMのモデルでLv9のファイターを全部倒す企画を始めました。マリオは一日半ほどでクリアして、今はドンキーコングです。

AIガオガエンの配信のサムネイルをてんてんさん @pipipi1010.bsky.social に描いていただきました! これからも(ガオガエンが)頑張っていきますのでよろしくお願いします!

たまたまかもしれませんが崖で受け身をとる姿を見ることができました。 youtube.com/clip/UgkxdFX...

トランスフォーマーですが、どうやら最初の方はLSTMに成績が劣るのは仕方ないのかもしれませんね。長期的にトレーニングしたら上回るかもしれません。今は実行中のLSTMガオガエンのデータを借りて裏でトランスフォーマーのトレーニングだけ回しています。

トランスフォーマー、実装自体はできた気がするのですがいかんせんカンガルーの成績が悪い…。(アタリのゲームです)いかがなものでしょうね。

GTrXL with RoPE になりそう…。

トランスフォーマーのモデルの実装に失敗し続けています。のんびりやります…。

FP王子来ました！

空下メテオしました。これは初めて見ました。
youtube.com/clip/UgkxkaW...

トランスフォーマーのモデルは裏でAugment code君が書いてテストしてくれてます。

YouTube video by むしこあ@スマブラ深層強化学習 メタナイトLv9 2-2モデル 通常速度 #1 スマブラ × 深層強化学習 💪😼🔥🖥【AIガオガエン】

対戦相手をメタナイトLv9にしました。
www.youtube.com/watch?v=w7YA...
ネットワークはリセットして最初からトレーニングです。

戦場リヒターLv9をクリアしました。
www.youtube.com/watch?v=R54E...

次はメタナイトにしようと思っていますが、またキャラが出ていないのでちょっと灯火の星をやってきます。

YouTube video by むしこあ@スマブラ深層強化学習 戦場リヒター Lv9 (再戦) #8 スマブラ × 深層強化学習 🦾😼🔥🖥【AIガオガエン】

前回ここでつぶやいてからかなり進展がありました。今の配信はこちら。戦場でLv9リヒターと戦っています。
www.youtube.com/watch?v=TG58...

というわけで、今後はこちらをメインにしようかと思っています。

データ取得+ストリーム用のMacがカーネルパニックで止まってしまいましたね。報酬にちょっと問題がありそうだったので、それが解決し次第復活させます。

YouTube video by むしこあの動画 スマブラ × 深層強化学習 🦾😼🔥🖥【AIガオガエン・放置枠】

AI ガオガエンの配信を再開しました。データ取得用のコンピュータとトレーニング用のコンピュータを分離したのでまずは動作確認をしています。

www.youtube.com/watch?v=lsdU...

より大きな入力画像に対応したのですが、1時間あたり10GB程度のデータが出てきて大変です…。

AI ガオガエン、ゆっくりですが再開しています。まだ配信はしていませんが、昨日データ取得とトレーニングのコンピュータを分けたところです。余裕ができたリソースで、贅沢なモデルを使ってやろうと画策しています。

Beyond The Rainbow: High Performance Deep Reinforcement Learning On A Desktop PC Rainbow Deep Q-Network (DQN) demonstrated combining multiple independent enhancements could significantly boost a reinforcement learning (RL) agent's performance. In this paper, we present "Beyond The...

AIガオガエンの参考になるかと思い、この論文を読んでいます。旧AIガオガエンはRainbowベースだったので上位互換のようなモデルがあるのは嬉しいことです。
arxiv.org/abs/2411.03820

AIガオガエン再始動しようかなあとか思ってます。