クロマ@bluesky

Twitter(X)まともに動かんなあ

AIの頭の中ではどのように情報が処理されて意思決定が行われるのかをAnthropicが解説 大量のデータから学習する大規模言語モデルは、人間が直接設計したアルゴリズムとは異なり、学習の過程で独自に問題解決の戦略を獲得しますが、それらの戦略は開発者にとっても不可視であり、モデルがどのように出力を生成しているのかを理解するのは困難です。Anthropicは、同社が開発した大規模言語モデル・Claudeの「思考の軌跡」を可視化するための新たな研究成果をまとめた論文を複数発表しました。

AIの頭の中ではどのように情報が処理されて意思決定が行われるのかをAnthropicが解説
https://gigazine.net/news/20250328-anthropic-traces-thoughts-of-llm/

今回OpenAIがお出しになられた生成機能は、これまで出てきたのとはちょっと違ってて割と謎な機構で動いている感あるし、結構GPUパワーつかってそうだよなぁとは思う

ChatGPTの新画像生成、利用急増で無料ユーザー向け延期　「GPUが溶けてる」とCEO OpenAIは、「ChatGPT」の新たな画像生成機能の無料ユーザーへの提供を延期すると発表した。予想をはるかに上回る人気で、一時的にレート制限を導入するとしている。X上には「ジブリ風」と指定したアニメ画像が多数投稿されている。

意外と処理重たいのかなと
→
ChatGPTの新画像生成、利用急増で無料ユーザー向け延期　「GPUが溶けてる」とCEO - ITmedia NEWS www.itmedia.co.jp/news/article...

というかOpenAIがここまでやる前からこうなることはわかっていたわけで、この後に及んで今更たたき棒にするのはどうなんかねぇとは思う
結局叩きたいだけでしょみたいな感

画風に著作権が認められるかは結構難しくて、しかも著作権って国によって解釈が違うこともあるからここでも結構ハードルは高い

ChatGPTにGPT-4oでの画像生成機能が実装されスタジオジブリ風のミーム画像が大量生成されるようになり著作権問題が浮き彫りに 2025年3月26日、OpenAIがGPT-4oによる高精度な画像生成機能「4o Image Generation」を発表しました。4o Image GenerationはチャットボットのChatGPTでも利用可能となっているのですが、これを使ったスタジオジブリ風のミーム画像が大量生成されており、改めてAIによる著作権侵害問題が浮き彫りになっています。

ChatGPTにGPT-4oでの画像生成機能が実装されスタジオジブリ風のミーム画像が大量生成されるようになり著作権問題が浮き彫りに
https://gigazine.net/news/20250327-openai-viral-studio-ghibli-ai-copyright/

画像系AIを触ってると、プロンプトに指定した要素をモデルが覚えていないっぽくて空振り多そうでも（ガチャするとまれに出てくるパターン）それに関連したワードを追加で足して寄せたりすると高確率で出てきたりするので、まるで連想するワードを教えて思い出させるみたいな、ヒトに記憶を思い出させてるような感覚に陥ることがままある…

やっぱりAIもヒト脳もこの辺はもしかしたら似たような感じなのではないかと…

NAI v4、condition用にT5が出てきたということはやっぱり最近のDiT+T5 (SD3.5系列)なのかなと

GitHub - NovelAI/t5: Model code for inferencing T5 Model code for inferencing T5. Contribute to NovelAI/t5 development by creating an account on GitHub.

NAIが作ったT5のgithubこれか
github.com/NovelAI/t5

X X

NAI、謎にV4で使っているT5だけオープンで出してきた
x.com/novelaioffic...

小型LLMを使う問題はうまく回さないとVRAM足らなくなるくらいかねぇ

Sanaも確か小型LLM＋DiTな構成だったような
VAEに独特の特徴があるけど

とうとう現れたSDXLの後継？CogView4-6Bを解説する

これもUnetじゃなくてDiT(Transformer系)らしい
TE部分はGLM-4-9Bということで小型LLM？
SD3.5もSanaも確かDiTだしもうDiTの流れなんだろうなと
→
とうとう現れたSDXLの後継？CogView4-6Bを解説する | 動詞
zenn.dev/discus0434/a...

これからはComfyUIの時代だなぁと思って、ComfyUIのAPI触ってWebからじゃなくてC++のアプリから動かすやつをC++(With websocket)使ってやったのだけど、これまた資料まじで少ないのでしんどかった…
(A1111は割とかんたんで、すでにできていて色々やれるようになってる)

websocketでやり取りできて、とりあえず形にはなった

最近はOSSを履き違えしている人たちが多くて、無料でなんでもしてくれるみたいなことを思う人も結構居る
こ◎きは際限なく要求してくるからノー(NO!)と言えることが大事

Resigning as Asahi Linux project lead Back in the late 2000s, I was a major contributor to the Wii homebrew scene. At the time, I worked on software (people call them “jailbreaks” these days) to allow users to run their own unofficial app...

これを見て思ったのだけど、この方は繊細というかサービス精神旺盛だったんだなぁと。。。。
OSS開発者にはある種の図太さが必要
→
marcan.st/2025/02/resi...

noobは後ろに大きなパトロンが居るか、もしくはオタクが狂って全財産投入したんではみたいに思ってる

高性能AIモデルを作ってお披露目するのは、それで商売をするのではなくて、別に本業があって本業で儲かってカネ余ってしょうがないみたいな企業が売名のためにやるくらいしか難しいのではみたいに思ってる
（例えばDeepSeekみたいに…あれは本業が儲かったので作ったっぽいし）

モデルを作るのはお金も時間も手間もかかるわけで、何処かでそれを回収しないといけないのだけど、ずっと回収できないままだと投資している人から詰められるだろうし（あるいは自腹を切ることになる）、AIモデルを作ってそれで商売をするのが如何に難しいかがよくわかる

noobが出てきてかなり使えてしまったことが、Omonの人たちが当初考えていた図と大きな誤算だったんだろうなぁ感はある

Fluxみたいに最低でも1.0、1.1、3.5全部揃えてから「これ有料だけどこれ無料だよ」ってリリースするべきだった
→
Developer of Illustrious model has post a message on Korean website
www.reddit.com/r/StableDiff...

モデルを作るのもタダじゃないからねぇ
www.reddit.com/r/StableDiff...

ollamaをUbuntu 24.04 にインストールしてDeepSeek(の量子化モデル)に触れてみる chatGPTなどの高性能AIに比類し、しかもそれのモデルが公開されており「ローカルPCでもChatGPTのような高性能LLM動かせるじゃな

流行りなんで書きました
ローカルLLMデビューしたい
→
140文字以上: ollamaをUbuntu 24.04 にインストールしてDeepSeek(の量子化モデル)に触れてみる
chromabox.github.io/140m/linux/u...

Animazineを作ったチーム、V4.1を作った後はモデルを作るんじゃなくてノベルゲーを作りたいらしい
モデル作るのにはとにかくお金と時間と手間がかかるから、SD3.5とかこれ以上大きなモデル規模になってくると厳しいからかな
→
cagliostrolab.net/posts/animag...

魔神4でたか～

civitai.com/models/1188071

最近Diffusersを触りだしてSANA使ってみたけどむずい
まだまだ開発中なようで完成したらよさそうではある

AngelBottomless/Illustrious-sd3.5m-fails at main We’re on a journey to advance and democratize artificial intelligence through open source and open science.

SD3.5ベースのillustlious来るかも見たいな話
本当に出てきたらSD3.5時代がようやく到来しそう
→
huggingface.co/AngelBottoml...

[CUDA][cuBLAS] Add fp16 accumulate option to cuBLAS/cuBLASLt by eqy · Pull Request #144441 · pytorch/pytorch Test for cublasGemmEx added, still need to figure out the best way to exercise the other APIs... cc @ptrblck @msaroufim @csarofeen @xwang233

最近PytorchにFP16を早くするみたいなパッチがマージされそうらしい。C++ちょっとできるので読んでみたらFP16での処理がちょっと抜けてたみたいな感じかなこれ

Volta以降って書かれているので、40XX系全部が恩恵受けそう
→
[CUDA][cuBLAS] cuBLAS/cuBLASLt に fp16 累積オプションを追加
github.com/pytorch/pyto...

三大AI系いつ寝てるかわからないひと
kijai氏
iria氏
kohya氏

From the StableDiffusion community on Reddit Explore this post and more from the StableDiffusion community

kijaiさんいつ寝てるのあのひと…という話
→
www.reddit.com/r/StableDiff...