折登 樹

そんなことをしている場合ではないですが、自作HydraレンダラーのKanahebiレンダラーがBlenderのエクステンションに出来ました。Blenderのビューポートの描画を自作レンダラーで乗っ取れて面白いですが、今これをやっている場合ではない。 #blender #hydra

Linuxで制作していたレンダラーをWindowsでも動くように修正するのに3日持っていかれた。まだ三角形しか出ていません。この週末の土日含め提出ギリギリまで実装するとして、果たして絵が出せるかどうか……。

Houdiniから設定を渡したり、あるいはCLIで実行するためのHydraホストを作るところまでなんとか出来上がっていて、プログラム上はジオメトリの差分取得なども出来ているので、あとは描画を作っていくだけというところではある。

とりあえず現状は画面に固定の三角形を描画するだけのKanahebiという自作HydraレンダラーがHoudini上で動いています。HoudiniのUIからサンプル数などもRenderSettings経由で変更できます。 #Houdini #Hydra

巨大な資産に乗っかるという意味ではWebViewを組み合わせるのは悪くないと思いつつ、結局GUIの上にもネイティブ描画したサムネイルとかを描画したいという用途が捨てきれずに厳しい気分になっています。

tauriはフロントエンドも別に書く必要がありRustとWebのやり取りが面倒なので、Rust側で仮想DOMツリーを持ってWebへ表示するコマンドとかは隠蔽して、GUIはRustの方で触るだけで完結するようなtauriの上に載せたフレームワークも作りかけたことがありますが、

結局RustでGPUのネイティブ描画が必要な自作ツールを作るためのGUIフレームワークとして自分の用途に適うものはまだないなという感じです。こうなったら自分で作るしかないかもしれない（？）

Add Rust and C++ API to borrow OpenGL textures by tronical · Pull Request #2767 · slint-ui/slint This comes with a brand new example as well :-) Closes #977

slintにOpenGLの描画結果を乗せる例もあったが、
github.com/slint-ui/sli...
slintにVulkanとやり取りする機能はまだ途中みたいです？ままならないわね。
github.com/slint-ui/sli...

slint/examples/wgpu_texture at master · slint-ui/slint Slint is an open-source declarative GUI toolkit to build native user interfaces for Rust, C++, JavaScript, or Python apps. - slint-ui/slint

slintの上にwgpuのテクスチャをImageとして取り込んで表示したりbevyのwgpuを描画したりできるっぽい。
github.com/slint-ui/sli...
github.com/slint-ui/sli...

[Feature Request] Being able to add slint into a custom wgpu renderer like egui · Issue #4499 · slint-ui/slint For other rust UI llibraries like egui and iced, they have great integration with wgpu, making so that its relatively easy to integrate it with other projects that use wgpu like the Bevy Game Engin...

新しいRustで使えるGUIフレームワークで言うとslintというのもあります。自分が去年調べたときはこちらでネイティブで描画したテクスチャを自在に表示するのは難しそうだったのですが、進展があったようです？
github.com/slint-ui/sli...

自分でウィジェットを足さず既存の簡易的なスライダーとかがあれば十分ならeguiよりimgui-rsのDear ImGuiのRustバインドのほうがバックエンドの描画と組み合わせるのは楽でした。が、これはこれで本格的なGUIを作るのにはRust側だけで完結するかはわかりません。

wgpuはVulkanと違ってAPIは非常に使いやすくてよいので、ちょっとしたものを作るには非常に良いのですが、せっかくネイティブなのだからハードウェアレイトレやMeshShaderなどを使いたいなあと思うと無理があるし仕様が策定されるのは時間がかかるし、というところで。

wgpuならegui本家でも扱えた気がしますし、ある程度の用途ならwgpuでも十分戦えるのですがGPUのレイトレパイプラインのような機能を使おうとするとWebGPUにはまだAPIが存在せず使えないなど、新しいGPUの機能の利用にかなりの制限がかかります。

GitHub - tyrypyrking/egui-ash: egui integration for ash (Vulkan). egui integration for ash (Vulkan). Contribute to tyrypyrking/egui-ash development by creating an account on GitHub.

あとはeguiをVuklanのネイティブ描画と組み合わせようとすると非常に大変で、以前こちらのクレートを私が作って他の人に移管したものがありますが、このようにVulkanでeguiを使う場合は外部クレートが必要です。
github.com/tyrypyrking/...

GUIフレームワークとしてみれば使いやすいのでしょうけど、DCCツールとか作りたいみたいなネイティブ描画を自在に行って組み合わせたいという用途だと、地味にいろいろなバックエンド抽象化とかがあって素直に使えない印象でした。

バックエンドが全部丸め込まれてしまって、eguiのAPIから見えにくくなっていて、バックエンドのwgpuなりVulkanなりのコンテキストを叩きたいというのが地味に面倒だった覚えがあります。

RustのGUIとしてeguiも一時期触っていましたが、こちらは自分が触っていた時期はネイティブ描画を隠蔽して完全なGUI作成用フレームワークを作りそうな感じを覚えました。使用用途として制作者はrerunというデータ可視化ソフトを作っているのでもっとネイティブ描画がやりやすくても良い気がしますが、

折登 樹 on X: "WebView2と死ぬほど格闘した結果、WebViewで作ったGUIとメインでレンダリングした結果を一つのウィンドウに収めた感じに出来た。 https://t.co/IQYlQ8dZdk" / X WebView2と死ぬほど格闘した結果、WebViewで作ったGUIとメインでレンダリングした結果を一つのウィンドウに収めた感じに出来た。 https://t.co/IQYlQ8dZdk

こちらはtauriではなくWebView2を直接触ってネイティブの上にWebでGUIを重ねようと実験していたときのもの。
x.com/MatchaChoco0...
x.com/MatchaChoco0...
x.com/MatchaChoco0...

（backdrop-filterとsvg filterのmaskであるDOM要素の後ろを抜くことが出来ないかなとかは考えたことがありますが試したことはありません。これが動いたら熱いですね）

頑張ってDOMの背景を抜いてその中にバックエンドの描画を座標を合わせるとかやればなんとか行けるかもしれませんが、htmlは背景から積み重なっていくので一部背景だけ色を抜くのが厳しかった覚えがあります。

native描画の上にWebを重ねるというのWebという巨大な資産に乗っかれるのは嬉しいうえで、Webの上にネイティブを描けないというのが相当強い制約で自分は諦めました。例えばノードエディターの各ノードにプレビューの描画結果を表示するとかが無理があります。

GitHub - MatchaChoco010/tauri-wgpu-test Contribute to MatchaChoco010/tauri-wgpu-test development by creating an account on GitHub.

上記コードのリポジトリはこちらです。
github.com/MatchaChoco0...
今も動くかは不明 & 今はもっと良いやり方があるかもですが……。

折登 樹 on X: "tauriでnative側でwindowへwgpuで描画した上に透明のhtmlのコンテンツを被せることができた。以前は透明のwebviewはやろうとしたら非常に大変でメインで利用するのは諦めたのだけど、去年の秋頃にwryの透明なhtmlでも動くようにする対応が入ったみたいで、サクッと実装できた。 #tauri #wgpu #rustlang https://t.co/CGLddFV5VR" / X tauriでnative側でwindowへwgpuで描画した上に透明のhtmlのコンテンツを被せることができた。以前は透明のwebviewはやろうとしたら非常に大変でメインで利用するのは諦めたのだけど、去年の秋頃にwryの透明なhtmlでも動くようにする対応が入ったみたいで、サクッと実装できた。 #tauri #wgpu #rustlang https://t.co/CGLddFV5VR

Xのほうでこちらのツイートに反応があったので色々書いてみます。
x.com/MatchaChoco0...

最後に私が公式の使い方サンプルを見たらAIの言ってることがぜんぜん間違っていることがわかるなど。なんか学習データの少ないであろう使っている人の多くないAPIをつかわせるとまだまだですね。。。

AIにコーディングを任せても全く解決せず、仕方ないので私も手を動かしてAIとの協力モードでプログラムを描き始めたがAIがひたすら存在しないAPIや希望的観測に基づくAPIの使い方を提示してくるせいで全く完成せず。

Vulkan 1.3対応とのことで、dynamic renderingが前提で良い。render passはモバイルとかのタイルベースなら有効かもですが、結構面倒でしたからね。

届いてた！

BlenderにもhdStormとかのHydraレンダラーアドオンのサンプルがあり、最低限Hydraに対応している（が、MaterialXなどは対応していないっぽい？）ので、BlenderのビューポートにもこのKanahebiレンダラーを使ってみるのを後で試してみよう。DCCツールの描画処理を上書きできるのは楽しいので。

RenderBufferのGetResourceでHgiTextureHandleを返すようにすると描画内容をCPUに落としてMap/UnmapしなくてもGPU上のコピーだけで描画内容を渡せるみたいでした。ただ、Houdiniで使うとOpenGLのコンテキストの初期化が最初のExecuteに間に合っていなくてワークアラウンドが必要でした？

自作のHydraレンダラーのKanahebiレンダラーを少しずつ作っていてプラグインをHoudiniに読み込ませてみています。とりあえず画面を緑に塗りつぶせたところ。DCCツールのビューポートを自分の描画で乗っ取れるのは面白いです。 #Houdini #Hydra