Hiroyuki Sato

株式会社アイスタイル_Data_Engineering_Summit_全社のデータ活用レベルを上げる__AI-readyな組織を目指す_データ民主化プロジェクト_の裏側.pdf

アイスタイルさんは、DataStreamやAirbyteに変えたらしい。
speakerdeck.com/takumakouno/...

それより、こっちが気になるな..
> JRuby安定版採用: 9.3.10を使用（9.4系でタイムアウト回避）
こんなのあるのかな..

もう開発者の人がコメントしていてw、わざわざコメントで追記するほどのものでもないが、確かに100MB超えたことはない..はず 0.6まで遡ってみるのは面倒だからやらない。(けどJRubyのバージョンは変わっていないので概ね同じ大きさだったはず)
zenn.dev/konan/articl...

違ったことを書かれると、違いますよと言いたくなるのはソフトウェアに思い入れがあるせいなのか..w

そう言う聞き方でもよい気がしますが、もう連絡つかない人もいそうなので、一定期間返事なかったら意思なしとしますとしても良いかもしれませんね。

了解しました。ここ2年ぐらいコミットとかレビューない人とすればほぼみんな入っちゃうのかな

一定期間コミットなかったらメンテナーから外すとかですかね。出先なので、詳細は明後日以降にでも

ジップバッグ（シルバーカラー、４枚） 原産国：中国 材質：本体：PET、ポリプロピレン、アルミニウム 商品サイズ：14.5cm ×12.5cm ×0.1cm 内容量：4個入 種類：アソートなし 文房具や小物の整理に 繰り返し使用できる、しっかり素材のジップバッグ。 文具や小物などこまごまとしたものの収納に便利です。●写真はイメージです。●イラストはイメージです。

よかったです。自分がMPOもあるか気になったのでw
ちなみに私は、こういうのかってポケットに入れない案をやってました。袋はカバンに入れっぱなしで、
LCのキャップはなくしますよね。

jp.daisonet.com/products/455...

もしかしてMPO？と思ってMPOも探してみましたがないですねw。MPOループバックなら紐を通せる？(高そうですが...) 18ページ
www.alp-sys.net/pdf/catalog....

HKB-TLCVR3【LCコネクタ脱落防止キャップ（フェルール用）】光ファイバLCコネクタ先端の防塵・キズ防止に、脱落防止タイプのLCコネクタキャップ。 | サンワサプライ株式会社 HKB-TLCVR3【LCコネクタ脱落防止キャップ（フェルール用）】光ファイバLCコネクタ先端の防塵・キズ防止に、脱落防止タイプのLCコネクタキャップ。

こういうのはどうですか？

www.sanwa.co.jp/product/syoh...

キャップ 脱落防止とするといくつかヒットするようです。

SUEは、AXIをネットワーク越しにできるようにしたものっていうと、わかる人にはわかりそうな雰囲気。
問題は、自分はAXIがよくわからない。AMD Pensando Pollara 400 AI NICとかは、ボード内で、FPGAとネットワークコントローラがAXIで繋がっているイメージなんだろうが、NVIDIAのGPUとかに、別でNICを刺すとどうなるのかな？ NICがGPUでも使うメモリとAXIで接続されるみたいな感じになるのかな？

Scale-Up Ethernet (SUE)

a single XPU can include 8 or 16 SUE instances. って書いてあるのに、 Figure 1 shows an example configuration of 64 XPUs with twelve 800G SUE instances per XPU.
とSUEは12インスタンスになっているのはどういうこっちゃ？

8 or 16 SUE instances. は最小8 ~ 最大16ってことなのか？

docs.broadcom.com/doc/scale-up...

OSSメンテの引き継ぎ、自分の印象では新しいメンテナーに引き継いだら、その人が自由に意思決定できる。元のメンテナーより権限は強くなる印象なんだけど、(もちろん色々なプロジェクト次第はあるが)

そうじゃないと思っている人も多いのか。つまり元のメンテナーが小姑みたいにうるさく言って、そんなの引き受けたら何言われるかわかったものじゃないみたいな感じだったりするのかな。
　引き継いだら互換性壊そうが何しようが新メンテナー次第だと思うんだけどな。まぁ理不尽なこと言われるOSSもあるか。

@ebiken.bsky.social ご存知かもしれませんが、Ultra Ethernetのコードはこの日に叩き台として投稿されているみたいですね。
marc.info?l=linux-rdma...
教えていただいた資料をもとに探したら見つけられました。
カーネルに統合されるのはまだしばらく先っぽい感じですね。OFEDみたいになるのかな。

ありがとうございます。近い将来、drivers/ultraethができる感じなんですね。みてみたらまたディレクトリがなかった。

git.kernel.org/pub/scm/linu...
libfabricはその後かって感じですね。

embulkのプラグインに投稿されたパッチ、一応みてみて、一見良さそうではあるが、多分、複数スレッドで同じテーブルに書き込みをすることになるので、トランザクションとか大丈夫なのかな？という疑問が残った。モードがinsertなら大丈夫そうだが、プライマリキー制約があったらしたら大丈夫？とか、うーんどうなんでしょう？ という点が解決できないなら、まぁ10年そういう要望もなかったしねぇというところ、

みなさんのポストを拝見するとOCPとかでUETとSUEの違いとか説明されているような感じですね。自分はどちらかというとまだ、SUEの方が使う可能性があるのかも

libfabricは、https://github.com/ofiwg/libfabric
この辺みてもfi_uetみたいなのがないからどこが作るのかななんて思っていましたが、Linuxカーネルには入らずに、Broadcomとかがプラグインとして出すみたいな感じなのかもと思いました。

ありがとうございます。RoCEv2じゃないRDMAというのが最初わからなくて？？？となりました。自分は当分使う機会がなさそうですが、Ultra EthernetとScale-Up Ethenetの違いの触りぐらいを知っておきたいなとおもってちょっとずつみております。

MPIとか*CCLとかlibfabricのAPIを使えていれば、将来UETに変えられる感じなんですかね。libfabricのUET部分どこでつくるのかななんて思ってます。

Ultra Ethernet Transport (UET)整理するとこんな感じ？ Ethernetと言っているがトランスポート層はTCPでもUDPでもない。(UDPの上に乗る場合もあるけど?..)
冪等Idempotent じゃないってのがいまいち自分の中で理解できない感じ。

Added single_intermediate_table option by t3t5u · Pull Request #353 · embulk/embulk-output-jdbc Purpose There are two modes: INSERT mode etc.: creates intermediate tables for each task REPLACE mode etc.: creates only one intermediate table In INSERT mode etc., which creates intermediate tab...

そうですね。個人的に質問するいいきっかけができたので、簡単ですが、コメントしておきました。
github.com/embulk/embul...

ありがとうございます。なるほど、現場の人には話が伝わっていない可能性もあるかもしれませんね。まぁ特になにもないからいいだろということで、なにも進んでない可能性も、、

まぁどちらにしても「こうしたいと思っているんですけど〜」を聞くのに良いきっかけかもしれませんね。

ありがとうございます。引き継ぎの辺どんな話をされたか詳しく存じ上げないので、一応確認をとは思いました。私もどちらかというと「こうしたいと思っているんですけど〜」みたいな話を聞いてみたいので、長期メンテする感じなんですかとかをあとでコメントしてみようと思います。

@dmikurube.bsky.social プルリクきているんですがどうしますかね？ どうしますかね、というのはフォーク先で独自の修正されているので、PRの出し先を間違えたのかというのと、長期メンテナンスしてくるのか？というのが気になるから聞こうかな、と思ってその前の質問でした。
github.com/embulk/embul...

ちょっと嘘ついた模様、Ultra EthernetにもRDMAはあるけど、RoCEv2とは違う方式みたいな感じ、QPの代わりにPDS、RCなどの代わりに、RUD、ROD、RUDIがある感じなのかな？

Ultra Ethernet Consortium Delivering an Ethernet based open, interoperable, high performance, full-communications stack architecture to meet the growing network demands of AI & HPC at scale.

変な時間に寝落ちしてしまい寝れないのでUltra Ethernetの仕様書を眺めていたけれども，これは(まだ)新しい通信方式というよりは、libfabric、RoCEv2、SwitchのSAI等を組み合わせて一つのシステムを作る感じ？
パケットはあくまでudpの上で例えにいうならQUICみたいな感じ？

まだと書いたのは、今optionalになっているところが、ハードウェア等で実装が出てきて、輻輳制御とかが、徐々にハードウェアでオフロードされていく感じなのかな？

追いかけている人がいたら話を聞いてみたい。

ultraethernet.org

この延長線上で思っているのが、「オープンソースのライブラリとか使うときにローカルで改変入れて upstream に還元しないのは悪!」という、ここ 10 〜 15 年くらいの「常識」も崩れるんじゃないか、ということですね。ローカルパッチ上等。キャッチアップは AI にやってもらえばいいでしょ? ってなる

一方で、取り込んでくれないからとフォークもし安くなる。各社各様でAIを駆使して機能を追加していくことになる気がする。でも、肝心のコアの部分に触らなかったりしていつか、その部分に不具合が出た場合みんなどうするのかな。と思ったりもする。
まぁ各々直すしかないね。

この機能を取り込んでという人は多いが、率先してプロジェクトに関わりましょう、誰かのレビューを引き受けましょうという人はすごく少ない。

この先どうなっていくのかな..と思ったりしているが、どうなることやら..まぁAIがなんとかしてくれるだろう。

OSSは公共財という文書が出たあたりで、OSSメンテナーばかり飲み会をしたけど印象に残ったのは「他人のレビューは辛い」ということだった。まぁメンテしている人からしたらですよねという感じ。
今後はメンテナーにお金を払ってレビューをしてもらうとか、お金を払って機能を追加してもらうとかになったりするのかもしれない。

Rails 8: strong parametersの新しいparams.expectの使い方（翻訳）｜TechRacho by BPS株式会社 概要 原著者の許諾を得て翻訳・公開いたします。 英語記事: How to: Rails params.expect - Martin Emde 原文公開日: 2024/10/22 原著者: Martin Emde -- RubyGems.orgとbundlerのメンテナーです。 日本語タイトルは内容に即したものにしました。 参考: 4.6 Strong Parameters -- Action C...

SrtongParameterのexpectを使えと言うことですかね？

techracho.bpsinc.jp/hachi8833/20...

ありがとうございます。TectonicもNFSv3が話せて、Hammerspaceの配下になるイメージ(多分)なんですね。

色々な場所に点在するデータを一つのNFS空間にしちゃって、色々な場所に出し入れしやすくするみたいな感じの使い方ですかね。
CTeraとかNasuniとかグローバルなファイルシステムを提供するサービスは各社あるが、HammerspaceはNFS4.2が使えて高速というのが売りなのかもしれませんね。

教えていただいたURLあとで見てます。

思い出しましたがmetaのhammerspaceはこれです。

x.com/hiroysato/st...

blocksandfiles.com/2024/03/13/m...

どちらも同じ記事で上は私が調べた内容が書いてあります、