kano

分散推論基盤やその前提の考え方 〜高火力 PHYで作る分散推論基盤 vol.1〜 | さくらのナレッジ 目次はじめにLLMの推論とは？LLMの推論リクエストの特徴とシステムの負荷LLM推論におけるシステムの性能指標LLMの推論処理とKV Cacheバッチ処理によるGPUの効率的な利用Prefill-Decode Disag […]

日本語で一番詳しく分散推論基盤を解説する連載スタート
knowledge.sakura.ad.jp/48065/

電力発電=タービン回転
周波数=タービン回転数

電力需要>供給だと、足りないエネルギーがタービンの回転数から持っていかれて周波数低下
逆だと周波数上昇

ざっくりとはエネルギー保存則で考えればいいのかな

再エネ活用の難しいさに、「電力の需要・供給のバランスがズレると周波数が安定せず、大規模障害発生リスクがある」って文章よく見るけど、なんで周波数狂っちゃうのかちゃんと説明してくれてる文献がみつけられない

グリーン電力美学な感じじゃなくて、「製造業がちまちま設備投資してたら分散しちゃう。本意ではない。」って公の場で宣言いただけてよかった

仕事？！

JAPAN Mobility Showに何故か富士通量子コンピューターモックアップ

GPU含めてAIシステム国内完結できる未来もそう遠くないんですね。恐ろしい、、、

2018年はまだ学生で、量子中継機作るために研究室で寝泊まりしてた。なつかし

以前ebikenさんがpostしてたhuaweiのAI fabricドキュメントを今更読んでたのすが、彼らは2018年の時点でこんなに分かりやすくドキュメントにまとめられるほどノウハウ持ってたんですか？fastCNPについてもすでに語られてるし
actfornet.com/ueditor/php/...

今日から育児時短勤務に切替
色々焦りはあるけどしばらくは家族との時間を優先してのんびり働きます

MPLS JAPANで江崎大先生が宣伝してた本が届いたー
北海道DCは弊社もホットトピックなので勉強させていただきます。

次の現地参加イベントはCNDW Day２予定

vscodeで文字起こししてた記憶あるのですが、vs code speechって拡張機能でやってます？
今日初トライしてみたのですが、かなり断片的にしか文章にしてくれなかったですw

17時までに家に到着していたいので、MPLS Japan早めに離脱しました。お疲れ様でした。
遠隔KVcacheの話面白かったなー

トラポンは「ちょっと」高い

東大前駅から徒歩1分(東大はデカい)で、去年は遅刻しかけたので今年は余裕を持って来た

ONICはオンライン申込しました。
上司が何を喋るか(何が公開情報なのか)気になる

見事に30kmの壁を越えられずに撃沈してる

雨の中のフルマラソン、去年より30分タイム縮んだけど目標タイムには僅かに届かず。。。
そして、帰宅後即発熱〜

JANOG57参加後そのまま関西に残って翌週のOS研究会@京都参加したいから、頑張って実験進める。あわよくば投稿したい

6時出発、7時DC着、8時DC発、9時帰宅、10時保育園見学のバタバタ午前中終わった
DCの近くに住みたい

距離が遠いと有名な武蔵小杉の東急→横須賀線乗り換え、ベビーカーと一緒だと6回エレベーター乗る必要がありかなりハードモードだった

構成表でラックレール無しになってるの気づかず発注したこちらの過失なんだけど、特に指定してないのにラックレール無しの構成提案してくる営業さんも酷いよ？

ラックレール無しの4Uサーバが納品されて途方に暮れてた今日

横浜マラソン往路試走！

効率的なジョブスケジューリング、こうすればいいじゃん！の案は色々出てもそれを実装するハードルが高すぎる。。。
OSS活用すると元々の設計思想からズレて変なことなるし、フルスクラッチで尽くそうとすると9割以上の機能は車輪の再発明なっちまう

ISOCお疲れ様でした。
個人的にはKV-cacheとNW性能の定量的な関係のお話と、scale UP/OUTのsemanticレベルでの思想の違いのお話がすごく為になりました。

夜間外出許可が下りたのでISOCいけます！楽しみ

来週もISOCで夜出かけたい相談したけどとても嫌そうな顔されてしまった。
夜の寝かし付けワンオペはめっちゃキツイので仕方ない。。。なるべく徳を積んで来週もう一度相談しよ

半年ぶり？くらいの飲み会！
エクセルで作ってバグったメニューのお肉が美味でした。

ランニングの最大の敵は便意