StreamDiffusion生成速すぎるやばいなこれ

StreamDiffusion can now generate images at almost 100fps on a local computer with a GPU.

With sd-turbo, 512x512, batch size 1, txt2img, one image can be generated in 10ms!

僕が共著で参加しているプロジェクト、StreamV2Vの論文がarXivで公開されました！
StreamDiffusionに時間方向の一貫性を保つメカニズムを追加して、リアルタイムのvideo2videoを可能にしました！是非読んでみてください。

論文↓
arxiv.org/abs/2405.15757

StreamDiffusion by あき先生 / Aki inside of TouchDesigner on 40 FPS. This took a little bit time to remove all CPU dependencies and errors on import in TouchDesigner, but now everything is on GPU.

StreamDiffusionの出力結果をフィードバックさせてリアルタイムで遊ぶとこまで手軽に出来る。ちょっと別の体験

We continue learning from real time

Gm🔥

#streamdiffusion #ai #opensourceAI

話題のStreamDiffuionを試している
とても速い！
dockerから動く！

#StreamDiffusion

#StreamDiffusion のControlNet適応版早速触ってみました、IPadapter+OpenPoseが･･･動くぞ！
(RCFGを放棄するから当然FPSは15→4までガタ落ちしましたが)
試しにやりたかったCannyとかSoftAEdgeも試してみましたがこちらはガビガビ過ぎてダメでした(ステップ数は上げてみましたが余り効果得られず)

StreamDiffusionとTouchDesignerで遊んでる。リアルタイム画像生成はいろんな可能性あるな。
プロンプトだけ用意してVJできる。

#StreamDiffusion #TouchDesigner

StreamDiffusionTD v0.1.0 🧪🚀✨
TouchDesigner #streamdiffusion

Figured out how to control almost all settings live! Check it out !!
youtu.be/X4rlC6y1ahw?si…

RTX4090 24GB
512*512px
29-30fps（TouchDesigner自体は60fps）
#streamdiffusion #touchdesigner
1年弱でよくぞここまで…

Control in real-time using TouchOSC
#TouchDesigner #streamdiffusion

Scenes from Taipei Metro.

#jiantan #taipei #mrt #touchdesigner #streamdiffusion

real-time monsters #StreamDiffusion

Macで動かすStreamDiffusion
※ mac単体では動きません

LAN上のGPUサーバーに左の画像を送り、サーバー上で処理して受信した結果を右に出してる

サーバーとクライアントを書いてみたので、Colabとかでも動かせそう

調整の余地はあるが何より速い

#StreamDiffusion

rocking to sleep with streamdiffusion

projector ready for kinect motion tracking
midi prompt randomiser ready for track sets

Dreaming of spaceships and space exploration. Video sped up x2.

#StableDiffusion #StreamDiffusion #Realtime

Mixing fluids using real-time diffusion 🐭🧪🌪️

Created with #touchdesigner TouchDesigner #streamdiffusion

RealTime AI generation in TouchDesigner (TouchDesigner ) with StreamDiffusion (@dotsimulate )