用開源SEEDVR2來修復早期影片
放ai_art那邊怪怪的
反正我玩影片放大本來就是拿來放a片的 所以貼這邊
會踩這個坑是因為現在很多電影都有4k upscale版本
這些技術如果用到我當年的愛片呢??
SEEDVR2的技術一出來
我就是那個買5090只來算a片的傢伙XXXD
來拋磚引玉一下 希望有更多人來往影片修護這塊
不然全去玩影片生成了
簡單來說
ai放大目前大概分兩類
第一種Super Resolution如topaz ai 7以前的iris nyx模型 real-ESRGAN
早期的ai放大都是這種 優點是影片的一致型很高 速度快
對動畫效果奇佳 但對真實影片就是物體容易蠟像塑膠感
目前新的如seedvr2 topaz ai slp2.5
就屬於Diffusion Transformer演化的版本
先來看圖比對
右邊是原dvd 480p 左邊是seedvr2 up到1080p的截圖
1 dv-888 出会って4秒で合体麻美ゆま
https://i.urusai.cc/x86cy.png
用到的軟體大部份開源免費
comfyui 跑seedvr2的核心介面
ffmpeg 圖片合併為影片用
mkvtoolnix 拿來合併音軌影片
DaVinci 拿來降噪調色 免費版就夠用了
Topaz ai (付費軟體 這可有可無 主要拿來修色塊瑕疵跟補fps DaVinci其實也做的到就
是麻煩)
HandBrake 最後壓制x265或av1的格式
影片的翻新流程大概如下
原影片去降壓縮痕跡 有交錯就要先去交錯
丟去seedvr2產出圖片 標準是原解析度的兩倍或三倍品質最好
原影片是640*480 最好的方式是就是補到1280*960
一個兩小時29.97fps的影片
大概會產生20幾萬張圖 轉成影片檔給剪輯軟體降噪再拉到1080p
最後影片音軌合併重新壓制影片
seedvr2的好處在於他會補上細節 所以畫面看起來會更真實
讓圖像不太會有塑膠那種光滑感
不過壞處也在這邊 他有時會補太多 如壓縮破壞的色塊一起補上去
所以他生成出的影片不能直接用 要靠後期抹掉一些才行
講完了優點 來講很多的缺點
seedvr2目前雖然有github的人開發gui介面
不過基本上都還是在comfyui為主
門坎其實有點高 搞定介面節點還要搞一堆驅動加速問題
再來對原始影片的要求其實很高 seedvr2對壓縮破壞太嚴重的影片效果不大
他會連壓縮痕跡一起補上去 有試著用DaVinci降噪銳化品質還是不太好
這片剛好是有拿到dvd iso 所以前置處理作業少一點
還有目前seedvr2.5應該算半成品 沒什麼前端後端可調
原始模型設計上是給h100用的 2.5修到可以讓家用gpu可用
對硬體的算力跟vram要求還是不低 16gb的顯卡很難生成穩定的1080p影片
他的運作模式是 把影片拆成一禎一禎去放大 再比對前後禎有沒有連續
這樣就可以輸出穩定的影片出來
但就算拿5090來用 vram也只有32gb 品質跟速度的妥協下
一次也只能算到65-73fps 影片來說就2-3秒
下一次運算再接後面的fps
片段加上片段產出的影片很容易有ai噪動的問題
只能後期靠DaVinci或topaz去降噪
再來最大的問題 就是慢又貴 拿5090全速運轉 吃電到600w
兩個小時的影片也要跑個整整兩天 後期的補禎修瑕疵也要搞個一兩天
不過看到當年的水咲ありみ 沢口あすか 麻美ゆま
有如封面照片那麼清楚的高畫質影片出現在電視上 真的是一個感動.....
所以就是繼續燒下去!!!!
不過現在我的影片修護又到瓶頸了
處理到這個程度 多少還是會看到ai處理瑕疵跑出來
如人物橫向移動就會出現不對的鬼影
影片中的人臉太小時 臉會變型 一致性很低
這是已知的問題 目前無解
seedvr2也停止更新很久了 只能等下去
不過應該有點難了 下一代應該是用影片生成影片的方式了
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.248.157.252 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/japanavgirls/M.1786370629.A.B58.html
推
08/11 00:13,
2小時前
, 1F
08/11 00:13, 1F
japanavgirls 近期熱門文章
PTT兩性男女區 即時熱門文章
2
17
8
11