最近再做Super Resolution相關的工作, SR是圖學中一個萬年的問題, 而在Deep Learning 熱起來後(因為Deep Learning很早就問世), DNN也被用來解SR的相關問題, 最早的論文大概是2015年尾的SRCNN, 之後就如雨後春筍般的一堆人下去研究, 而我也看了一段時間終於追上了最新的paper, 今天我們來導讀一下這篇才出不到一週卻震驚全世界, GitHub在不到兩天星星數就破千的論文- Deep Image Prior
我們先看看這個model能做什麼事
它可以作到 補圖, 去雜質, 超辨識, 等作用, 並且論文中強調不需要train data來訓練, 到底其中的秘方是什麼呢？
主要的架構與分析
R(x)這邊我比較不熟, 主要上可能是在說明在image prior中我們會透過大量的data來收集image proir的參數, 以至於真正的test中可以透過image proir來幫助我們作到補圖的動作, 至於E(x:x0)這個就比較像是我們一般的SR的網路模型架構, 而論文也提到定義一個映射函數g, 可以提昇我們的效果, 而定義一個好的g, 甚至可以取代掉R(x)
開始訓練直接讓一個圖像當ground true, 並且用一個隨機的向量z值當作input開始train, loss用MSE, 之後在中斷它, 竟然發現網路會先學如何建構這張圖的基本架構, 之後再去學習如何建構雜訊
而對於不同的項目例如 補圖, SR 只要改一些參數或是iteratio的次數即可
對於補圖 跟去雜質, 會有這樣的結果我都可以理解, CNN網路會去學與圖片本質有關或相關的事物，進而去描繪出來,
但是SR這邊也讓我很疑惑, 要學習的圖像終究是LR, 沒道理在中間學的時候它會去學這張圖的HR, 這邊我還是覺得匪夷所思, 但也很耐人尋味
若有任何建議或疑問都歡迎與我討論
