目錄
摘要 I
ABSTRACT III
致謝 V
目錄 VI
圖目錄 IX
表目錄 XIV
第一章、 緒論 1
1.1 研究動機 1
1.2 系統架構與流程 4
1.3 論文大綱 5
第二章、 相關習知技術與知識 6
2.1 影像退化模型( Image Degradation Model) 6
2.2 深度學習( Deep Learning) 7
2.3 卷積神經網路( Convolutional Neural Network) 9
2.3.1. 卷積層( Convolutional Layer) 9
2.3.2. 池化層( Pooling Layer) 13
2.3.3. 激勵函數( Activation Function) 14
2.3.4. 全連接層( Fully Connected Layer) 17
2.4 神經網路特徵傳遞方法 18
2.4.1 殘差網路( Residual Network) 19
2.4.2 密集連接網路( Densely Connected Networks) 21
2.4.3 特徵傳遞網路總結 23
2.5 CNN的注意力機制 24
2.5.1. 通道注意力( Channel Attention) 24
2.5.2. 空間注意力( Spatial Attention) 28
2.5.3. 混合注意力( Mixed Attention) 32
第三章、 相關文獻探討與介紹 36
3.1 單張影像運動模糊復原相關文獻 36
3.1.1 直線運動模糊畫面之復原方法 38
3.1.2 Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring 42
3.1.3 Deep Stacked Hierarchical Multi-patch Network for Image Deblurring 47
3.1.4 DeblurGAN-v2：Deblurring(Orders-of-Magnitude)Faster and Better 53
3.2 視訊影像運動模糊復原相關文獻 56
3.2.1 Deep Video Deblurring for Hand-held Cameras 56
3.2.2 Triple-Adjacent-Frame Generative Network for Blind Video Motion Deblurring 60
第四章、 本系統與方法 66
4.1 模糊影像合成資料集 68
4.2 資料前處理 72
4.2.1 影像角度旋轉 72
4.2.2 色彩變換 74
4.2.3 隨機亂數裁切 75
4.3 影像區域分割模組 76
4.4 單張影像去模糊神經網路模組 78
4.4.1 殘差塊(ResBlock) 83
4.4.2 密集注意力(Dense Attention Block) 84
4.4.3 通道注意力(Channel Attention) 86
4.4.4 空間注意力(Spatial Attention) 90
4.4.5 損失函數(Loss Function) 94
第五章、 實驗結果 96
5.1 實驗設備與環境 96
5.2 實驗結果與分析 97
5.2.1 主觀結果評估與比較 98
5.2.2 客觀結果評估與比較 111
5.2.3 整體性比較 116
第六章、 結論與未來方向 118
6.1 結論 118
6.2 未來方向 119
參考文獻 120

 
圖目錄
圖 1.1.1 日間快速移動車輛模糊影像復原:(A)模糊車輛影像(左大圖)、模糊車牌區域(右小圖);(B)復原車輛影像(左大圖)、復原車牌區域(右小圖) 2
圖 1.1.2 夜間快速移動車輛模糊影像復原:(A)模糊車輛影像(左大圖)、模糊車牌區域(右小圖);(B)復原車輛影像(左大圖)、復原車牌區域(右小圖) 2
圖 2.1.1 影像退化模型 6
圖 2.2.1 淺層神經網路 7
圖 2.2.2 深層神經網路 8
圖 2.2.3 神經元 8
圖 2.3.1 卷積神經網路 9
圖 2.3.2 卷積運算過程 10
圖 2.3.3 多個FILTER卷積示意圖 10
圖 2.3.4 跨步卷積STRIDE=1 11
圖 2.3.5 跨步卷積STRIDE=2 11
圖 2.3.6 填充像素 12
圖 2.3.7 最大值池化 13
圖 2.3.8 平均值池化 14
圖 2.3.9 SIGMOID函數 15
圖 2.3.10 TANH函數 16
圖 2.3.11 RELU函數 16
圖 2.3.12 全連接層-二維向量轉換一維向量 17
圖 2.4.1 模型退化問題 19
圖 2.4.2 原始神經網路塊(A)殘差塊架構(B) 20
圖 2.4.3 有無加入 RESNET 解決模型退化問題差異 20
圖 2.4.4 密集連接示意圖 21
圖 2.4.5 RESNET與DENSENET測試比較結果 23
圖 2.5.1 SENET 的通道注意力層架構 25
圖 2.5.2 左邊為原始RESNET架構 右邊為加入SENET的RESNET架構 27
圖 2.5.3 左邊為原始INCEPTION架構 右邊為加入SENET的INCEPTION架構 27
圖 2.5.4 SENET 測試結果 28
圖 2.5.5 SENET訓練曲線 28
圖 2.5.6 DANET模型架構圖 29
圖 2.5.7 位置注意力(POSITION ATTENTION)模型 30
圖 2.5.8 通道注意力(CHANNEL ATTENTION)模型 31
圖 2.5.9 CITYSCAPES測試集測試數據 32
圖 2.5.10 CBAM架構 33
圖 2.5.11 CBAM 通道注意力層 34
圖 2.5.12 CBAM 的空間注意力層 34
圖 2.5.13 文獻 [16]比較結果圖 35
圖 3.1.1 等速模糊影像之倒頻譜 38
圖 3.1.2 非等速模糊影像之倒頻譜 38
圖 3.1.3 文獻 [24]方法流程圖 38
圖 3.1.4 (A)等速運動模糊影像與其傅立葉轉換頻譜圖;(B)非等速運動模糊影像與其傅立葉轉換頻譜圖 39
圖 3.1.5 軌跡偏移示意圖 40
圖 3.1.6 PSF 估計流程圖 40
圖 3.1.7 文獻 [24]等速運動模糊復原結果 41
圖 3.1.8 文獻 [24]非等速運動模糊復原結果 41
圖 3.1.9 文獻 [25]多尺度模型架構圖 42
圖 3.1.10 文獻 [25](A)原始殘差塊、(B)改進後的殘差塊 44
圖 3.1.11 文獻 [25]GOPRO資料集(A)真實世界清晰影像、(B)傳統方法BLUR KERNEL合成、(C)文獻 [25]通過平均清晰幀合成模糊影像 44
圖 3.1.12 文獻 [18]比較數據 46
圖 3.1.13 文獻 [26]與相關文獻比較 47
圖 3.1.14 文獻 [26]網路架構圖 48
圖 3.1.15 文獻 [26]編/解碼器架構 49
圖 3.1.16 文獻 [19]DMPHN不同層級輸出結果 51
圖 3.1.17 文獻 [26]客觀評估結果比較 51
圖 3.1.18 (A)文獻 [19]中所提到的網路架構、(B)實際上程式碼網路架構 52
圖 3.1.19 文獻 [27]與相關文獻比較 53
圖 3.1.20 文獻 [27]網路架構圖 54
圖 3.1.21 合成的模糊圖像的視覺比較，無插值(A,C)和有插值(B,D) 55
圖 3.1.22 文獻 [27]客觀評估結果比較 55
圖 3.2.1 文獻 [31]提取相鄰幀之間特徵 57
圖 3.2.2 文獻 [31]網路架構 58
圖 3.2.3 文獻 [31]DBN網路詳細規格 58
圖 3.2.4 文獻 [31]與其他方法比較 59
圖 3.2.5 文獻 [32]提出的架構 61
圖 3.2.6 文獻 [32]粗糙去模糊網路架構 62
圖 3.2.7 文獻 [32]合併子網路 62
圖 3.2.8 文獻 [32]精細去模糊網路架構 63
圖 3.2.9 文獻 [32]與其他相關文獻比較之數據 65
圖 3.2.10 文獻 [32]與其他相關文獻方法去模糊結果 65
圖4.1 系統流程圖 67
圖 4.1.1 模糊影像合成方法示意圖(天橋-正面角度) 69
圖 4.1.2 模糊影像合成方法示意圖(道路-側面角度) 69
圖 4.1.3 不同張數模糊長度(天橋-正面角度) 70
圖 4.1.4 不同張數模糊長度(道路-側面角度) 71
圖 4.2.1 影像角度旋轉(正、側面角度) 73
圖 4.2.2 影像RGB轉換成HSV(正、側面角度) 74
圖 4.2.3 隨機亂數區域裁剪(正、測面角度) 75
圖 4.3.1 影像區域分割(正、側面角度) 77
圖 4.4.1 單張影像去模糊神經網路 79
圖 4.4.2 RESBLOCK 83
圖 4.4.3 DENSE ATTENTION BLOCK 84
圖 4.4.4 通道注意力運算過程 87
圖 4.4.5 最大值池化計算方式 87
圖 4.4.6 平均值池化計算方式 88
圖 4.4.7 特徵權重計算方法 89
圖 4.4.8 將兩種特徵圖進行通道串接 90
圖 4.4.9 空間注意力運算過程 91

 
表目錄
表格 1 單張影像去模糊神經網路詳細內容 79
表格 2 DENSE ATTENTION BLOCK詳細內容(以下稱作DAB) 85
表格 3 有無加入通道注意力和空間注意力比較結果(正面) 92
表格 4 有無加入通道注意力和空間注意力比較結果(側面) 93
表格 5 清晰影像合成模糊 99
表格 6 真實模糊 99
表格 7 天橋一所拍攝的清晰影像合成模糊復原比較(日間雨天) 99
表格 8 天橋一所拍攝的清晰影像合成模糊復原比較(日間) 101
表格 9 天橋一所拍攝的清晰影像合成模糊復原比較(夜間) 102
表格 10 路口一所拍攝的清晰影像合成模糊復原比較(日間) 103
表格 11 路口二所拍攝的清晰影像合成模糊復原比較(夜間) 104
表格 12 天橋一所拍攝的真實模糊復原比較(日間雨天) 105
表格 13 天橋一所拍攝的真實模糊復原比較(日間陰天) 106
表格 14 天橋一所拍攝的真實模糊復原比較(夜間) 107
表格 15 路口一所拍攝的真實模糊復原比較(日間) 108
表格 16 路口一所拍攝的真實模糊復原比較(夜間雨天) 109
表格 17 路口二所拍攝的真實模糊復原比較(夜間) 110
表格 18 表格7測試影像之客觀評估結果(天橋一日間雨天) 111
表格 19 表格8測試影像之客觀評估結果(天橋一日間) 111
表格 20 表格9測試影像之客觀評估結果(天橋一夜間) 112
表格 21 表格10測試影像之客觀評估結果(路口一日間) 112
表格 22 表格11測試影像之客觀評估結果(路口二夜間) 112
表格 23 表格12測試影像之客觀評估結果(天橋一日間雨天) 113
表格 24 表格13測試影像之客觀評估結果(天橋一日間陰天) 113
表格 25 表格14測試影像之客觀評估結果(天橋一夜間) 114
表格 26 表格15測試影像之客觀評估結果(路口一日間) 114
表格 27 表格16測試影像之客觀評估結果(路口一夜間雨天) 115
表格 28 表格17測試影像之客觀評估結果(路口二夜間) 115
表格 29 各個方法的處理方式與優缺點比較 117

[1] Kupyn, Orest, Budzan, Volodymyr, Mykhailych, Mykola, Mishkin, Dmytro and Matas, "Deblurgan: Blind motion deblurring using conditional adversarial networks," Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 8183--8192, 2018.
[2] Ramakrishnan, Sainandan, Pachori, Shubham and Gangopadhyay, Aalok and Raman, Shanmuganathan, "Deep generative filter for motion deblurring," Proceedings of the IEEE International Conference on Computer Vision Workshops, pp. 2993-3000, 2017.
[3] Wieschollek, Patrick, Hirsch, Michael, Scholkopf, Bernhard, Lensch and Hendrik, "Learning blind motion deblurring," Proceedings of the IEEE International Conference on Computer Vision, pp. 231-240, 2017.
[4] Kundur D and Hatzinakos D, "Blind Image Deconvolution," IEEE Signal Processing Magazine, pp. 43-64, May 1996.
[5] H. Asai, Y. Oyamada, J. Pilet and H. Saito, "Cepstral analysis based blind deconvolution for motion blur," in 2010 IEEE International Conference on Image Processing, Hong Kong, China, pp.1153-1156, Sept 2010.
[6] J. Schmidhuber, "Deep learning in neural networks: An overview," Neural Networks, pp. 85-117, 2015.
[7] Y. Lecun, L. Bottou, Y. Bengio and P. Haffner, "Gradient-based learning applied to document recognition," Proceedings of the IEEE, Vol. 86, No. 6, Nov. 1998, pp.2278-2324.
[8] L. Yann and B. Yoshua, Convolutional networks for images, speech, and time-series, MIT Press, 1995.
[9] Simonyan, Karen and Zisserman, Andrew, "Very deep convolutional networks for large-scale image recognition," arXiv preprint arXiv:1409.1556, 2014.
[10] V. Nair and G. E. Hinton, "Rectified Linear Units Improve Restricted Boltzmann Machines," in the 27th International Conference on International Conference on Machine Learning, 2010.
[11] Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, "Deep Residual Learning for Image Recognition," in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, Nevada, USA, June 2016, pp.770-778.
[12] Gao Huang, Zhuang Liu, Laurens van der Maaten, Kilian Q. Weinberger, "Densely Connected Convolutional Networks," in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, Hawaii, USA, July 2017, pp.4700-4708.
[13] Szegedy, Christian and Wei Liu and Yangqing Jia and Sermanet, Pierre and Reed, Scott and Anguelov, Dragomir and Erhan, Dumitru and Vanhoucke, Vincent and Rabinovich, Andrew, "Going deeper with convolutions," 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1-9, 2015.
[14] Jie Hu and Li Shen and Gang Sun, "Squeeze-and-Excitation Networks," in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City, Utah, USA, June 2018, pp. 7132-7141.
[15] Fu, Jun and Liu, Jing and Tian, Haijie and Li, Yong and Bao, Yongjun and Fang, Zhiwei and Lu, Hanqing, "Dual attention network for scene segmentation," Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 3146-3154, 2019.
[16] Sanghyun Woo , Jongchan Park , Joon-Young Lee, In So Kweon, "CBAM: Convolutional Block Attention Module," in The European Conference on Computer Vision (ECCV), Munich, Germany, September 2018, pp.3-19.
[17] Y. Yitzhaky and N.S. Kopeika, "Identification of Blur Parameters from Motion Blurred Images," Graphical Models and Image Processing, pp. 310-320, 1997.
[18] Lokhande, R. and Arya, K. V. and Gupta, Phalguni, "Identification of parameters and restoration of motion blurred images," Proceedings of the ACM Symposium on Applied Computing, pp. 301-305, 01 2006.
[19] M. E. Moghaddam, and M. Jamzad, "Linear Motion Blur Parameter Estimation in Noisy Images Using Fuzzy Sets and Power Spectrum," EURASIP Journal on Advances in Signal Processing, pp. 813-822, 2007.
[20] M. E. Moghaddam, and M. Jamzad, "Motion blur identification in noisy images using mathematical models and statistical measures," Pattern Recognition, pp. 1946-1957, 2007.
[21] Lagendijk, R.L. and Biemond, J. and Boekee, D.E., "Identification and restoration of noisy blurred images using the expectation-maximization algorithm," IEEE Transactions on Acoustics, Speech, and Signal Processing, pp. 1180-1191, July 1990.
[22] Li Chen and Kim-Hui Yap, "Efficient discrete spatial techniques for blur support identification in blind image deconvolution," IEEE Transactions on Signal Processing, pp. 1557-1562, April 2006.
[23] Chen, Chao-Ho and Rui, Zhang and Tseng, Kuo-Kun and Pan, Jeng-Shyang, "Image Restoration for Linear Local Motion-Blur Based on Cepstrum," 2012 Sixth International Conference on Genetic and Evolutionary Computing, pp. 332-335, Aug 2012.
[24] 陳昭和, 王翔麟, 陳聰毅, “直線運動模糊畫面之復原方法,” 於 2017 第十六屆離島資訊技術與應用研討會(ITAOI-2017), 金門, Taiwan, May 19-21, 2017. (pp. 737-741).
[25] S. Nah, T. H. Kim and K. M. Lee, "Deep Multi-Scale Convolutional Neural Network for Dynamic Scene Deblurring," in 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, pp.257-265, July 2017.
[26] Zhang, Hongguang and Dai, Yuchao and Li, Hongdong and Koniusz, Piotr, "Deep Stacked Hierarchical Multi-Patch Network for Image Deblurring," in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, USA, pp.5971-5979, June 2019.
[27] Kupyn, Orest and Martyniuk, Tetiana and Wu, Junru and Wang, Zhangyang, "DeblurGAN-v2: Deblurring (Orders-of-Magnitude) Faster and Better," 2019 IEEE/CVF International Conference on Computer Vision (ICCV), pp. 8877-8886, 2019.
[28] Lin, Tsung-Yi and Dollár, Piotr and Girshick, Ross and He, Kaiming and Hariharan, Bharath and Belongie, Serge, "Feature Pyramid Networks for Object Detection," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 936-944, 2017.
[29] Tao, Xin and Gao, Hongyun and Shen, Xiaoyong and Wang, Jue and Jia, Jiaya, "Scale-recurrent Network for Deep Image Deblurring," in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City, UT, USA, June 2018.
[30] Niklaus, Simon and Mai, Long and Liu, Feng, "Video Frame Interpolation via Adaptive Separable Convolution," 2017 IEEE International Conference on Computer Vision (ICCV), pp. 261-270, 2017.
[31] S. Su, M. Delbracio, J. Wang, G. Sapiro, W. Heidrich and O. Wang, "Deep Video Deblurring for Hand-held Cameras," in 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, pp.237-246, July 2017.
[32] Wenlong Liu, Yuejin Zhao, Ming Liu, Weichao Yi, Liquan Dong, Mei Hui, "Triple-adjacent-frame generative network for blind video motion deblurring," Neurocomputing, vol. 376, pp. 153-165, 2020.
[33] Wang, Zhou, and Alan C. Bovik, "Mean squared error: Love it or leave it? A new look at signal fidelity measures," IEEE signal processing magazine, pp. 98-117, Vol. 26, No. 1 Jan. 2009.
[34] D.P. Kingma, and L.J. Ba, "Adam: A Method for Stochastic Optimization," in International Conference on Learning Representations (ICLR 2015), San Diego, CA., May 7-9, 2015, pp 13-13.
[35] Zherzdev, Sergey and Gruzdev, Alexey, "LPRNet: License Plate Recognition via Deep Neural Networks," arXiv, 2018.