臺灣博碩士論文加值系統

社會中運用網路與行動裝置等相關裝置已經離不開科技生活，如：遠端教育、電子支付、雲端串流等等…而日常生活中交通的部份，離不開的就是自行駕駛汽車，臺灣市場已慢慢導入電腦輔助自動駕駛，現階段以定速、自動煞停、與跟著前面車輛均速等等，如果自動駕駛等級要升級更高的話，就必需往深度學習探討，而本研究針對深度學習網路於道路路牌偵測與辨識對日後相關產業有所幫助。

本論文使用Yolo v3做為道路路牌偵測器，搭配Google字元辨識API進行路牌辨識。為訓練Yolo的網路模型，首先，取得行車紀錄器的影片並進行前置資料處理，針對不同的天候環境訓練模型，包含白天、夜晚，當訓練完成後再進行偵測市區道路路牌，偵測影片中的道路路牌區域。接著，將偵測的路牌區域裁切後送入字元辨識分類前，為解決光線不足導致影像模糊的問題，本研究提出使用生成對抗網路模型(Generative Adversarial Networks)進行影像去模糊，最後使用Google Drive API進行字元辨識，取得路牌文字內容。

本研究可以將取得的行駛市區影片進行道路路牌的文字內容辨識，任何有關道路路牌的影片或圖片都可以計算。

With new Internet technologies such as distance learning, e-payment and cloud streaming, societies nowadays have become more connected than ever. In the field of transportation, self-driving vehicles have gained traction over the past years. Currently in Taiwan, computer-aided systems have been gradually introduced to vehicles, particularly cruise control systems, autonomous braking systems, and systems to maintain consistent speed with the vehicle in the front. To upgrade self-driving functions to the next level, it is necessary to explore the field of deep learning. This study discusses how traffic sign detection using deep learning can benefit related industries.

This study uses Yolo v3 as the traffic sign detector and Google Drive API for character recognition. As the first step to train Yolo networks, video clips from dashboard cameras are extracted for pre-processing, so as to train the networks to detect images in different weather conditions, including daytime and nighttime. Then, the networks are trained to detect images of traffic signs in the video clips. The images of traffic signs are then cropped. Next, Generative Adversarial Networks are used to deblur the images before the cropped images are processed for character recognition. Finally, Google Drive API is used to recognize the characters in the images, thereby obtaining the text contents of the traffic signs.

Using the aforementioned process, this study can recognize text contents of traffic signs both in the forms of videos and images.

摘要 I
ASBTRACT II
致謝 III
目錄 IV
表目錄 VI
圖目錄 VII
一、 緒論 1
1.1 研究動機 1
1.2 研究目標 2
二、 文獻探討 3
2.1 電腦視覺的發展 3
2.2 深度學習 ( DEEP LEARNING ) 3
2.2.1類神經網路Artificial Neural Network 4
2.3 物件偵測 5
三、 道路路牌偵測辨識系統 7
3.1 路牌偵測模組 8
3.1.1 You Only Look Once 10
3.1.2白天市區道路路牌訓練與偵測 13
3.1.3陰天市區道路路牌偵測 17
3.1.4夜晚市區道路路牌訓練與偵測 19
3.1.5圖片偵測後裁切路牌輸出 21
3.2 圖片去模糊模組 22
3.3 字元辨識模組 24
四、 實驗結果 26
4.1 實驗環境 26
4.2 實驗資料 27
4.3 路牌偵測結果 28
4.4 路牌辨識結果 29
五、 結論 38
六、 參考文獻 40
附錄一 1
附錄二 23

[1] 電腦視覺。取自：https://zh.wikipedia.org/wiki/計算機視覺
[2] 黃臣逸（2014）。整合即時道路路標路牌與車道線偵測辨識技術的嵌入式駕駛輔助系統。國立臺北科技大學資訊工程系研究所碩士論文，台北市。 取自https://hdl.handle.net/11296/da6nq6
[3] 謝書睿（2016）。高速公路路牌偵測與辨識系統。逢甲大學資訊工程學系碩士論文，台中市。 取自https://hdl.handle.net/11296/qn23tu
[4] 深度學習到底在深什麼（2016 年 07 月 27 日）什麼是深度學習？取自：https://panx.asia/archives/53209
[5] Exploring the mysteries of Go with AlphaGo and China's top players。deepminds。取自：https://www.deepmind.com/blog/article/exploring-mysteries-alphago
[6] 單層神經網路。人工神經網路。取自：https://zh.wikipedia.org/wiki/人工神經網路
[7] Real-Time Object Detection. (n.d.). YOLO , from https://pjreddie.com/darknet/yolo/
[8] 基於深度學習的物件偵測（6/26/2018）Yolo v3取自：https://mropengate.blogspot.com/2018/06/yolo-yolov3.html
[9] CNN模型：ResNet。Deep residual network, ResNet取自：https://codertw.com/%E7%A8%8B%E5%BC%8F%E8%AA%9E%E8%A8%80/568466/
[10] 淺談自動駕駛的原理 AI 人工智慧。自動駕駛級別。取自：https://l4553844.pixnet.net/blog/post/349332148-淺談自動駕駛的原理-ai-人工智慧-汽車
[11] GAN with Keras: Application to Image Deblurring(Mar 20, 2018). A Generative Adversarial Networks tutorial applied to Image Deblurring with the Keras library. https://medium.com/sicara/keras-generative-adversarial-networks-image-deblurring-45e3ab6977b5
[12] 光學字元辨認Optical Character Recognition，OCR（2000年12月）國家教育研究院辭書。取自：https://pedia.cloud.edu.tw/Entry/Detail/?title=光學字元辨認
[13] Detect text in images (n.d.). Google Cloud AI & Machine Learning Products, from https://cloud.google.com/vision/docs/ocr?hl=zh-tw
[14] Python 使用 Google 雲端硬碟 API 自動進行文字辨識。Google 雲端硬碟的文字辨識功能。取自：https://blog.gtwang.org/programming/automation-of-google-ocr-using-python-tutorial/
[15] 如何辨別機器學習模型的好壞？。Precision, Recall, F1-score簡單介紹教學。取自：https://www.ycc.idv.tw/confusion-matrix.html
[16] Sebastian Raschka。混淆矩陣。取自：http://rasbt.github.io/mlxtend/user_guide/evaluate/confusion_matrix/
[17] 分類模型的評估方法-F分數(F-Score)。取自：https://blog.csdn.net/saltriver/article/details/74012163
[18] 李宏毅Hung-yi Lee。通用深度學習技術教程。取自：http://speech.ee.ntu.edu.tw/~tlkagk/talk.html
[19] Google Drive API & Python自動化辨識圖片文字(2018/9)。取自：https://medium.com/@chenr914/使用google-drive-api-python自動化辨識圖片文字-3473b586b04a
[20] Regions with CNN（R-CNN）。取自：https://medium.com/cubo-ai/物體偵測-object-detection-740096ec4540