臺灣博碩士論文加值系統

中文摘要
近年來AI的發展應用，開始將鏡頭與演算法等運算導入自動化生產流程，加上硬體導入成本大幅下降，AI已逐步在各領域導入生產管理機制，並提升其影響力，例如產品缺陷檢測、港口漁船編號辨識管理，交通安全科技執法，海關違禁品查驗….等，因此工廠作業導入AI，將能有效簡化或取代人工辨識的困難度，其應用例子更是屢見不鮮，但應用於人機間的互動研究較缺乏，例如半導體廠製程設備，對於材料辨識在作業過程中的管控，仍採用傳統上架構，在機台外進行 BAR CODE比對後，再到機台內進行更換，操作此作業流程人員，將潛在違紀行為，導致拿錯材料造成產品巨大損失的安全漏洞，但又擔心材料之自動化更換設備之研發耗時與成本太高，也讓工廠裹足不前。
因此，本研究將嘗試透過AI演算法的技術，應用在半導體廠植球機的材料比對，利用AI影像辨識系統結合材料比對系統，在植球添加材料的整個過程中進行全流程的異常行為監測與材料偵測比對，期望能達成杜絕混用材料風險與異常行為。另外利用生產線現有的電腦資源搭配 AI深度學習軟體，以低成本的建置系統取代造價昂貴的機構來進行防呆。
所以，本研究將有三個重點，一是分析工廠作業可能發生疏漏流程，錯材料與偵測出異常的關鍵因子，二是找出工廠作業辨識異常與影像比對系統的架構，三是將深度學習網路演算法導入作業辨識與影像進行比對，而本研究將三種辨識系統，分別為手勢辨識系統。材料（錫球瓶）外觀辨識系統。QR Code 讀取辨識系統進行整合，並以實驗結果顯示手勢來判斷對應MediaPipe、錫球瓶辨識對應Blending與QR Code 讀取來進行管理，並導入Yolo v.4，使其辨識率超過 96% 的成功率。未來期望本研究能對於產業製程，改善使用不當材料，減少工程人員產生品質不良之情事，並對半導體產管理流程有所幫助。
關鍵字：影像識別、AI人工智慧、智慧製造、動作分析

ABSTRACT
In recent years, the development and application of Image Recognition has begun to introduce operations such as lenses and algorithms into automated production processes. In addition, the cost of hardware introduction has been dropped significantly. Image Recognition has gradually introduced production management mechanisms in various fields and increased its influence, such as product defect detection, port fishing vessel number identification management, law enforcement about traffic safety using technology, and customs contraband inspection. Therefore, the introduction of Image Recognition in factory operations will effectively simplify or replace the difficulty of manual identification. These applications are everywhere while there is a lack of research in Human-Computer interaction. For example, when controlling material identification during the process, the equipment of the semiconductor factory still adopts the traditional structure. The material is replaced in the machine after the Bar Code comparison is performed outside the machine. Personnel operating process may violate disciplines, lead to safety loopholes, and take the wrong materials, resulting in huge product losses. Furthermore, the research and development of automatic replacement equipment for materials will be costly both on time and other resources, which will also make the factory stagnant.
Therefore, this research will try to apply the technology of Image Recognition algorithm on the material comparison of ball-mounting machines in semiconductor factories, and use the image recognition system to combine with the material comparison system to carry out the whole process of abnormality in the whole process of ball-mounting and adding materials. Behavior monitoring is compared with material detection, hoping to eliminate the risk of mixed materials and abnormal behavior. In addition, the existing computer resources of the production line are used with image recognition and deep learning software to replace the expensive mechanism with a low-cost construction system to prevent improper operation.
Consequently, this research will have three purposes. First, it analyzed the possible omissions in factory operations, wrong materials and key factors for abnormal detection. The second is to find out the structure of the factory operation identification and image comparison system. The learning network algorithm is imported into the job recognition and the image is compared, and this study uses three recognition systems, namely the gesture recognition system. Material (Solder ball bottle) identification system and the QR Code recognition & reading system, The experimental results use three algorithms, and the recognition rate exceeds 96% of the success rate. In the future, this research will help improve the use of improper materials in the manufacturing process, reduce the occurrence of poor quality by engineers, and help the semiconductor production management process.
Keywords: Image recognition, Artificial intelligence, Intelligent manufacturing, Motion analysis

目 錄
中文摘要 I
ABSTRACT III
誌 謝 V
目 錄 VI
表目錄 VIII
圖目錄 IX
一、 緒論 1
1.1 研究背景 1
1.2 研究動機 3
1.3 研究目的 5
1.4 論文架構 6
二、 文獻探討 8
2.1 智慧製造(SMART MANUFACTURING) 8
2.1.1 我國發展現況 9
2.1.2 我國智慧製造落地成果 9
2.2 人工神經網路(ARTIFICIAL NEURAL NETWORK，ANN) 10
2.3 物件偵測(OBJECT DETECTION)與影像辨識(IMAGE RECOGNITION) 13
2.3.1 OpenCV 13
2.3.2 MediaPipe 15
2.3.3 Pyzbar 16
2.3.4 R-CNN & Fast R-CNN 17
2.3.5 YOLO 即時物件偵測 ( Unified, Real-Time,Object Detection) 18
2.4 條碼及標籤探討 19
2.4.1 一維條碼： 19
2.4.2 二維條碼： 20
2.5 文獻綜合整理 22
三、研究方法 24
3.1 研究模型架構 24
3.2 智慧製造架構 27
四、系統分析與設計 29
4.1 導入AI輔助系統 30
4.2 演算法挑選 32
五、個案研究 34
5.1 個案公司簡介 34
5.2 個案實作設計 37
5.3 AI輔助偵測系統上線 39
5.4 落地成果及績效評估 45
六、結論與未來研究方向 47
6.1 本研究對於A公司植球站點的貢獻 47
6.2 應用 AI 於工廠進行自動化產品行為管理的未來展望 50
6.3 本研究對於開發智慧工廠管理的貢獻 51
參考文獻 52
中文文獻 52
英文文獻 54
表目錄
表 1 OPENCV 應用領域及產品 15
表 2 IC 封裝測試相關公司 35
表 3手勢判斷MODEL訓練資訊 41
表 4 PYZBAR、OPENCV及兩者結合後驗證結果 42
表 5 QR CODE MODEL訓練資訊 42
表 6 偵測錫球瓶MODEL訓練資訊 44
表 7 手勢預測 MODEL 績效 45
表 8 QR CODE MODEL 績效 46
表 9 錫球瓶偵測 MODEL 績效 46

 
圖目錄
圖 1 2015~2025 IC代工銷售趨勢圖 2
圖 2 論文架構圖 6
圖 3 神經突 11
圖 4 神經元 11
圖 5 類神經網路架構 12
圖 6 MEDIAPIPE 鎖定21個手部的關鍵定位點在不同手勢下的示意圖 16
圖 7 系統架構 24
圖 8 系統流程圖 28
圖 9 導入AI輔助流程圖 29
圖 10 植球站點補充材料流程圖 31
圖 11 搭配AI輔助系統補充材料流程圖 31
圖 12 導入AI輔助系統對應補充材料流程圖 32
圖 13 半導體產業上、中、下游關係圖 34
圖 14 植球機添加材料(錫球)系統流程 38
圖 15 植球機添加材料(錫球) 物料比對流程系統架構 38
圖 16 WEB CAM 安裝示意圖 40
圖 17 手勢辨識模型 40
圖 18 QR CODE AI模型判斷流程 43
圖 19 影像資料增強 44
圖 20 實際辨別畫面 45

參考文獻
中文文獻
[1] Leyan Bin Veon, 2019“YOLO v2 物件偵測
https://medium.com/程式工作紡/yolo-v2-物件偵測-論文整理-a8e11d8b4409
[2]劉彥宏, 吳永春，1995，類神經網路應用於機器人軌跡控制，碩士論文
[3]蔡蕙如，柯明中，張偉斌，劉德明，2007，應用類神經網路與分類迴歸樹於肝癌分類模式，碩士論文
[4]廖凡宇，2010，以類神經網路在股價預測之研究，碩士論文
[5]楊竣傑，2019．基於監視器之類神經網路影像辨識系統執行機車安全帽配戴識別，碩士論文
[6]朱育聖，2020，運用類神經網路進行植物病害影像檢測—以蘭花為例，碩士論文
[7] YOLOv3-引入：FPN+多尺度偵測(目標檢測)(one-stage)(深度學習)(CVPR 2018)
https://blog.csdn.net/Gentleman_Qin/article/details/84350496
[8]曹明利，王亚丽，李萌利，李鑫龙，2022，基於計算機視覺的體測測評打分系統，碩士論文
[9]李幫建，2022，眼球突出度的雙目視覺測量，碩士論文
[10]吳文琪，尹英傑，王新剛，2018，基於 faster R-CNN 的不同尺度人臉檢測，碩士論文
[11]陳晨一，2017，用於小目標檢測的R-CNN，碩士論文
[12] 目標檢測|YOLOv2 原理與實現(附 YOLOv3)
https://blog.csdn.net/hejin_some/article/details/80581789
[13]朱宪宇， 熊婕， 王柠莎， 李庆先， 刘良江，2021，基於改進YOLOv4的 PCB裸版缺陷檢測方法研究，碩士論文
[14]高扬， 陈旭淼， 张皞宇，2021，改進YOLOv4模型在自動駕駛多目標檢測的應用，碩士論文
[15]維基百科，2018，一維條碼，取自：
https://zh.wikipedia.org/wiki/%E6%9D%A1%E5%BD%A2%E7%A0%81
[16]維基百科，2018，二維條碼，取自：
https://zh.wikipedia.org/wiki/%E5%B0%84%E9%A2%91%E8%AF%86%E5%88%AB
[17]工業技術研究院，2022，智慧製造技術驗證場域
[18] 蔡志龍，2018，應用智慧行動裝置於倉儲管理之研究－以DUSKIN公司為例，碩士論文
[19] 張麗娜、陳威霖，2018，應用階層式影像切割技術於 SAR 影像船舶偵測－ 船舶科技,第五十期
[20]洪哲倫，2020，智慧製造的關鍵角色：工業大數據分析－機械工業雜誌444期
[21] 蘇永泰，2021，智慧製造與高階PCB生產效益之研究－以半導體C公司為例，碩士論文
[22]張富鈞，2021，利用A I人工智慧辨識紅血球計數之光電系統設計與研究，碩士論文
[23] 李采蓉，2020 台灣製造業導入智慧製造的關鍵因素，碩士論文
[24] 劉致圻，2020，應用深度學習於船舶影像分類研究 ，碩士論文
[25] 林民麒，2019，應用於智慧型自走載具之基於YOLO深度學習網路的人群人臉方向辨識技術設計與實現，碩士論文
[26] 張晉榤，2020，結合幾何特徵與外觀方法之基於YOLO深度學習網路的視線估測技術，碩士論文
[27] 松林光男，川上正伸，2020，圖解智慧工廠，經濟新潮社出版
[28] 李開復，2017，人工智慧來了，天下文化發行
[29] 林修賢，2021，YOLO深度學習網路應用於漁船編號之辨識，碩士論文
[30] 蔡安雄，2021，應用YOLO於交通安全與科技執法，碩士論文
[31] 呂金和，2021，以YOLO深度學習模型應用於偵測危險物品標誌車輛，碩士論文
[32] 劉伊凌，2020，基於深度相機與影像融合之跌倒偵測，碩士論文
[33] 張登林，楊昇學，葉克，2021，結合AI平台與loT識別河川水位與都市淹水，碩士論文
[34] 吳禹澔，黃詩文，左峻德，吳清沂，謝沛宏，陳彥豪，2016，台灣推動智慧製造作法建議與實踐藍圖
[35] 李文恩，2019，創客基地
https://www.wda.gov.tw/cp.aspx?n=575F716EF3A537C0

英文文獻
[1] Felix von Reischach, Stephan Karpischek, Florian Michahelles, 2010, Evaluation of 1D Barcode scanning on mobile phones, Internet of things (IOT).
[2] Fan Zhang, Valentin Bazarevsky, Andrey Vakunov, A Tkachenka, 2020 “MediaPipe Hands: On-device Real-time Hand Tracking,” Computer Science.
[3] Jun-Chou Chuang, Yu-Chen Hu, Hsieh-Ju Ko, 2010, A Novel Secret Sharing Technique Using QR Code, International Journal of Image Processing (IJIP), Vol. 4,5
[4] N. Boyko, O. Basystiuk, N. Shakhovska,2018,“Performance Evaluation and Comparison of Software for Face Recognition, Based on Dlib and Opencv Library,” Computer Science IEEE Second International Conference on DSMP.
[5] Peter Kieseberg, Manual Leithner, Martin Mulazzani, Lindsay Munroe, Sebastian, Schrittwieser, Mayank Sinha, Edgar Weippl,2010,QR Code Security, Proceedings of 8th International Conference on Advances in Mobile Computing and Multimedia.
[6] Q Yang, G Golwala, S Sundaram, P Lee,2019,Barcode Detection and Decoding in On-line Fashion Images.
[7] Ross Girshick, Rich.2013,Feature hierarchies for accurate object detection and semantic segmentation, Computer Vision and Pattern Recognition.
[8] Ross Girshick, Fast R-CNN,2015,Computer Vision and Pattern Recognition.
[9] RK Megalingam, SL Madhuri, T Santhoshini. Robot Navigation,2021,Through QR and Text Detection.
[10] W.-J. Yang, Y.-S. Su, P.-C. Chung and J.-F. Yang,2016,“Moving Object Detection Using Histogram of Uniformly Oriented Gradient”, International Journal of Computer, Electrical, Automation, Control and Information Engineering, vol.11.
[11] W.-J. Yang, Y.-C. Chen, P.-C. Chung and J.-F. Yang,2018,“Multifeature Shape Regression for Face Alignment”, EURASIP Journal on Advances in Signal Processing, DOI 10.1186/ s13634-018-0572-6.
[12] W.-J. Yang, Y.-X. Su, P.-C. Chung and J.-F. Yang,2019,“Weighted Histogram of Oriented Uniform Gradients for Moving Object Detection,” Lecture Notes in Networks and Systems, Springer.
[13] W.-J. Yang, C.-C. Luo, P.-C. Chung and J.-F. Yang,2019,“Simplified Neural Networks with Smart Detection for Road Traffic Sign Recognition,” Lecture Notes in Networks and Systems, Springer.
[14] W.-J. Yang, W.-H. Du, P.-C. Chung, J.-F. Yang and P.-H. Hung,2017,“Visual Thing Recognition with Binary Scale-Invariant Feature Transform and Support Machine Classifiers Using Color Information”, International Journal of Computer, Electrical, Automation, Control and Information Engineering, vol.11.
[15] WC Kurniawan, H Okumura,2019,An improvement on QR code limit angle detection using convolution neural network.
[16]Kaiming He, Georgia Gkioxari, Piotr Dollar, Ross Girshick,2019,Mesh R-CNN