本研究目的是開發一套利用手勢作為操作介面的互動裝置，並實做出數款數位娛樂軟體。
透過一般家用電腦與電腦視訊，使用者能在家中或是辦公室中操作，藉由手勢缺陷，系統能從視訊畫面中辨識出雙手的方向及位置。
研究結果發現，在畫面中任何位置任何方向的平均辨識率為78%，於一般使用情況下，辨識率可高達98%。使用者僅需一種手勢就能達到傳統辨識系統所提供的數種功能，且沒有尋找游標的困擾，並在數位娛樂的應用上能達到更多元的互動娛樂效果。

The aim of this research is to propose a real time vision system with hand gesture recognition techniques for visual interaction environment, which can be developed to digital entertainment applications.
Experiment results show that the proposed system can achieve a 78% recognition average rate. Under normal using cases, the system’s recognition rate can be achieved to 98%. Three demonstrations also implemented and effectiveness of the proposal system is also verified. This system can be applied to more diversification of digital interactive entertainment.

目錄

謝誌 I
摘要 II
Abstract III
目錄 IV
圖目錄 VI
表目錄 IX
第一章 緒論 1
第一節 研究背景 1
第二節 研究動機 2
第三節 研究目的與問題 3
第四節 研究限制 4
第二章 文獻探討 6
第一節 人機介面 6
第二節 手勢輸入裝置 8
第三節 以視覺為基礎之手勢輸入方法 11
第四節 影像介面 13
第五節 手勢影像分割 16
第六節 手勢特徵分析 28
第三章 研究方法與系統開發 32
第一節 研究架構 32
第二節 研究方法 34
第三節 研究工具 35
第四節 系統雛型設計 36
第五節 手勢辨識系統應用 42
第六節 數位娛樂雛型設計 48
第四章 系統實驗與分析 51
第一節 辨識率分析 51
第二節 操作性分析 58
第五章 結論與建議 61
第一節 結論 61
第二節 未來研究建議 65
參考文獻 67
中文文獻 67
英文文獻 67

圖目錄

圖 2-1 透過視訊利用特定顏色球體將與虛擬物件互動回饋在螢幕上　　6
圖 2-2 人本互動層次　7
圖 2-3 資料手套　　　9
圖 2-4 手部骨骼架構與各關節活動自由度　　11
圖 2-5 本研究手勢影像分割流程圖　　　　　17
圖 2-6 背景移除　　　17
圖 2-7 RGB色彩空間模型　　　　　　　　　 18
圖 2-8 膚色在NCC色彩空間的投影圖　　　　 19
圖 2-9 HSI色彩空間模型　　　　　　　　　 20
圖 2-10 膚色在YCbCr色彩空間的分布圖　　　 22
圖 2-11 像素的近鄰關係　　　　　　　　　　 24
圖 2-12 影像膨脹與侵蝕示意圖　　　　　　　 25
圖 2-13 相連部分標記示意圖　　　　　　　　 27
圖 2-14 系統示意圖(Iannizzotto, Villari, & Vita所提出)　29
圖 2 15　手勢的凸面包圍缺陷　　　　　　　　 30
圖 2 16　手勢圖形與有效手勢轉換流程(Manresa, Varona, Mas, & Perales所提出)　　31
圖 3-1 研究架構圖　　　　　　　　　33
圖 3-2 系統雛型開發法流程圖　　　　34
圖 3-3 系統架構圖　　　　　　　　　36
圖 3-4 影像處理示意圖　　　　　　　37
圖 3-5 本研究手勢辨識系統　　　　　38
圖 3-6 手勢辨識示意圖　　　　　　　39
圖 3-7 應用範例畫面　　　　　　　　42
圖 3-8 手勢控制物件拖曳功能說明　　43
圖 3-9 Double-Click手勢變換示意　44
圖 3-10 手勢開啟物件功能說明　　　　44
圖 3-11 手勢缺陷位移旋轉　　　　　　45
圖 3-12 手勢控制物件旋轉功能說明　　45
圖 3-13 雙手手勢缺陷位移　　　　　　46
圖 3-14 手勢控制物件放大功能說明　　46
圖 3-15 手勢控制物件縮小功能說明　　46
圖 3-16 雙手手勢缺陷位移角度變化　　47
圖 3-17 雙手控制物件旋轉功能說明　　47
圖 3-18 以手勢控制影音播放器　　　　48
圖 3-19 拼圖遊戲畫面　　　　　　　　49
圖 3-20 拼圖遊戲操作過程　　　　　　50
圖 3-21 雙手操作方向盤遊戲　　　　　50
圖 4-1 手勢方向示意　　　　　　　　52
圖 4-2 雙手各方向組合　　　　　　　52
圖4-3 受測者測試辨識率之操作畫面　　　　　53
圖4-4 右手實測手勢數與正確辨識數長條圖　　55
圖4-5 左手實測手勢數與正確辨識數長條圖　　55
圖4-6 雙手實測手勢數與正確辨識數長條圖　　57
圖4-7 受測者測試功能操作之操作畫面　　　　59
圖5-1 新增手勢判斷與操作畫面　　　　　　　63

表目錄

表2-1 手勢輸入裝置比較　　　　　　　　　10
表2-2 以視覺為基礎的兩種手勢辨識比較　　11
表2-3 影像介面類型　　　　　　　　　　　14
表2-4 影像介面的設計要素　　　　　　　　15
表3 1 影像處理模組類別　　　　　　　　　37
表3-2　 手勢辨識系統比較１　　　　　　　　40
表3-3 手勢辨識系統比較２　　　　　　　　40
表3-4 本研究手勢系統功能表　　　　　　　41
表4-1 右手各方向下實測數與正確辨識數　　54
表4-2 左手各方向下實測數與正確辨識數　　55
表4-3 右手手勢在各方向下之辨識準確率　　55
表4-4 左手手勢在各方向下之辨識準確率　　56
表4-5 雙手在各方向組合下實測數與正確辨識數　56
表4-6 雙手在各方向組合下之辨識準確率　　57
表4-7 功能操作測試說明　　　　　　　　　58
表4-8 各功能操作測試平均花費時間　　　　60
表5-1 手勢辨識控制與傳統控制訊號之比較　61
表5-2 本研究系統與一般視訊手勢辨識控制系統之比較　62

中文文獻
王國榮(2001)。基於資料手套的智慧型手勢辨識之廣泛研究，國立台灣科技大學電機工程所碩士論文，未出版，台北。
宋倩如(2002)。設計互動式超媒體人機互動介面之文獻探討。中學教育學報，7，201-217。

英文文獻
Booth, P. A. (1989). An introduction to human-computer interaction. East Sussex: Erlbaum.
Chen, F. S., Fu, C. M., & Huang, C. L. (2003). Hand gesture recognition using a real-time tracking method and hidden Markov models, Image and Vision Computing, 21, 745 – 758.
Davis, J., & Shah, M. (1994). Visual gesture recognition, Proc of IEE on Vision, Image and Signal Processing, 141, 101-106.
Freeman, W. T., Anderson, D. B., Beardsley, P., Dodge, C. N. M. Roth, C., Weissman, D., Yerazunis, W. S., Kage, H., Kyuma, I., Miyake, Y., & Tanaka, K. (1998). Computer vision for interactive computer graphics, IEEE Computer Graphics and Appl., 18, 42-53.
Garcia, C., & Tziritas, G. (1999). Face Detection Using Quantized Skin Color Regions Merging and Wavelet Packet Analysis, IEEE Transactions on Multimedia, 1(3), September, 264-277.
Hsu, R. L., Mottaleb, A., & Jain, K. (2002). Face detection in color images, IEEE Transaction on Pattern Analysis and Machine Intelligence, 696-706.
Huang, T. S., Wu, Y., & Lin, J. (2002). 3D model-based visual hand tracking, Proc. of the 2002 IEEE Int. Conf. on Multimedia and Expo, 1, 905-908.
Iannizzotto, G., Villari, M., & Vita, L. (2001). Hand tracking for human-computer interaction with Graylevel VisualGlove: Turning back to the simple way, TACM International Conference Proceeding Series; 15T, 1-7.
Manresa, C., Varona, J., Mas, R., & Perales, F. J. (2005). Hand Tracking and Gesture Recognition for Human-Computer Interaction, Electronic Letters on Computer Vision and Image Analysis, 5(3), 96-104.
Marks, R. (2004). User Interfaces in Interactive Entertainment, Accelerating Change2004, Stanford University, November.( http://www.accelerating.org/ac2004/index.html ) [11 April, 2006]
Matysczok, C., Radkowski, R., & Berssenbruegge, J. (2004). AR-Bowling: Immersive and Realistic Game Play in RealEnvironments Using Augmented Reality. ACE, 47, 269–276.
Nölker, C., & Ritter, H. (2002). Visual Recognition of Continuous Hand Postures, IEEE Transactions on Networks, 19(4), July, 983-994.
Price, R. V. (1991). computer-aided instruction:a guide for authorsBelmont, CA:Wadsworth.
Sato, Y., Kobayashi, Y., & Koike, H. (2000). Fast tracking of hands and fingertips in infrared images for augmented desk interface, Proc. of the 4th IEEE Int. Conf. on Automatic Face and Gesture Recognition（FG 2000）, 462-467.
Shapiro, L. G., & Stockman, G. C., (2001), Computer Vision, NJ: Prentice Hall.
Singh, S., Chauhan, D. S., Vatsa, M., & Singh, R. (2003). A Robust Skin Color Based Face Detection Algorithm, Tamkang Journal of Science and Engineering, 227-234.
Soriano, M., Huovinen, S., Martinkauppi, B., & Laaksonen, M. (2000). Using the Skin Locus to Cope with Changing Illumination Conditions in Color-Based Face Tracking, Proceedings of IEEE Nordic Signal Processing Symposium, 383-386.
Vezhnevets, V., Sazonov, V., & Andreeva, A. (2003). A Survey on Pixel-Based Skin Color Techniques, Proc. Graphicon-2003, Moscow, Russia, September, 85-92.
Vezhnevets, V., Sazonov, V., & Andreeva, A. (2003). A Survey on Pixel-Based Skin Color Detection Techniques, Proc. Graphicon-2003, September, Moscow, Russia, 85-92.
Voida, S., Podlaseck, M., & Kjeldsen, R. (2005). A Study on the Manipulation of 2DObjects in a Projector/Camera –Based Augmented Reality Environment, SGICHI Conference onHuman Factor in Computing Systems, Portland, Oregon, USA, April, 611-620.
Wei, D.,& Hua, L. (2000). Vision based gesture recognition system with single camera, Proc. of ICSP2000, 2, 1351-1357.
Weimer, D., & Ganapathy, S. K. (1992). Interaction techniques using hand tracking and speech recognition. Multimedia Interface Design, 109-126.
Wren, C., Azarbayejani, A., Darrell, T., & Pentland, A. (1997). Pfinder:Real-time, tracking of the human body, IEEE Transactions on Pattern Analysis and Machine Intelligence,19,780-785.
Wu, Y., & Huang, T. S. (2001). Hand modeling, analysis and recognition, IEEE Signal Processing, 18(3), 51-60.