臺灣博碩士論文加值系統

在電腦空間中三維世界的物件，能讓使用者藉由輸入裝置進行控制，以便於使用者來觀察物件各種不同角度下的面貌、被隱藏的細節或是不容易被看見的部分。本研究整理目前相關文獻，根據現有文獻設計出一個結合語音辨識與手勢應用於三維物件控制的系統。本研究採用績效測量與使用性量表兩種研究方法，並且根據文獻設計一套純手勢辨識的三維物件控制系統作為實驗對照組，藉此與本研究提出的結合語音辨識與手勢的三維物件控制系統比較在使用性上是否比純手勢辨識的三維物件控制系統更佳。而實驗結果發現，本研究所提出的結合語音辨識與手勢的三維物件控制系統相較於純手勢辨識的三維物件控制系統，能夠簡化操作手勢之種類，並且降低手勢動作的操作次數，在使用性評估方面，受測者也給予本研究所提出的結合語音辨識與手勢的三維物件控制系統較高的滿意度。

While interacting with computers, users can manipulate 3D objects through various devices. In this thesis, this study proposed a combined speech recognition and gesture recognition system for 3D objects control to compare with the gesture recognition one. The analysis compares usability(i.e., ease of use, ease of learning, and ease of performed task), and quantitative data (time and number of gestures) collected both with the combined speech recognition and gesture recognition system for 3D objects control and the simple gesture recognition system. In this study, research results show that the combined speech recognition and gesture recognition for 3D objects control system can simplify the operation of kinds of gesture and to reduce the number of operations. For usability testing, the proposed system got higher degree of satisfaction.

摘要 i
Abstract ii
目錄 iii
表目錄 v
圖目錄 vi
第一章 緒論 1
第一節 研究背景與動機 1
第二節 研究目的與問題 2
一、 研究目的 2
二、 研究問題 2
第三節 研究範圍與限制 3
第二章 文獻探討 5
第一節 人機互動 5
一、 人機互動 5
二、 自然使用者介面 6
三、 概念模式與直接操作 9
四、 介面使用性 10
五、 使用性評估方法 13
六、 使用性量表 14
第二節 Kinect體感控制 17
一、 Kinect介紹 17
二、 姿勢辨識與控制 18
三、 手勢設計原則 20
第三節 三維物件控制 21
第四節 語音辨識 24
第五節 小結 26
第三章 研究方法與系統設計 27
第一節 研究架構 27
一、 分析規劃 27
二、 系統開發 27
三、 實驗結果分析 28
四、 研究方法 29
五、 績效測量之任務 29
六、 使用問卷調查 29
第二節 Kinect相關資料及限制 30
第三節 系統設計 33
一、 系統概念 33
二、 設計理念 36
三、 操作方式 37
四、 任務流程 43
五、 任務設計 44
第四節 研究工具 47
一、 Unity3D 47
二、 Visual Studio 47
三、 Kinect SDK 48
四、 Kinect Wrapper 48
第五節 實驗設計與實施 49
一、 實驗對象 49
二、 實驗裝置與環境 49
三、 實驗流程 50
第四章 實驗分析與討論 53
第一節 受測背景資料 53
一、 基本資料分布 53
二、 使用經驗分析 54
第二節 實驗資料分析 57
一、 操作任務績效分析 57
二、 使用性量表分析 65
三、 使用者互動滿意度量表分析 66
第三節 實驗觀察 69
一、 結合語音與手勢辨識系統 69
二、 純手勢辨識系統 69
第五章 結論與建議 71
第一節 結論 71
第二節 未來研究建議 74
參考文獻 75
附錄一 實驗問卷 79

中文文獻：
王怡萱、楊叔卿、張智星(2010)。可觸式學習同伴融入國小英語口說練習學習效益探討。數位學習科技期刊，2(1)，33-44。
陳建雄（譯）(2006)。互動設計 (原作者：Preece, J., Rogers, Y. & Sharp , H.)。台北市：全華科技圖書股份有限公司。
精密機械研發中心(2008)。語音辨識技術概論。取自 http://www.robotworld.org.tw/data/for_trade1-d.php?News_ID=2389

英文文獻：
Association for Computing Machinery Special Interest Group on Computer-Human Interaction Curriculum Development Group. (1992). ACM SIGCHI Curricula for human-computer interaction. New York: Association for Computing Machinery Special Interest Group on Computer-Human Interaction Curriculum Development Group.
Baecker, R. M. & Buxton, W. (1987) . Readings in Human Computer Interaction: A Multidisciplinary Approach. San Mateo, CA: Morgan Kaufmann Publishers.
Benyon, D., Turner, P., & Turner, S. (2005). Designing interactive systems: People, activities, contexts, technologies. New Jersey: Pearson Education.
Brooke, J. (1996). SUS: A quick and dirty usability scale. In P. Jordan, B. Thomas, B. Weerdmeester, & I. McClelland (Eds.), Usability evaluation in industry (pp. 189-194). London: Taylor & Francis.
Catanese, P. (2001). Director's third dimension: Fundamentals of 3D programming in Director 8.5.Indiana:Que.
Chen, M., Mountford, S. J., & Sellen, A. (1988, June). A study in interactive 3-D rotation using 2-D control devices. In ACM SIGGRAPH Computer Graphics(Vol. 22, No. 4, pp. 121-129). ACM.
Edge, D. (2008). Tangible user interfaces for peripheral interaction. University of Cambridge, Computer Laboratory, Technical Report, (UCAM-CL-TR-733).
Henriksen, K., Sporring, J., & Hornbæk, K. (2004). Virtual trackballs revisited. Visualization and Computer Graphics, IEEE Transactions on, 10(2), 206-216.
Ishii, H., & Ullmer, B. (1997). Tangible bits: towards seamless interfaces between people, bits and atoms. In Proceedings of the ACM SIGCHI Conference on Human factors in computing systems (pp. 234-241). ACM.
Izadi, S., Kim, D., Hilliges, O., Molyneaux, D., Newcombe, R., Kohli, P., ... & Fitzgibbon, A. (2011, October). KinectFusion: real-time 3D reconstruction and interaction using a moving depth camera. In Proceedings of the 24th annual ACM symposium on User interface software and technology (pp. 559-568). ACM.
Kang, J. W., Seo, D. J., & Jung, D. S. (2011). A study on the control method of 3-dimensional space application using Kinect system. International Journal of Computer Science and Network Security, 11(9), 55-59.
Lee, J., You, G. K., Yang, J. M., & Kang, H. G. (2010). Unified Framework for User Tracking and Sound Beamforming with Audio/Depth Sensors in Kinect. Unpublished manuscript, Department of Electrical & Electronics Engineering, Yonsei University, Seoul, Korea.
Liu, J., Au, O. K. C., Fu, H., & Tai, C. L. (2012, September). Two‐Finger Gestures for 6DOF Manipulation of 3D Objects. In Computer Graphics Forum(Vol. 31, No. 7pt1, pp. 2047-2055). Blackwell Publishing Ltd.
 
Martinet, A., Casiez, G., & Grisoni, L. (2010, March). The design and evaluation of 3d positioning techniques for multi-touch displays. In 3D User Interfaces (3DUI), 2010 IEEE Symposium on (pp. 115-118).
Microsoft Corp. (2013). Kinect for Windows Human Interface Guidelines v1.7.0. Retrieved from: http://msdn.microsoft.com/en-us/library/jj663791.aspx
Nielsen, J. (1993). Usability Engineering. San Francisco: Morgan Kaufmann.
Nielsen, J. (2005). Ten usability heuristics. Retrieved from: http://informaticathomas.nl/heuristicsNielsen.pdf
Norman, D. A. (1988). The Psychology of Everyday Things. New York: Basic Books.
Preece, J., Rogers, Y., Sharp, H., Benyon, D., Holland, S., and Carey, T. (1994). Human-Computer Interaction. New York: Addison-Wesley.
Preece, J., Rogers, Y., & Sharp, H. (2007). Interaction Design. Retrieved from: http://www.inf.ed.ac.uk/teaching/courses/hci/1213/lecs/Lecture05_DesignTaskAnalysis_201213.pdf
Raptis, M., Kirovski, D., & Hoppe, H. (2011). Real-time classification of dance gestures from skeleton animation. In Proceedings of the 2011 ACM SIGGRAPH/Eurographics Symposium on Computer Animation (pp. 147-156). ACM.
Shneiderman, B. (1982). The future of interactive systems and the emergence of direct manipulation†. Behaviour & Information Technology, 1(3), 237-256.
Shneiderman, B., & Maes, P. (1997). Direct manipulation vs. interface agents. interactions, 4(6), 42-61.
 
網路文獻：
Kinect開發學習筆記(2012年11月4日)。【部落格文字資料】。取自http://www.cs.nccu.edu.tw/~whliao/hci2012/Kinect_Note_for_Windows_SDK.pdf
Peggy(2010年6月23日)。使用者介面沿革：從CLI、GUI到NUI【部落格文字資料】。取自http://blog.uns.org.tw/node/211
QUIS (2006). About the QUIS, version 7.0. College Park, MD: Cooliris. Retrieved October 31, 2009, from the World Wide Web:http://lap.umd.edu/quis/