臺灣博碩士論文加值系統

近年來由於計算機技術和資訊產業的快速發展，促使了相關的數據量也產 生了極大的增長。然而面對這些龐大且雜亂的多維數據集，我們無法快速 且有效的找到我們所需要的資訊。因此我們必須要使用數據挖掘技術以從 數據集中去提取我們所需要的資料，並且進行分析與處理。在本篇論文中， 我們將介紹一個新的大數據挖掘分析軟體 Rapidminer，並且與其他舊有的 數據挖掘分析軟體來做一個功能性的比較。透過四個案例研究，包括線性 回歸、類神經網路、決策樹和支持向量機，說明應用 Rapidminer 進行大數 據挖掘分析的運作流程，並介紹 Rapidminer 的操作介面跟分析方法。本篇 論文採用 Rapidminer 的原因，主要是因為它擁有非常便捷的圖形化介面， 而且使用者在操作上不需要再額外去學習其它的程式語法，只需要透過選 取元件以及設定參數的方式就可以完成。而且在分析結果的顯示上也非常 的多樣化，可以讓使用者自行選擇要觀看哪一種圖形顯示分析的結果。

In recent years, the rapid development of computer technology and information industry has led to a significant increase in the amount of data. However, regarding these large and messy multidimensional data sets, we cannot quickly and effectively find the information that we need. Therefore, we have to use the data mining techniques to concentrate on extracting the information that we need from the data. In this thesis, we will introduce a relatively new data mining software, Rapidminer. We compare the Rapidminer with other data mining software via comparative analysis of a functional operating procedures. Through the application of four case studies including linear regression, neural networks, decision trees, and support vector machines to illustrate the operations of Rapidminer. There are two reasons to use Rapidminer in this thesis. The first one is that it has a very convenient graphical interface. The second one is that user does not need to learn other programming syntax, just need to select components and setting parameters. The display of analysis results is also diversification, which allowing users to choose the functional map to view the results.

中文摘要 I
英文摘要 II
致謝 III
目錄 IV
圖目錄 VI
表目錄 XI
第一章、緒論 1
1.1 研究動機與目的 1
1.2 研究方法與論文架構 2
第二章、資料探勘 5
2.1 資料探勘探討 5
2.2 資料探勘工具 7
2.3 資料探勘工具比較 12
2.4 資料探勘工具使用者調查 14
第三章、Rapidminer 操作介紹 15
3.1 介紹 15
3.2 安裝軟體 18
3.3 一般建模流程 20
3.4 擴充運算元 23
第四章、Rapidminer 實際應用 26
4.1 線性回歸-原油價格 26
4.2 類神經網路-鐵達尼號事件 36
4.3 決策樹-電信用戶 53
4.4 支持向量機-文字探勘 66
第五章、結論 79
參考文獻 80
附錄 82

圖目錄
圖 1. Rapidminer studio 7.3.001 版操作介面圖 2
圖 2. 論文架構 4
圖 3. 資料探勘系統架構圖 7
圖 4. Rapidminer 介面圖 8
圖 5. R studio 介面圖 9
圖 6. Weka 介面圖 10
圖 7. Weka 操作介面圖 10
圖 8. KNIME 介面圖 11
圖 9. 2015 年全球前 10 大資料探勘工具用戶比例 14
圖 10. Rapidminer 可供下載版本 17
圖 11. Rapidminer 免費版功能表 18
圖 12. Rapidminer 專業版規格表 18
圖 13. 指定儲存庫 19
圖 14. 指定儲存庫位置 19
圖 15. Rapidminer 歡迎介面 20
圖 16. Rapidminer 工作區操作圖 21
圖 17. Rapidminer 元件操作圖 22
圖 18. Rapidminer 欄位屬性設定圖 23
圖 19. Extension 欄位 24
圖 20.Rapidminer Market 下載介面 24
圖 21. Rapidminer Market 升級介面 25
圖 22. 資料匯入步驟 1 28
圖 23. 資料匯入步驟 2 28
圖 24. 資料匯入步驟 3 29
圖 25. 資料匯入步驟 4 29
圖 26. 資料匯入步驟 5 30
圖 27. 資料匯入步驟 6 30
圖 28. 建模步驟 1 31
圖 29. 建模步驟 2 31
圖 30. 建模步驟 3 32
圖 31. 各資料升降曲線 34
圖 32. 相關聯性 34
圖 33. 預測結果圖 35
圖 34. 預測結果表 36
圖 35. 鐵達尼資料匯入 1 38
圖 36. 鐵達尼資料匯入 2 39
圖 37. 鐵達尼資料匯入 3 39
圖 38. 鐵達尼資料匯入 4 40
圖 39. 鐵達尼資料匯入 5 40
圖 40. 鐵達尼資料匯入 6 41
圖 41. 類神經建模步驟 1 41
圖 42. 類神經建模步驟 2 42
圖 43. 類神經建模步驟 3 43
圖 44. Cross Validation 參數圖 47
圖 45. 鐵達尼執行結果 1 48
圖 46. 鐵達尼執行結果 2 49
圖 47. 鐵達尼執行結果 3 49
圖 48. 鐵達尼執行結果 4 50
圖 49. 鐵達尼執行結果 5 51
圖 50. 鐵達尼執行結果 6 51
圖 51. 鐵達尼執行結果 7 52
圖 52. 鐵達尼執行結果 8 52
圖 53. 拉取顧客資料運算元 55
圖 54. 顯示顧客行為資料 55
圖 55. Specify Churn Label 56
圖 56. Create Binary Label 57
圖 57.二進制轉換完成圖 57
圖 58. 交叉驗證元件圖 58
圖 59. Balance Training Data 運算元 59
圖 60. Optimize Parameters 運算元 59
圖 61. 決策樹進程設置 60
圖 62. 測試資料進程設置 61
圖 63. 決策樹分析表 64
圖 64. 決策樹樹狀圖 65
圖 65. 決策樹分類標準描述 65
圖 66. 文本資料 67
圖 67. 觀看文本資料 68
圖 68. Set Role 68
圖 69. 轉換屬性 69
圖 70. Process Document from Data 70
圖 71. Process Document from Data 子進程設置 71
圖 72. Cross Validation 72
圖 73. 支持向量機建模 72
圖 74. 建立測試資料 73
圖 75. Process Documents 子進程設置 74
圖 76. 丟入測試資料 74
圖 77. 分類結果表 77
圖 78. 新建文檔分類 78

表目錄
表 1.資料探勘工具規格表 12
表 2.各資料出處 27
表 3.線性回歸建模元件介紹 32
表 4.各資料出處 37
表 5.類神經建模元件介紹 43
表 6.各資料出處 54
表 7.決策樹建模元件介紹 61
表 8.各資料出處 67
表 9.支持向量機建模元件介紹 75
表 10.原油價格資料前處理程式碼 82

參考文獻
[1] I-Hsuan Ethan Chiang, W. Keener Hughen, " Do oil futures prices predict stock returns?," Journal of Banking & Finance, June 2017, vol. 79, pp. 129-141.
[2] Peter Braun, Alfredo Cuzzocrea , Carson K. Leung, Adam G.M. Pazdor, Kimberly Tran, "Knowledge Discovery from Social Graph Data," Procedia Computer Science, 2016, vol. 96, pp. 682-691.
[3] T. Denoeux, "A neural network classifier based on Dempster-Shafer theory," IEEE Transactions on System,Man and Cybernetics, vol. 30, pp. 131-150, March 2000.
[4] G. P. Zhang, "Neural Networks for Classification: A Survey," IEEE Transactions on System,Man and Cybernetics, vol. 30, pp. 451-462, Nov. 2000.
[5] Adil M. Bagirov, Arshad Mahmood, Andrew Barton, " Prediction of monthly rainfall in Victoria, Australia: Clusterwise linear regression approach," Atmospheric Research, 15 May 2017, vol. 188, pp. 20-29.
[6] Alfonso Olaya-Abril, Luis Parras-Alcántara, Beatriz Lozano-García, Rafael Obregón-Romero, "Soil organic carbon distribution in Mediterranean areas under a climate change scenario via multiple linear regression analysis," Science of The Total Environment, 15 August 2017, vol. 592, pp. 134-143.
[7] Petar Ristoski, Christian Bizer, Heiko Paulheim, " Mining the Web of Linked Data with RapidMiner," Procedia Computer Science, December 2015, vol. 35, pp. 142-151.
[8] Jared P, Lander, " R 軟體資料分析基礎與應用," 旗標出版股份有限公 司,2015.07.
[9] Kimitoshi Toyose, Nobutake Asaba, Kazunori Nishino, " The Association between the Score and the Vocabulary in the Waka Essay by High School Student with Waka Learning System," Science of The Total Environment, 2015, vol. 60, pp. 1223-1232.
[10] Georgia Melagraki, Antreas Afantitis, " Enalos KNIME nodes: Exploring corrosion inhibition of steel in acidic medium," Chemometrics and Intelligent Laboratory Systems, 15 April 2013, vol. 123, pp. 9-14.
[11] Angela Lausch, Andreas Schmidt, Lutz Tischendorf, " Data mining and
79
linked open data – New perspectives for data analysis in environmental
research," Ecological Modelling, 10 January 2015, vol. 295, pp. 5-17.
[12] Jayant Jagtap, Manesh Kokare, " Human age classification using facial skin aging features and artificial neural network," Cognitive Systems
Research, December 2016, vol. 40, pp. 116-128.
[13] Abigail R.Colson, Roger M.Cooke, " Cross validation for the classical
model of structured expert judgment," Reliability Engineering & System
Safety, July 2017, vol. 163, pp. 109-120.
[14] Huaining Sun, Xuegang Hu, " Attribute selection for decision tree
learning with class constraint," Chemometrics and Intelligent Laboratory
Systems, 15 April 2017, vol. 163, pp. 16-23.
[15] Abbas M. Abd, Suhad M. Abd, " Modelling the strength of lightweight
foamed concrete using support vector machine (SVM)," Case Studies in Construction Materials, June 2017, vol. 6, pp. 8-15.