臺灣博碩士論文加值系統

在SVM 的訓練過程中，如何決定目標函數中的參數值與核心函數中的
參數值一直是尚未解決的問題，本論文的目地在於提出一套新的演算法以決定目標函數中理想的C 值與核心函數中理想參數值，不同的C 值與核心函數的參數值會導致有不同的正確率，本論文中核心函數以高斯函數為主。此演算法以模糊理論為基礎，經由模糊規則以推導出理想的C 值與高斯函數中的γ 值，雖然目前已有一些相關論文提出，但其方法與結果尚有相當大的改善空間，本篇論文分析資料分佈情況與核心函數的影響，將其結果歸納於九條模糊規則中以取得其中的C 值與γ 值，並以類神經網路進行學習。經實驗結果證明，本篇論文所提出的方法能有效的產生正確的C 值與γ 值。

In the phase of building SVM model, it is still an unsolved problem of how to decide the optimal parameter values for the cost function and kernel function.Although numerous researches have been proposed to overcome this problem,
they were suffered with the problem of much time complexity. Ideal parameter values could increase the accuracy of classification. In this thesis a novel algorithm is proposed to generate ideal parameter values. In this algorithm,overall relations between training patterns are summarized into nine fuzzy rules and fuzzy inference engine is used to generate the ideal parameter values.Besides, fuzzy neural network is used to reach the optimal solution.Experimental results show that our proposed algorithm produces ideal C and γ effectively and outperform other methods.

摘要 I
ABSTRACT II
表目錄 VI
第一章序論 1
1.1前言 1
1.2研究動機 4
1.3文獻探討 5
1.4論文架構 7
第二章、知識背景 8
2.1 支撐向量機 (SUPPORT VECTOR MACHINE) 8
2.1.2硬性邊界支撐向量機 10
2.1.3 軟性邊界支撐向量機 15
2.2 模糊理論(FUZZY LOGIC) 20
2.2.1 模糊集合（Fuzzy Set） 21
2.2.2 模糊集合的基本運算 21
2.2.3 模糊規則 22
2.2.4 模糊推論系統 24
第三章核心函數計算 28
3.1 目標函數C值計算: 28
3.2 核心函數參數的計算 30
3.3基本資料分佈狀態 34
3.4 參數值的意義: 38
第四章模糊推論系統 40
4.1模糊推論系統 40
4.2類神經網路 50
第五章實驗與結果 51
第六章結論 55
表3-1 當γ=0.01時的結果 32
表3-2 當γ=100時的結果 32
表3-3當γ=5時的結果 33
表4-1模糊變數分割圖 41
表5-1訓練與測試資料量 51
表5-2參數值 52
表5-3實驗結果 54
圖目錄
圖2-1超平面 9
圖2-2邊界較大超平面 10
圖2-3邊界較小的超平面 11
圖2-4當C=1時的超平面 12
圖2-5當有誤差值時超平面 17
圖 2-6輸入空間分割圖 24
圖 2 - 7模糊推論系統之基本架構圖 24
圖 2 - 8模糊化示意圖 25
圖 2 - 9 Mamdani模糊推論過程 26
圖 2 - 10 Sugeno模糊推論過程 26
圖 2 - 11 Tsukamoto模糊推論過程 27
圖3-1資料分佈 29
圖3-2寬度較小 29
圖3-3寬度較大 30
圖3-4γ值設定為小 32
圖3-5γ值設定為大 32
圖3-6 高斯分佈 34
圖3-7非高斯函數(均勻分佈在各空間上) 35
圖3-8非高斯函數(中心點數量少，周圍的點數多) 35
圖3-9類別跟類別的部份沒有混雜，類別的資料集中於類別中心處 36
圖3-10大量的資料混雜在交集裡，但無零星資料落於邊緣處時。 36
圖3.11類別與類別間的距離較遠，資料落於邊緣上 37
圖3-12中所形容的是在類別與類別中間裡，有大量的點數量混雜在其中 37
圖3-13當類別與類別交集 39
圖4-1類別與類別間無混雜，均勻分佈 42
圖4-2類別與類別間無混雜，資料聚集在中心點附近 42
圖4-3類別與類別間無混雜，資料聚集在邊緣地區 43
圖4-4類別與類別間有些微交集，並有零星的資料落於中心點附近 44
圖4-5類別與類別間距離較近，有些微零星的資料落於邊界上 45
圖4-6類別與類別間有大量資料混雜在其中，並資料落在中心點附近 46
圖4-7類別與類別有大量的交集在其中 47
圖4-8類別與類別混雜時 48
圖4-9模糊規則C值的 50
圖4-10模糊規則γ值的訂定 50
圖5-1實驗流程 52

[1]林育利，使用類神經網路結合支撐向量機之分類器研究，碩士論文，國立中央大學光機電工程研究所，2008。
[2]J.Ozols, A.Borisov,“Fuzzy classification based on pattern projections analysis”, Pattern Recognition, vol.34, pp.763-781, 2001.
[3]C.–L. Huang, C.–J. Wang, “A GA-based feature selection and parameters optimization for support vector machines”, Expert Systems with Applications, vol. 31, pp. 231–240, 2006.
[4]V. Vapnik, Statistical Learning Theory, Wiley, New York, 1998.
[5]S.–W. Lin, Z. –J .Lee, S.–C. Chen ,T. –Y Tseng,“Parameter determination of support vector machine and feature selection using simulated annealing approach”, Applied Soft Computing,vol.8, pp.1505–1512, 2008.
[6]V. Cherkassky , Y. Ma,“Practical selection of SVM parameters and noise estimation for SVM regression”, Neural Networks , vol.17 ,pp.113–126, 2004.
[7]K. –P. Wu , S. –D. Wang, “Choosing the kernel parameters for support vector machines by the inter-cluster distance in the feature space”, Pattern Recognition, vol.42,pp.710– 717, 2008.
[8]E. Comak, A. Arslan,“A new training method for support vector machines: Clustering k-NN support vector machines”, Expert Systems with Applications, vol.35,pp.564–568, 2008.
[9] S–J. Lee,“Using data envelopment analysis and decision trees for efficiency analysis and recommendation of B2C controls”, Decision Support Systems,vol.49,pp.486-497,2010.
[10]S.–W. Lin, Z. –J .Lee, S.–C. Chen ,T. –Y Tseng,“Parameter determination of support vector machine and feature selection using simulated annealing approach”, Applied Soft Computing,vol.8, pp.1505–1512, 2008.
[11]C. –C. Chang ,C. –J. Lin ,Libsvm:a library for support vector machines.[Online]Available from World Wide Web:< http://www.csie.ntu.edu.tw/~cjlin/libsvm/>.
[12]C.–C. Chang ,C. –J. Lin ,Libsvm:a library for support vector machines .[Online]Available from World Wide Web:< http://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/>.
[13] J. Ozols, A. Borisov,“Fuzzy classication based on pattern projections analysis”, Pattern Recognition,vol.34,pp.763–781,2001.
[14]D. Zhang, S. Chen, Z. –H Zhou, “Learning the kernel parameters in kernel minimum distance classifier”, Pattern Recognition,vol.39,pp.133–135,2006.
[15]J.Wanga,H. –A.Lub,K. –N.Plataniotisb,J. –W.L,“Gaussian kernel optimization for pattern classification , Pattern Recognition,vol.39,pp.133 –135,2006.
[16]E . Avci ,“Selecting of the optimal feature subset and kernel parameters in digital modulation classification by using hybrid genetic algorithm–support vector machines: HGASVM ”, Expert System with Application , vol.36,pp1391-1402,2009
[17] A.Chalimourda, B.Scho, A. –J. Smola,“Experimentally optimal n in support vector regression for different noise models and parameter settings”,Neural Networks,vol.17,pp.127–141,2004.
[18]O.Yilmaz,E. –K .Achenie , R .Srivastava ,”Systematic tuning of parameters in support vector clustering”,Mathematical Biosciences, vol .205 ,pp.252 – 270,2007.
[19] A. Kulkarni, V. –K. Jayaraman, B. –D. Kulkarni,“Support vector classification with parameter tuning assisited by agent-based rechnique”,Computers and Chemical Engineering,vol.28,pp.311–318,2004.
[20]M. –H. Wang ,C. –P. Hung ,”Extention neural network and its application”,Neural Networks ,vol.16,pp.779–784,2003.