臺灣博碩士論文加值系統

在當今日益競爭激烈的商業環境中，顧客流失已成為各企業關注的核心問題。企業為
了維持競爭優勢，需要有效的預測工具來預警潛在流失顧客，從而採取適當的策略以增強
顧客忠誠度和保持市占率。傳統的統計方法雖然在某些情境下依然有效，但面對大數據時
代的複雜數據模式，這些方法往往力不從心。因此，本研究旨在探討機器學習和深度學習
技術在顧客流失預測中的應用，並比較傳統模型與這些先進技術的效能差異。
本研究選擇隨機森林、XGBoost、DeepFM、XGBoost 與 DeepFM 的融合模型作為研究 對象。透過電信業的實際數據，本研究對這四種模型進行了訓練與比較，並用準確率、精 確率、召回率及 F1 分數多個指標評估其預測效能。
本研究的實證分析不僅確認了機器學習技術在顧客流失預測上的有效性，也為電信業
提供了實用的預測工具，有助於企業制定更有效的客戶保留策略，進而提高客戶滿意度和
品牌忠誠度。未來研究可以進一步探索其他機器學習、深度學習算法和融合模型的應用，
並對不同市場和客戶群體進行專門的適應性研究。

The business enviroment is increasingly competitive today, customer churn has become a core concern for all companies. To maintain a competitive advantage, businesses need effective predictive tools to forewarn potential customer losses, thereby enabling the implementation of appropriate strategies to enhance customer loyalty and retain market share. Although traditional statistical methods remain effective in some scenarios, they often fall short when face the complex data patterns of the big data era. Therefore, this study aims to explore the application of machine learning and deep learning techniques in predicting customer churn and to compare the efficacy of traditional models with these advanced technologies.
This research selected Random Forest, XGBoost, DeepFM, and a hybrid model of XGBoost and DeepFM as the subjects of study. Through actual data from the telecommunications industry, this study trained and compared these four models, evaluating their predictive performance using multiple indicators such as accuracy, precision, recall, and F1 score.
The empirical analysis of this study not only confirmed the effectiveness of machine learning techniques in predicting customer churn but also provided practical forecasting tools for the telecommunications industry, helping businesses to develop more effective customer retention strategies and thereby enhance customer satisfaction and brand loyalty. Future research could further explore the application of other machine learning, deep learning algorithms, and hybrid models, and conduct tailored adaptability studies for different markets and customer groups.

目錄
中文摘要 i
ABSTRACT ii
目錄 iii
圖目錄 iv
表目錄 v
第 1 章 緒論 1
1.1研究動機 1
1.2研究目的和問題陳述 2
1.3研究方法 3
第 2 章 文獻探討 5
2.1引言 5
2.2基於深度學習行為模式分析的顧客流失預測模型 5
2.3 DeepFM 和 XGBoost 融合模型的靜脈血栓預測 6
第 3 章 二元分類技術探討 8
3.1 深度因子分解機(DeepFM) 8
3.2隨機森林 12
3.2.1 CART 決策樹 12
3.2.2套袋(Bagging)演算法 13
3.3極限梯度提升(XGBoost) 14
3.4融合模型 15
3.5 編碼 17
3.5.1獨熱編碼(One-Hot Encoding) 17
3.5.2標籤編碼法(Label Encoding) 17
3.5.3目標編碼(Target Encoding) 18
3.6評估指標 20
3.6.1準確率(Accuracy) 21
3.6.2精確率(Precision) 21
3.6.3召回率(Recall) 21
3.6.4 F1分數(F1 Score) 21
3.6.5 ROC曲線下面積 22
第 4 章 實證評估 23
4.1研究設計 23
4.2資料集描述 24
4.3資料預處理 31
4.3.1數值變數處理 31
4.3.2類別變數處理 32
4.4模型訓練與評估 33
4.4.1 隨機森林(Random Forest)模型 33
4.4.2極限梯度提升(XGBoost)模型 35
4.4.3深度因子分解機(DeepFM)模型 37
4.4.4模型評估 37
第 5 章 結論 41
參考文獻 43

圖目錄
圖 1：FM 層之架構圖解 9
圖 2：DNN層之架構 10
圖 3：DeepFM 之 DNN 加 FM 層之完整架構 11
圖 4：白天通話的總費用之分佈 25
圖 5：語音郵件訊息數之分布 26
圖 6：白天通話的總分鐘數之分佈 26
圖 7：國際通話的總費用 27
圖 8：international_plan的客戶比例 28
圖 9：voice_mail_plan的客戶比例 28
圖 10：area_code的客戶比例 29
圖 11：流失比例直方圖 29


表目錄
表 1：Target Encoding 舉例 18
表 2：混淆矩陣示意圖 20
表 3：變數定義 29
表 4：隨機森林超參數 34
表 5：XGBoost 超參數 36
表 6：DeepFM 超參數 37
表 7：訓練資料集之模型指標 37
表 8：測試資料集之模型指標 38

邱義堂. "通信資料庫之資料探勘:客戶流失預測之研究.", (2001), 國立中山大學 資訊管理學系研究所.
李莉, 謝超, 吳迪. "基於 DeepFM 和 XGBoost 融合模型的靜脈血栓預測. ", (2022), 電腦系統應用, 31(9):376–381.
連惟謙. "應用資料分析技術進行顧客流失與顧客價值之研究." (2004), 中原大學, 資訊管理研究所.
蔡子豪. "深度學習於消費資料上的顧客流失預測." (2018), 國立交通大學, 網路 工程研究所.
蔡宛靜. "應用資料探勘技術於顧客流失預測之研究-以電信通訊產業為例" (2013), 國防大學理工學院, 資訊工程碩士班.
P. K. Dalvi, S.K. Khandge, A. Deomore, A. Bankar and V.A. Kanade. "Analysis of customer churn prediction in telecom industry using decision trees and logistic regression.", (2016), Symposium on Colossal Data Analysis and Networking (CDAN) p.1-4.
Manďák, Jan, and Jana Hančlová. "Use of Logistic Regression for Understanding and Prediction of Customer Churn in Telecommunications.", (2019), Statistika: Statistics & Economy Journal.
Nikita Bagul, Priya Surana, Prerana Berad, Chirag Khachane. "Retail Customer Churn Analysis using RFM Model and K-Means Clustering.", (2021), International Journal of Engineering Research & Technology (IJERT), ISSN: 2278-0181, Vol. 10 Issue 03.

Wael Fujo, Samah, Subramanian, Suresh and Ahmad Khder, Moaiad. "Customer Churn Prediction in Telecommunication Industry Using Deep Learning.", (2022), Information Sciences Letters: Vol. 11.
Huifeng Guo, Ruiming Tang, Yunming Ye, Zhenguo Li, Xiuqiang He, "DeepFM: A Factorization-Machine based Neural Network for CTR Prediction.", (2017) Information Retrieval (cs.IR), arXiv:1703.04247 [cs.IR]
Florian Pfisterer, Janek Thomas, Bernd Bischl, Florian, et al. "Regularized target encoding outperforms traditional methods in supervised machine learning with high cardinality features.", Computational Statistics 37, 2671-2692.
Chen, Tianqi, and Carlos Guestrin. "Xgboost: A scalable tree boosting system.", (2016), KDD '16: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Pages 785 - 794.
Georgy Shevlyakov; Kliton Andrea; Lakshminarayan Choudur; Pavel Smirnov; Alexander Ulanov; Natalia Vassilieva. "Robust versions of the Tukey boxplot with their application to detection of outliers,", (2013), IEEE International Conference on Acoustics, Speech and Signal Processing, Vancouver, BC, Canada, 2013, pp. 6506-6510.