當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

【数据挖掘】分类任务简介 ( 分类概念 | 分类和预测 | 分类过程 | 训练集 | 测试集 | 数据预处理 | 有监督学习 )

發(fā)布時間：2025/6/17 编程问答 24 豆豆

文章目錄

- - - I . 分類概念
    - II . 分類 ( 離散值 ) 和預(yù)測 ( 連續(xù)值 )
    - III . 分類過程
    - IV . 分類過程中使用的數(shù)據(jù)集 ( 訓(xùn)練集 | 測試集 | 新數(shù)據(jù) )
    - V . 數(shù)據(jù)預(yù)處理
    - VI . 分類方法評價
    - VII . 分類算法舉例
    - VIII . 有監(jiān)督學(xué)習(xí) 和無監(jiān)督學(xué)習(xí)

I . 分類概念

1 . 數(shù)據(jù)挖掘任務(wù)分類 : 數(shù)據(jù)挖掘任務(wù)分為 模型挖掘和模式挖掘 , 其中 模型挖掘 包含 描述建模和預(yù)測建模 ;

2 . 分類任務(wù)類型 : 分類屬于 模型挖掘 任務(wù) , 任務(wù)類型是 預(yù)測建模 類型 ;

3 . 預(yù)測建模 : 根據(jù) 已知的數(shù)據(jù)特征 , 預(yù)測未知的數(shù)據(jù)特征 ; 如 : 數(shù)據(jù)有 n 個變量 , 已知 n - 1 個變量的值 , 預(yù)測未知的那個變量的值 ;

4 . 預(yù)測建模示例 : 根據(jù)顧客的年齡 , 收入 , 是否是學(xué)生 , 信用等級 , 預(yù)測該顧客是否會購買電腦 ;

II . 分類 ( 離散值 ) 和預(yù)測 ( 連續(xù)值 )

1 . 分類 ( 離散值 ) : 先構(gòu)造出模型 , 然后使用該模型對未知樣本進行 類別判定 ; 類別是固定的幾個類 ;

分類使用場景 : 預(yù)測離散數(shù)據(jù) , 如 : 信用等級評估 , 疾病診斷 ;

2 . 預(yù)測 ( 回歸 | 連續(xù)值 ) : 先構(gòu)造出模型 , 然后使用該模型對未知樣本的 某個值進行估計 ; 這個值是一個數(shù)值 ;

預(yù)測使用場景 : 預(yù)測連續(xù)的數(shù)據(jù) , 如電影票房 , 國家 GDP 等 ;

III . 分類過程

1 . 分類過程 : 分類分為 建立模型階段 和 使用模型階段 ;

2 . 建立模型 ( 學(xué)習(xí) ) : 又叫學(xué)習(xí)階段 , 訓(xùn)練階段 ;

① 訓(xùn)練集 : 學(xué)習(xí)訓(xùn)練階段使用的模型叫訓(xùn)練集 ;

② 模型表示形式 : 分類規(guī)則 , 決策樹 , 數(shù)學(xué)公式等 ;

3 . 使用模型 : 先測試模型 , 測試通過開始使用 ;

① 測試模型 : 測試模型的準確性 , 如果認可該準確性 , 就使用該模型對未知新數(shù)據(jù)進行分類 ;

② 測試集 : 使用模型對測試集數(shù)據(jù)進行分類 , 將分類結(jié)果與真實結(jié)果進行對比 ;

③ 準確率 : 使用模式分類的結(jié)果 , 與測試集真實數(shù)據(jù) , 分類正確的比例是準確率 ;

④ 測試集要求 : 測試集與訓(xùn)練集不相關(guān) ;

IV . 分類過程中使用的數(shù)據(jù)集 ( 訓(xùn)練集 | 測試集 | 新數(shù)據(jù) )

1 . 分類過程中使用的數(shù)據(jù)集 :

① 訓(xùn)練集 : 使用訓(xùn)練集訓(xùn)練模型 ;

② 測試集 : 使用測試機驗證模型的準確性 , 如果準確就使用該模型 , 如果不準確繼續(xù)訓(xùn)練 ;

③ 新數(shù)據(jù) : 使用模型預(yù)測新數(shù)據(jù)的未知字段的分類 ;

④ 相同點 : 三種數(shù)據(jù)集的格式是一樣的 ;

2 . 有監(jiān)督學(xué)習(xí) : 分類屬于有監(jiān)督的學(xué)習(xí) , 有監(jiān)督學(xué)習(xí)必須有訓(xùn)練模型階段和測試模型階段 , 最后才能使用模型 ;

3 . 已知數(shù)據(jù) : 通常訓(xùn)練集與測試集集是一體的 , 本質(zhì)是完全相同的 , 將數(shù)據(jù)隨機分為訓(xùn)練集和測試集 ;

V . 數(shù)據(jù)預(yù)處理

1 . 數(shù)據(jù)清洗 : 預(yù)處理數(shù)據(jù) ;

① 刪除 : 刪除數(shù)據(jù)的噪音 ;

② 修補 : 修補缺失數(shù)據(jù) , 使用常用值 , 平均值 , 統(tǒng)計學(xué)中的最大概率出現(xiàn)的值替代缺失數(shù)據(jù) ;

2 . 相關(guān)分析 : 分類類型的數(shù)據(jù)挖掘任務(wù)中 , 該步驟叫做特征選擇 ;

① 主要工作 : 篩選模型中使用的屬性 ( 特征值 ) , 屏蔽冗余或不相關(guān) 的屬性 ( 特征值 ) ; 如信用等級與人的星座無關(guān) , 此類特征值就可以在模型中進行刪除 ;

② 分類工作 : 數(shù)據(jù)有 $n$ 個屬性 ( 特征 ) , 已知 $n ? 1$ 個特征值 , 預(yù)測未知的那個特征值 ;

③ 模型復(fù)雜程度 : 選擇使用哪些屬性 ( 特征 ) 值進行預(yù)測 , 關(guān)系到模型的復(fù)雜程度 , 模型中使用的特征值個數(shù)越多 , 越復(fù)雜 ;

④ 特征工程 : 這里引入特征工程概念 , 特征處理的工作就是特征工程的核心 ;

3 . 數(shù)據(jù)轉(zhuǎn)換 :

① 概括數(shù)據(jù) : 將連續(xù)值離散化 , 如 100 分滿分 , 低于 60 不及格 , 高于 60 及格 , 這樣就將 0 ~ 100 的數(shù)值分成及格與不及格兩個特征 ;

② 數(shù)據(jù)規(guī)范 : 將數(shù)據(jù)規(guī)范化 , 規(guī)范單位 , 如身高有的使用 cm , 有的使用 m , 有的使用英尺 , 將數(shù)據(jù)單位都設(shè)置成統(tǒng)一單位 ;

VI . 分類方法評價

分類方法評價標準 :

① 準確性 : 保證性能的前提下 , 越準確越好 ;

② 速度 : 構(gòu)造模型的速度 ( 訓(xùn)練和測試時間 ) , 使用模型的速度 ;

③ 容錯性 ( 魯棒性 ) : 能處理數(shù)據(jù)中的噪音 , 和數(shù)據(jù)缺失等情況 ;

④ 伸縮性 : 內(nèi)存中數(shù)據(jù)可以使用 , 磁盤中的數(shù)據(jù)也可以使用 ;

⑤ 交互性 : 模型解釋性好 , 易于理解 ; 如深度學(xué)習(xí)中的神經(jīng)元網(wǎng)絡(luò)不易理解 , 被人稱為煉金術(shù) ;

VII . 分類算法舉例

分類算法示例 :

① 決策樹分類

② 貝葉斯分類

③ 支持向量機

④ 神經(jīng)元網(wǎng)絡(luò)

⑤ K 近鄰分類

VIII . 有監(jiān)督學(xué)習(xí) 和無監(jiān)督學(xué)習(xí)

1 . 有監(jiān)督學(xué)習(xí) : 明確地分為兩個階段 ; 訓(xùn)練模型階段 , 使用訓(xùn)練集數(shù)據(jù) ; 使用模型階段 , 預(yù)測新數(shù)據(jù)某個特征 ;

有監(jiān)督學(xué)習(xí)舉例 : 分類過程是典型的有監(jiān)督學(xué)習(xí)過程 ;

2 . 無監(jiān)督學(xué)習(xí) : 沒有訓(xùn)練階段和預(yù)測階段的明顯劃分 ;

無監(jiān)督學(xué)習(xí)舉例 : 聚類分析 ;

3 . 半監(jiān)督學(xué)習(xí) : 介于有監(jiān)督學(xué)習(xí) 和無監(jiān)督學(xué)習(xí)之間 ;

《新程序員》：云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。

上一篇：【Kotlin】Kotlin 中使用 B
下一篇：【JetPack】数据绑定 DataBi