?

目錄

1、發(fā)現(xiàn)與明確問題

2、人工智能項目的開發(fā)周期

3、數(shù)據(jù)準(zhǔn)備

4、特征工程

4.1特征工程是什么

?4.2 特征工程的基本方法

---

1、發(fā)現(xiàn)與明確問題

? ? ? ? 技術(shù)角度：需要思考AI系統(tǒng)性能能達到預(yù)期嗎？需要多少數(shù)據(jù)？能獲取到足夠數(shù)據(jù)嗎？需要多長時間？

? ? ? ? 業(yè)務(wù)角度：要解決什么問題？商業(yè)目的是什么？

? ? ? ? 對數(shù)據(jù)進行分析，一般通過使用適當(dāng)?shù)慕y(tǒng)計、機器學(xué)習(xí)、深度學(xué)習(xí)等方法、對收集的大量數(shù)據(jù)進行計算，匯總與整理，以求最大化的開發(fā)數(shù)據(jù)價值，發(fā)揮數(shù)據(jù)作用。

2、人工智能項目的開發(fā)周期

3、數(shù)據(jù)準(zhǔn)備

????????數(shù)據(jù)準(zhǔn)備的流程：數(shù)據(jù)采集-->數(shù)據(jù)清洗--->數(shù)據(jù)標(biāo)注--->數(shù)據(jù)驗收---->數(shù)據(jù)交付

數(shù)據(jù)采集方法：

? ? ? ? ?觀測數(shù)據(jù)、人工收集、調(diào)查問卷、線上數(shù)據(jù)庫

數(shù)據(jù)清洗：

? ? ? ? 有缺失的數(shù)據(jù)、有重復(fù)的數(shù)據(jù)、有內(nèi)容錯誤的數(shù)據(jù)（邏輯/格式...）、不需要的數(shù)據(jù)

數(shù)據(jù)標(biāo)注：

????????數(shù)據(jù)標(biāo)注即通過分類、畫框、標(biāo)注、注釋等，對圖片、語音、文本等數(shù)據(jù)進行處理，標(biāo)記對象的特征，以作為機器學(xué)習(xí)標(biāo)簽的過程。

數(shù)據(jù)劃分：

? ? ? ? 數(shù)據(jù)標(biāo)注后需要劃分為訓(xùn)練集與測試集。拆分比例根據(jù)具體任務(wù)決定，通常訓(xùn)練集的比重較大，一個可能的劃分比例是：訓(xùn)練集數(shù)據(jù)數(shù)量：測試集數(shù)據(jù)數(shù)量=8：2

? ? ? ? 訓(xùn)練集：用于完成模型訓(xùn)練任務(wù)

? ? ? ? 測試集：用于對模型的泛化效果進行檢驗。

數(shù)據(jù)驗收：

? ? ? ? 合法性：數(shù)據(jù)符合定義的業(yè)務(wù)規(guī)則或約束的程度

? ? ? ? 準(zhǔn)確性：數(shù)據(jù)接近真實值的程度

? ? ? ? 完整性：所有必須數(shù)據(jù)的已知程度

? ? ? ? 一致性：數(shù)據(jù)在同一數(shù)據(jù)集內(nèi)或跨多個數(shù)據(jù)集的一致程度??

數(shù)據(jù)管理：

????????數(shù)據(jù)管理是利用計算機硬件和軟件技術(shù)對數(shù)據(jù)進行有效的收集、存儲、處理和應(yīng)用的過程。其目的在于充分有效的發(fā)揮數(shù)據(jù)的作用，實現(xiàn)數(shù)據(jù)有效管理的關(guān)鍵是數(shù)據(jù)組織。

與數(shù)據(jù)相關(guān)的問題：

? ? ? ? 數(shù)據(jù)不足、數(shù)據(jù)隱私泄露、分類質(zhì)量低、數(shù)據(jù)質(zhì)量低

4、特征工程

4.1特征工程是什么

? ? ? ? 特征工程是指從原始數(shù)據(jù)轉(zhuǎn)換為特征向量的過程。特征工程是機器學(xué)習(xí)中最重要的起始步驟，會直接影響機器學(xué)習(xí)的效果，通常需要大量的時間來完成。數(shù)據(jù)和特征決定了機器學(xué)習(xí)的上限，而模型和算法只是逼近這個上限。

????????

?4.2 特征工程的基本方法

?特征選擇：

? ? ? ? 從給定的特征集合中選出相關(guān)特征子集的過程稱為特征選擇。去除無關(guān)特征可以降低學(xué)習(xí)任務(wù)的難度，也同樣讓模型變得簡單，降低計算復(fù)雜度。拋棄這部分信息一定程度上會降低模型的性能，但這也是計算復(fù)雜度和模型性能之間的取舍。

特征提取：

????????特征提取( feature extraction )一般是在特征選擇之前，它提取的對象是原始數(shù)據(jù)，目的就是自動地構(gòu)建新的特征，將原始數(shù)據(jù)轉(zhuǎn)換為一組具有明顯物理意義(比如Gabor、幾何特征、紋理特征）或者統(tǒng)計意義的特征。

?特征構(gòu)建：

????????特征構(gòu)建( feature construction）指從原始數(shù)據(jù)中人工的構(gòu)建新的特征。需要花時間去觀察原始數(shù)據(jù)，思考問題的潛在形式和數(shù)據(jù)結(jié)構(gòu)，對數(shù)據(jù)敏感性和機器學(xué)習(xí)實戰(zhàn)經(jīng)驗?zāi)軒椭卣鳂?gòu)建。

?

????????

????????

????????

????????
?

總結(jié)

以上是生活随笔為你收集整理的人工智能项目开发规划与准备的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。