【基于Python】 - 人工智能机器学习深度学习数据分析 - 常见问题，常用的套路与操作（持续更新）
20200221；
1.做分類問題的時候，給定你標簽，你想知道每一類標簽的出現頻數，可以使用這個函數：np.bincount()。
如果想分析一下數據樣本是否均衡的時候，可以考慮這種操作，代碼十分簡明。
?
2.
當需要查看數據集中兩個Key對應的數據是否是統一數據轉化而來的時候：
輸入：from sklearn.datasets import load_digits digits=load_digits() digits.keys() n_samples,n_features=digits.data.shape print((n_samples,n_features))print(digits.data.shape) print(digits.images.shape)import numpy as np print(np.all(digits.images.reshape((1797,64))==digits.data))輸出：(1797, 64) (1797, 64) (1797, 8, 8) True在這個數據集中，其實對于每一張圖像image中是8*8的，而data是1*64的就是了。
20200308：?
3.顯示進度條的神器
引入一個包：tqdm（anaconda自帶）
git鏈接：https://github.com/tqdm/tqdm
這個包是用來顯示進度條的，很漂亮，使用很直觀（在循環體里邊加個tqdm），而且基本不影響原程序效率。這樣在寫運行時間很長的程序時，可以用到。
使用方式見下圖：
在循環體內套一個tqdm()，就可以實現每執行一遍循環，進度條就會前進1，十分直觀。
但是有個問題，如果循環里面要進行輸出的話，就有點難受了。
import time from tqdm import tqdm for i in tqdm(range(20)):time.sleep(0.5)print('hello',i)參考鏈接：https://spaces.ac.cn/archives/3902
?
20200403
在讀入圖片進行操作的時候，需要預處理，一般都先預處理到RGB格式，因為有時會給定的原始圖片未經清洗，所以有可能是'P'? mode 或者‘RGBA’ mode，
所以常見套路：
for i in range(100):img = Image.open(train_image_path[i]).convert("RGB")img = img.resize((256,256),Image.ANTIALIAS)X_train[i] = np.array(img)?
參考鏈接：https://blog.csdn.net/qiusuoxiaozi/article/details/79556605
?
20200403
對數據進行處理時，或者將numpy擴充維數時，（比如你要導入1000張圖片），要注意首先要檢查1000張圖片的shape是否一樣。
并且，先用list去append，最后再轉numpy，速度會非常慢，所以最好的辦法有如下兩個：
1. 用numpy的np.concatenate函數
2. 直接提前開好numpy數組，然后直接賦值即可，比如下面這段程序：?
常見套路：
import matplotlib.pyplot as plt from PIL import Image import numpy as np import glob train_image_path = glob.glob('cat1000/*.jpg') X_train = np.zeros((1000,256,256,3))for i in range(100):img = Image.open(train_image_path[i]).convert("RGB")img = img.resize((256,256),Image.ANTIALIAS)X_train[i] = np.array(img)?
參考鏈接：https://blog.csdn.net/qq_31785005/article/details/78460757
20200425
進行數據預處理的時候，要注意數據類型的問題，比如tf.image.resize_images函數，在參數的選擇上，推薦選擇雙線性插值，因為雙三次差值可能會出現取值范圍不在0-255范圍內的情況。
https://blog.csdn.net/u011583927/article/details/103307473
?
20200426
注意使用PCA降維的時候，要先標準化再進行降維！
比如可以直接用sklearn的
from sklearn.preprocessing import StandardScaler
然后StandardScaler().fit(數據集) 就完事了。
20200426
做分類時：
kNN算法在確定分類決策上只依據最鄰近的一個或者幾個樣本的類別來決定待分樣本所屬的類別。kNN算法在類別決策時，只與極少量的相鄰樣本有關。由于kNN算法主要靠周圍有限的鄰近的樣本，而不是靠判別類域的方法來確定所屬類別的，因此對于類域的交叉或重疊較多的待分樣本集來說，kNN方法較其他方法更為適合。
https://www.cnblogs.com/ljhdo/p/10600613.html
20200426
繪圖常用：
plt.xlim、plt.ylim 設置橫縱坐標軸范圍?
plt.xlabel、plt.ylabel 設置坐標軸名稱?
plt.xticks、plt.yticks設置坐標軸刻度
另外也可以使用plt.axis([xmin, xmax, ymin, ymax])確定坐標值的范圍
# 設置刻度字體大小
plt.xticks(fontsize=20)
plt.yticks(fontsize=20)
# 設置坐標標簽字體大小
ax.set_xlabel(..., fontsize=20)
ax.set_ylabel(..., fontsize=20)
?
https://blog.csdn.net/htuhxf/article/details/82986440
https://blog.csdn.net/helunqu2017/article/details/78736415
?
?
對于分類問題常用來做結果分析：
?
混淆矩陣：
n類問題，則生成n*n的矩陣
20200426
zip進行打包的話，輸出一次之后就自動解除打包了，如需第二次使用，還需再zip一次。
?
20200506
用conda安裝包時，可以直接：（假設要安裝cuda和cudnn）
?
20200506
sourse可以省略。
20200512
從某文件夾中讀取所有圖片常用操作：
image_paths=[os.path.join(path, f) for f in os.listdir(path)]或者用glob.glob也是可以的?
文件路徑相關操作：
os.path.split(image_path)[-1].split(".")[-1]?如果im.read()，讀入了一張空圖或者報錯，考慮是不是絕對路徑中出現了中文。或者是斜杠反斜杠問題。
20200514
cv2.resize()函數參數比較容易出錯。
正常來說img.shape = (h , w)
大師resize的時候傳入的參數需要是(w,h)。詳情看下面的例子：
import cv2 from scipy import miscimg = misc.imread('001.jpg') print(img.shape) img2 = cv2.resize(img, (30, 40), interpolation=cv2.INTER_CUBIC) print(img2.shape) img3 = cv2.resize(img, (40, 30), interpolation=cv2.INTER_CUBIC) print(img3.shape)輸出： (250, 250, 3) (40, 30, 3) (30, 40, 3)參考鏈接：https://blog.csdn.net/FortiLZ/article/details/81396566?
20200517
在進行樣本歸一化的時候，要注意訓練集歸一化了，那么測試集也要歸一化，且測試集要用訓練集的均值，方差，最大值最小值進行歸一化。原因很好解釋，因為你在預測的時候，其實是不知道測試集的均值等這些屬性的
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
總結
以上是生活随笔為你收集整理的【基于Python】 - 人工智能机器学习深度学习数据分析 - 常见问题，常用的套路与操作（持续更新）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【PAT - 甲级1006】Sign I
- 下一篇： 理财通资金管家是什么？理财通资金管家都有