UA MATH574M 統計學習II 二元分類例子與高維問題

• 數值例子
• 高維數據的二分類問題
• • Independence Rule

數值例子

用模擬數值做一個二分類的例子。

library(MASS)## generate training sample set.seed(2000) Sigma <- matrix(c(1,0,0,1),2,2) class1 <- mvrnorm(n=100, c(2,1), Sigma) class2 <- mvrnorm(n=100, c(1,2), Sigma)## draw scatterplot to show the two class plot(class1[,1],class1[,2],col="green",pch=0,xlab = "X1",ylab = "X2") points(class2[,1],class2[,2],col="red",pch=4)## generate test sample set.seed(2014) class1_test <- mvrnorm(n=500, c(2,1), Sigma) class2_test <- mvrnorm(n=500, c(1,2), Sigma)

兩組隨機樣本均服從二元Gauss分布，具有相同的協方差矩陣，但均值不同。先把Bayes分類器的邊界算出來。損失函數為
$$L=C(1,0)I(Y=1,f(X)=0)+C(0,1)I(Y=0,f(X)=1)$$
所以風險函數為
$$\begin{gathered} R=E_{(X,Y)}L=E_X{E}_{(Y|X)}L \\ =E_X[C(1,0)P(Y=1│X)I(f(X)=0)+C(0,1)P(Y=0│X)I(f(X)=1)] \end{gathered}$$
貝葉斯規則要求對于給定的$X=x$，最小化$E_{(Y|X)}L$，可以得
$$\begin{gathered} f^{?}(x)=I(C(1,0)P(Y=1│X=x)>C(0,1)P(Y=0│X=x)) \\ =I\left(\frac{P(Y=1│X=x)}{P(Y=0│X=x)}>\frac{C(0,1)}{C(1,0)}\right) \end{gathered}$$
Bayes分類器的邊界為
$$\frac{P(Y=1│X=x)}{P(Y=0│X=x)}=\frac{C(0,1)}{C(1,0)}$$
假設equal cost，在已知這兩類的分布時可以計算
$$\begin{gathered} \frac{P(Y=1│X=x)}{P(Y=0│X=x)}=\frac{g_1(x)}{g_0(x)}=\frac{exp?(?1/2[(x_1?2{)}^2+(x_2?1{)}^2])}{exp?(?1/2[(x_1?1{)}^2+(x_2?2{)}^2])}=1 \\ ?x_1=x_2 \end{gathered}$$
也就是說過原點的四十五度線就是貝葉斯分類器的邊界，

plot(class1[,1],class1[,2],col="green",pch=0,xlab = "X1",ylab = "X2") points(class2[,1],class2[,2],col="red",pch=4) abline(a=0,b=1) ## attach Bayes decision boundary that x1 = x2

按貝葉斯規則，線下方的應該被劃分為綠點，線上方的應該被劃分為紅點，因此線下方的紅點和線上方的綠點數目除以訓練集樣本數就是0-1損失下的訓練誤差。在測試集中，線下方的紅點和線上方的綠點數目除以訓練集樣本數就是0-1損失下的測試誤差。

# plot test sample plot(class1_test[,1],class1_test[,2],col="green",pch=0,xlab = "X1",ylab = "X2") points(class2_test[,1],class2_test[,2],col="red",pch=4) abline(a=0,b=1) ## attach Bayes decision boundary that x1 = x2

現在再考慮上線性分類器

## label green as 0 and red as +1 X_train = matrix(rep(0,400),200,2) Y_train = rep(0,200) Y_train[101:200] = rep(1,100) X_train[1:100,] = class1 X_train[101:200,] = class2 X_test = matrix(rep(0,2000),1000,2) Y_test = rep(0,1000) Y_test[501:1000] = rep(1,500) X_test[1:500,] = class1_test X_test[501:1000,] = class2_test ## fitted the boundary line pr6.lm <- lm(Y_train~X_train[,1]+X_train[,2]) summary(pr6.lm) plot(class1[,1],class1[,2],col="green",pch=0,xlab = "X1",ylab = "X2") points(class2[,1],class2[,2],col="red",pch=4) abline(a=0,b=1) ## attach Bayes decision boundary that x1 = x2 abline(a=(0.44492-0.5)/0.18387,b=0.15675/0.18387,col="blue") ## attach linear boundary

將綠色點標記為0，紅色點標記為1（記為LM1），下面那根藍色的線就是線性分類器的邊界，顯然線性分類器對紅色的點是比較友好的。然而如果將綠色點標記為1，紅色點標記為0（記為LM2）：

得到的線性分類器的邊界會與上一種情況平行，但截距更大，對兩種點相對更公平一點。但由此可以看出線性分類器最大的問題在于線性回歸模型會把標記值當成數值變量而不是類型變量，即使只是給兩個類別交換一下label，最后的結果都會有很大不同，但LDA、Logistics回歸是把標記值處理成類型變量的，因此結果不會受標記值影響。下面這段代碼計算LDA和Logistics回歸的訓練誤差與測試誤差

library(MASS)## generate training sample set.seed(2000) Sigma <- matrix(c(1,0,0,1),2,2) class1 <- mvrnorm(n=100, c(2,1), Sigma) class2 <- mvrnorm(n=100, c(1,2), Sigma)## generate test sample set.seed(2014) class1_test <- mvrnorm(n=500, c(2,1), Sigma) class2_test <- mvrnorm(n=500, c(1,2), Sigma)## label green as 0 and red as +1 train_data = matrix(rep(0,400),200,2) train_label = rep(0,200) train_label[101:200] = rep(1,100) train_data[1:100,] = class1 train_data[101:200,] = class2test_data = matrix(rep(0,2000),1000,2) test_label = rep(0,1000) test_label[501:1000] = rep(1,500) test_data[1:500,] = class1_test test_data[501:1000,] = class2_test## fit and evaluate LDA pr04.lda <- lda(train_data,train_label) fitted.lda <- predict(pr04.lda,train_data) Train_results <- table(train_label,fitted.lda$class) Train_error_lda <- (Train_results[1,2]+Train_results[2,1])/200 predict.lda <- predict(pr04.lda,test_data) Test_results <- table(test_label,predict.lda$class) Test_error_lda <- (Test_results[1,2]+Test_results[2,1])/1000## fit and evaluate Logistics Regression pr04.logit <- glm(train_label~train_data,family = binomial(link="logit")) sampledata <- data.frame(train_data1=train_data[1:200,1],train_data2=train_data[1:200,2]) fitted.logit <- predict(pr04.logit,sampledata) train_error_logit <- mean(xor(fitted.logit>0,train_label)) predict.logit <- pr04.logit$coefficients[1]+pr04.logit$coefficients[2]*test_data[,1]+pr04.logit$coefficients[3]*test_data[,2] test_error_logit <- mean(xor(predict.logit>0,test_label))

以上模型的訓練誤差與測試誤差為

模型BayesLM1LM2LDALogit

訓練誤差	0.215	0.265	0.220	0.220	0.215
測試誤差	0.239	0.271	0.235	0.235	0.236

因為是隨機生成的兩組正態的數據，所以這些模型表現都非常接近。

高維數據的二分類問題

一般一個樣本對應的feature特別多，甚至超過了樣本數，這類數據就是高維數據。高維數據最大的問題在于相同樣本規模，高維數據總是比低維數據更稀疏，除了高維映射本身的復雜性外，數據的稀疏性是造成高維問題難處理的主要原因。可以用一個簡單的例子說明為什么高維情況下數據會更稀疏。
假設從一個$p$維的球心在原點的單位球中隨機選取$n$個點，記$R_i$表示第$i$個點到球心的距離。如果$x\in {\mathbb{R}}^p$表示點坐標，則
$$f(x_1,?,x_p)=\frac{\Gamma (1+\frac{p}{2})}{{\pi }^{p/2}}$$
所以
$$P(\sqrt{x_1^2+?+x_p^2}\le r)={\int }_{\sqrt{x_1^2+?+x_p^2}\le r}f(x_1,?,x_p)d{x}_1?d{x}_p$$
$$F_R(r)=\frac{\Gamma (1+\frac{p}{2})}{{\pi }^{p/2}}{\int }_{\sqrt{x_1^2+?+x_p^2}\le r}d{x}_1?d{x}_p=r^p,r\in [0,1]$$
$$P(R_{(1)}\le r)=1?P(R_1>r,?,R_n>r)=1?(1?F_R(r){)}^n$$
$$F_{R_{(1)}}=1?(1?r^p{)}^n,r\in [0,1]$$
這個式子是離原點最近的點離原點的距離的分布，可以計算一下它到原點的中位數是
$$1?(1?r^p{)}^n=0.5?r={\left[1?(\frac{1}{2}{)}^{\frac{1}{n}}\right]}^{\frac{1}{p}}$$
顯然這個值是與$p$成正比的，因為這個是離原點最近的點到原點距離的中位數，所以顯然這個例子說明樣本數目一樣的時候維數越大數據會越稀疏。
高維數據還會帶來計算上的困難，參數的數目是隨維數指數增加的，數據維數越高，模型待估計的參數量就越多。比如在LDA模型中，
$$\ln \frac{P(Y=1|X=x)}{P(Y=0|X=x)}=x^T\beta$$
其中
$$\begin{gathered} {\beta }_0=\ln \frac{{\pi }_1}{{\pi }_0}?\frac{1}{2}({\mu }_0+{\mu }_1{)}^T{\Sigma }^{?1}({\mu }_1?{\mu }_0) \\ {\beta }_1={\Sigma }^{?1}({\mu }_1?{\mu }_0) \\ \beta =[{\beta }_0,{\beta }_1{]}^T \end{gathered}$$
假設樣本數為$n$，特征維數為$d$，當處理的是高維數據時，$d>n$，$\Sigma$不是滿秩的矩陣，因此${\Sigma }^{?1}$不具有唯一性，這個LDA模型無法正常估計。下面這個方法是對LDA的一個簡單改進，使其能適應高維問題。

Independence Rule

一個比較樸素的想法是把協方差矩陣換成可逆的矩陣，最簡單的操作就是假設不同特征是不相關的，也就是用$\hat{D}=diag(\hat{\Sigma })$代替協方差矩陣。另外給均值的每個元素加上一個調整參數。
$${\hat{\mu }}_{kj}^{IR}=(1?r_{jn})+{\hat{\mu }}_{kj},k=0,1;j=1,?,d$$
因此LDA的參數估計為
$$\begin{gathered} {\beta }_0=\ln \frac{{\pi }_1}{{\pi }_0}?\frac{1}{2}({\hat{\mu }}_0^{IR}+{\hat{\mu }}_1^{IR}{)}^T{\hat{D}}^{?1}({\hat{\mu }}_1^{IR}?{\hat{\mu }}_0^{IR}) \\ {\beta }_1={\hat{D}}^{?1}({\hat{\mu }}_1^{IR}?{\hat{\mu }}_0^{IR}) \\ \beta =[{\beta }_0,{\beta }_1{]}^T \end{gathered}$$
Bickel and Levina (2004)提出了IR，他們認為這個模型比要考慮特征相關性的模型具有更強的泛化能力。

總結

以上是生活随笔為你收集整理的UA MATH574M 统计学习II 二元分类例子与高维问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。