文章目錄

• 七、Python簡單爬蟲
• • 1.重要知識與技能
  • 2.使用re表達式抓取網頁文件
  • 3.使用requests抓取網頁
  • 4.使用re正則表達式提取數據
  • 5.使用xPath工具提取數據
  • 6.使用BeautifulSoup工具
• 八、Python經典算法
• • 0.Python畫圖
  • 1.回歸-線性回歸
  • 2.分類-k最近鄰
  • 3.聚類
  • • 3.1.Kmeans(k均值聚類算法)
    • 3.2.DBSCAN(基于密度的聚類算法)
    • 3.3.層次聚類算法
  • 4.降維
  • • 4.1.PCA算法
    • 4.2.FA算法
  • 5.學習（神經網絡）
  • • 5.1.BP神經網絡
  • 6.推薦算法
  • 7.時間序列（視頻學習）
• 九、數據庫與Python交互
• • 1.連接MYSQL數據庫
  • • 1.1.創建表
    • 1.2.插入數據
    • 1.3.查詢數據
    • 1.4.更新數據
    • 1.5.刪除數據
    • 1.6.執行事務
    • 1.7.讀取數據庫表數據并寫入excel
    • 1.8.讀取excel數據并寫入數據庫表
  • 2.Python人機交互（Tkinter圖形界面開發）
  • • 2.1.創建root窗口
    • 2.2.控件布局
    • 2.3.實現commend
    • 2.4.簡單測試案例

七、Python簡單爬蟲

1.重要知識與技能

重要知識與技能:

使用HTML與CSS制作網頁文件

使用re正則表達式抓取網頁文件

使用requests獲取網站內容

使用re正則表達式提取數據

使用xPath工具提取數據

使用BeautifulSoup工具

2.使用re表達式抓取網頁文件

import re myFile = open('Index.html','r',encoding='UTF-8') myContent = myFile.read() myFile.close() #myPatten = "<li>(.*)</li>" myPatten2 = "([a-zA-Z0-9_\.-]+@[a-zA-Z0-9_-]+(?:\.[a-zA-Z0-9_-]+)+)" mylist = re.findall(myPatten2,myContent) print(mylist)

3.使用requests抓取網頁

import requests myURL = 'https://www.3dmgame.com' myContent = requests.get(myURL).content.decode('UTF-8')

4.使用re正則表達式提取數據

def Get3DMNews_WithRE():'''得到3DM網站的新聞內容:return: 獲取的新聞內容'''import requestsimport remyURL = 'https://www.3dmgame.com'myContent = requests.get(myURL).content.decode('UTF-8')myPartten = '<a href="(.*)" target="_blank" >(.*)</a>\n <span>(.*)</span>'myList = re.findall(myPartten,myContent)for item in myList :myNews = {}myNews['title'] = item[0]myNews['herf'] = item[1]myNews['time'] = item[2]print(myNews)passpass

5.使用xPath工具提取數據

def Get3DMNews_WithXPATH():'''得到3DM網站的新聞內容:return: 獲取的新聞內容'''import requestsfrom lxml import htmlmyURL = 'https://www.3dmgame.com'myContent = requests.get(myURL).content.decode('UTF-8')etree = html.etreeeTreeHtml = etree.HTML(myContent)myList = eTreeHtml.xpath("//li")for item in myList :myNews = {}myNews['title'] = item.xpath('./a')[0].textmyNews['herf'] = item.xpath('./a/@href')[0]myNews['time'] = item.xpath('./span')[0].textprint(myNews)passpass

6.使用BeautifulSoup工具

def Get3DMNews_WithBeautifulSoup():'''得到3DM網站的新聞內容:return: 獲取的新聞內容'''import requestsfrom bs4 import BeautifulSoupmyURL = 'https://www.3dmgame.com'myContent = requests.get(myURL).content.decode('UTF-8')bsHtml = BeautifulSoup(myContent,'html5lib')myList = bsHtml.find_all('div')[10].find_all('div')[8].find_all('div')[91].find_all('li')for item in myList :myNews = {}myNews['title'] = item.find('a').get_text()myNews['herf'] = item.find('a').get('href')myNews['time'] = item.find('span').get_text()print(myNews)passpass

八、Python經典算法

0.Python畫圖

Python畫圖

1.回歸-線性回歸

回歸-課程回顧
目的：找一條線，盡可能地擬合數據點，生成線性回歸模型，并進行預測
解決什么樣的問題：要完成的任務是預測一個連續值的話，那這個任務就是回歸。是離散值的話就是分類
擬合（Fitting）：就是說這個曲線能不能很好的描述某些樣本，并且有比較好的泛化能力。
過擬合（Overfitting）：就是太過貼近于訓練數據的特征了，在訓練集上表現非常優秀，近乎完美的預測/區分了所有的數據，但是在新的測試集上卻表現平平，不具泛化性，拿到新樣本后沒有辦法去準確的判斷。
欠擬合（UnderFitting）：測試樣本的特性沒有學到，或者是模型過于簡單無法擬合或區分樣本。
過擬合和欠擬合的形象解釋

import matplotlib.pyplot as plt import numpy as np t = np.arange(1,10,1) y = 0.9 * t + np.sin(t) # plt.plot(t,y,"o") # plt.show() model = np.polyfit(t,y,deg = 3)#生成三階模型 t2 = np.arange(-2,12,0.5) y2predict = np.polyval(model,t2) plt.plot(t,y,"o",t2,y2predict,"x") plt.show()

2.分類-k最近鄰

分類-課程回顧
目的：根據已知樣本進行分類學習，生成模型，并對測試樣本進行預測
解決什么樣的問題：了解單個樣本信息特征以及其標簽值，根據其生成模型，并對測試樣本進行預測

#分類算法 #k最近鄰：近朱者赤近墨者黑原理 import os import pandas as pd from sklearn import neighbors thisFilePath = os.path.abspath('.') os.chdir(thisFilePath) # print(os.getcwd()) df = pd.read_csv('ScoreData.csv') # print(df.head())train_x = df.iloc[0:8,2:4] # print(train_x.head()) train_y= df.iloc[0:8,4] # print(train_y.head())model = neighbors.KNeighborsClassifier() model.fit(train_x,train_y) test_x = df.iloc[8:11,2:4] test_y= df.iloc[8:11,4].valuestest_p = model.predict(test_x) print(test_p) print(test_y)print(model.score(test_x, test_y))

3.聚類

聚類-課程回顧
目的：根據已知樣本進行分類學習，生成模型，并對測試樣本進行預測
解決什么樣的問題：不了解單個樣本信息特征以及其標簽值，根據其生成模型，并對測試樣本進行預測

3.1.Kmeans(k均值聚類算法)

(k-means clustering algorithm)

import numpy as np train_x2 = np.array(train_x[['yuwen','shuxue']]) print(train_x2) from sklearn.cluster import KMeans model2 = KMeans(n_clusters=3) model2 = model2.fit(train_x2) clusterResult = pd.DataFrame(model2.labels_,index=train_x.index,columns=['clusterResult']) print(clusterResult.head())

3.2.DBSCAN(基于密度的聚類算法)

(Density-Based Spatial Clustering of Applications with Noise)

3.3.層次聚類算法

一篇
二篇
三篇

4.降維

降維-課程回顧
目的：某種映射方法，將原高維空間中的數據點映射到低維度的空間中
解決什么樣的問題：通過映射將數據降維后進行分類，案例征友考量，案例文科指數，理科指數(可以使用因子分析得到與原數據相關系數)

4.1.PCA算法

4.2.FA算法

5.學習（神經網絡）

學習-課程回顧
目的：某種映射方法，將原高維空間中的數據點映射到低維度的空間中
解決什么樣的問題：案例圖像識別

5.1.BP神經網絡

6.推薦算法

推薦-課程回顧
目的：利用用戶的一些行為，通過一些數學算法，推測出用戶可能喜歡的東西
解決什么樣的問題：案例推薦

7.時間序列（視頻學習）

時間序列-課程回顧
目的：根據已有的歷史數據對未來進行預測
解決什么樣的問題：案例股票


ADF檢驗

差分


ADF檢驗


反差分

引用自 https://www.runoob.com/python3/python3-mysql.html

九、數據庫與Python交互

1.連接MYSQL數據庫

1.1.創建表

import pymysql # 打開數據庫連接 db = pymysql.connect("數據庫IP地址","用戶名","密碼","數據庫" )# 使用 cursor() 方法創建一個游標對象 cursor cursor = db.cursor()# 使用 execute() 方法執行 SQL，如果表存在則刪除 cursor.execute("DROP TABLE IF EXISTS EMPLOYEE")# 使用預處理語句創建表 sql = """CREATE TABLE EMPLOYEE (FIRST_NAME CHAR(20) NOT NULL,LAST_NAME CHAR(20),AGE INT, SEX CHAR(1),INCOME FLOAT )"""cursor.execute(sql)# 關閉數據庫連接 db.close()

1.2.插入數據

import pymysql# 打開數據庫連接 db = pymysql.connect("數據庫IP地址","用戶名","密碼","數據庫" )# 使用cursor()方法獲取操作游標 cursor = db.cursor()# SQL 插入語句 sql = """INSERT INTO EMPLOYEE(FIRST_NAME,LAST_NAME, AGE, SEX, INCOME)VALUES ('Mac', 'Mohan', 20, 'M', 2000)""" # SQL 插入語句2 sql2 = "INSERT INTO EMPLOYEE(FIRST_NAME, \LAST_NAME, AGE, SEX, INCOME) \VALUES ('%s', '%s', %s, '%s', %s)" % \('Mac', 'Mohan', 20, 'M', 2000) try:# 執行sql語句cursor.execute(sql)# 提交到數據庫執行db.commit() except:# 如果發生錯誤則回滾db.rollback()# 關閉數據庫連接 db.close()

1.3.查詢數據

import pymysql# 打開數據庫連接 db = pymysql.connect("數據庫IP地址","用戶名","密碼","數據庫" )# 使用cursor()方法獲取操作游標 cursor = db.cursor()# SQL 查詢語句 sql = "SELECT * FROM EMPLOYEE \WHERE INCOME > %s" % (1000) try:# 執行SQL語句cursor.execute(sql)# 獲取所有記錄列表results = cursor.fetchall()for row in results:fname = row[0]lname = row[1]age = row[2]sex = row[3]income = row[4]# 打印結果print ("fname=%s,lname=%s,age=%s,sex=%s,income=%s" % \(fname, lname, age, sex, income )) except:print ("Error: unable to fetch data")# 關閉數據庫連接 db.close()

1.4.更新數據

import pymysql# 打開數據庫連接 db = pymysql.connect("數據庫IP地址","用戶名","密碼","數據庫" )# 使用cursor()方法獲取操作游標 cursor = db.cursor()# SQL 更新語句 sql = "UPDATE EMPLOYEE SET AGE = AGE + 1 WHERE SEX = '%c'" % ('M') try:# 執行SQL語句cursor.execute(sql)# 提交到數據庫執行db.commit() except:# 發生錯誤時回滾db.rollback()# 關閉數據庫連接 db.close()

1.5.刪除數據

import pymysql# 打開數據庫連接 db = pymysql.connect("數據庫IP地址","用戶名","密碼","數據庫" )# 使用cursor()方法獲取操作游標 cursor = db.cursor()# SQL 刪除語句 sql = "DELETE FROM EMPLOYEE WHERE AGE > %s" % (20) try:# 執行SQL語句cursor.execute(sql)# 提交修改db.commit() except:# 發生錯誤時回滾db.rollback()# 關閉連接 db.close()

1.6.執行事務

# SQL刪除記錄語句 sql = "DELETE FROM EMPLOYEE WHERE AGE > %s" % (20) try:# 執行SQL語句cursor.execute(sql)# 向數據庫提交db.commit() except:# 發生錯誤時回滾db.rollback()

1.7.讀取數據庫表數據并寫入excel

import pymysql,xlwtdef export_excel(table_name):conn = pymysql.connect("數據庫IP地址","用戶名","密碼","數據庫" )cur = conn.cursor()sql = 'select * from %s;' %table_name#讀取數據cur.execute(sql)fileds = [filed[0] for filed in cur.description]#所有數據all_date = cur.fetchall() for result in all_date:print(result)#寫excelbook = xlwt.Workbook() #創建一個booksheet = book.add_sheet('result') #創建一個sheet表for col,filed in enumerate(fileds):sheet.write(0,col,filed)#從第一行開始寫row = 1for data in all_date:for col,filed in enumerate(data):sheet.write(row,col,filed)row += 1book.save('%s.xls' %table_name)passexport_excel('stocks')

1.8.讀取excel數據并寫入數據庫表

import pymysql import xlrd conn = pymysql.connect("數據庫IP地址","用戶名","密碼","數據庫" ) cursor = conn .cursor()#讀取excel數據寫入數據庫 book = xlrd.open_workbook("students.xls") sheet = book.sheet_by_name('Sheet1') query = 'insert into student_tbl (name, sex, minzu, danwei_zhiwu, phone_number, home_number) values (%s, %s, %s, %s, %s, %s)' for r in range(1, sheet.nrows):name = sheet.cell(r,0).valuesex = sheet.cell(r,1).valueminzu = sheet.cell(r,2).valuedanwei_zhiwu = sheet.cell(r,3).valuephone_number = sheet.cell(r,4).valuehome_number = sheet.cell(r,5).valuevalues = (name, sex, minzu, danwei_zhiwu, phone_number, home_number)# 執行sql語句# 往SQL添加一條數據cursor.execute(query , values) print(values) cursor.close() db.commit() db.close()

2.Python人機交互（Tkinter圖形界面開發）

2.1.創建root窗口

#導入Tkinter包全部內容 from tkinter import * #Tkinter根窗口實例化 root = Tk() #設置窗口標題 root.title("my_Title")

2.2.控件布局

#設置label控件 label1 = Label(root,text = 'Number:') label1.grid(row = 0, column = 0) #設置text控件 text1 = Text(root,width = 30 , height = 1) text1.grid(row = 1, column = 0)

2.3.實現commend

#設置調用函數 def myCalculate():a = int(text1.get("1.0",END))#從頭開始取到結尾sum = a * 3text2.delete('1.0',END)text2.insert(INSERT,sum)pass #設置Button button = Button(root,text="click sum",command = myCalculate) button.grid(row = 4, column = 0)

2.4.簡單測試案例

#導入Tkinter包全部內容 from tkinter import * #Tkinter根窗口實例化 root = Tk() #設置窗口標題 root.title("my_Title") #設置label控件 label1 = Label(root,text = 'Number:') label1.grid(row = 0, column = 0) #設置text控件 text1 = Text(root,width = 30 , height = 1) text1.grid(row = 1, column = 0) #設置label控件 label2 = Label(root,text = 'Sum:') label2.grid(row = 2, column = 0) #設置text控件 text2 = Text(root,width = 30 , height = 1) text2.grid(row = 3, column = 0) #設置調用函數 def myCalculate():a = int(text1.get("1.0",END))#從頭開始取到結尾sum = a * 3text2.delete('1.0',END)text2.insert(INSERT,sum)pass #設置Button button = Button(root,text="click sum",command = myCalculate) button.grid(row = 4, column = 0)mainloop()

總結

以上是生活随笔為你收集整理的【Python】学习笔记总结（第二阶段（7-9）——汇总篇）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。