python语言数据挖掘python语言数据_Python语言数据挖掘01-环境搭建
本文主要向大家介紹了Python語言數(shù)據(jù)挖掘01-環(huán)境搭建,通過具體的內(nèi)容向大家展示,希望對大家學習Python語言有所幫助。
Python是數(shù)據(jù)挖掘的利器,這里自己邊學習邊記錄下過程。以下操作在Windows或Mac系統(tǒng)下均可進行,Linux下暫未測試。
1、PyCharm安裝
Python開發(fā)的IDE有很多,這里比較推薦PyCharm。PyCharm有專業(yè)版和社區(qū)版,兩者均可。安裝后新建test.py測試運行
print?'Hello?Python!'
2、MySQL安裝
官網(wǎng)下載系統(tǒng)對應的版本安裝,安裝完成后在命令提示行輸入"mysql",如果返回歡迎信息,則成功運行。如果命令不被識別,在Windows系統(tǒng)下需要把MySQL路徑加入系統(tǒng)環(huán)境變量。Mac也一樣,或者輸入?/usr/local/mysql/bin/mysql?-uroot?-p?然后輸入密碼,進入MySQL。
測試是否安裝成功:
show?databases;
運行結(jié)果:
+--------------------+
|?Database???????????|
+--------------------+
|?information_schema?|
|?mysql??????????????|
|?performance_schema?|
|?sys????????????????|
+--------------------+
4?rows?in?set?(0.01?sec)
3、MySQLdb安裝
為了在Python中操作MySQL,需要安裝MySQLdb。Windows系統(tǒng)下直接下載安裝包,或者在PyCharm中添加即可。Mac系統(tǒng)在PyCharm中添加可能會提示錯誤,這時可以在終端中安裝:
sudo?-H?pip?install?MySQL-python
如果提示EnvironmentError:?mysql_config?not?found,則運行一下以下命令
export?PATH=$PATH:/usr/local/mysql/bin
安裝完成后,在PyCharm中測試是否運行正常:
import?MySQLdb
try:
conn=MySQLdb.connect(host='localhost',user='root',passwd='mypassword',db='mysql')
cur=conn.cursor()
cur.execute('select?Host?from?user')
print?cur.fetchall()
cur.close()
conn.close()
except?MySQLdb.Error,e:
print?"Mysql?Error?%d:?%s"?%?(e.args[0],?e.args[1])
運行結(jié)果:
(('localhost',),?('localhost',))
這是一個Tuple類型的數(shù)據(jù)
4、常用Python庫
urllib2??#自帶網(wǎng)絡請求庫
re??#正則表達式
requests??#第三方網(wǎng)絡請求庫,需手動添加
BeautifulSoup??#網(wǎng)頁解析庫,需手動添加
5、初步試驗
功能:從智聯(lián)招聘網(wǎng)站上抓取部分數(shù)據(jù)信息
#encoding=utf-8
import?requests
from?bs4?import?BeautifulSoup
headers={'User-Agent':'Mozilla/5.0?(Macintosh;?Intel?Mac?OS?X?10_12_0)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/50.0.2661.75?Safari/537.36?QQBrowser/4.1.4132.400'}
payload={'jl':'深圳','kw':'python','isadv':'0','sg':'0dfd2337bd8a43168ee25385938feda9','p':'1'}
r=requests.get('http://sou.zhaopin.com/jobs/searchresult.ashx',params=payload,headers=headers)
soup=BeautifulSoup(r.text)
list1=soup.find_all('table')
for?li?in?list1:
jobname=li.find('td',class_='gsmc')
jobsalary=li.find('td',class_='zwyx')
joblocation=li.find('td',class_='gzdd')
if?jobname:
print?jobname.a.string
if?jobsalary:
print?jobsalary.string
if?joblocation:
print?joblocation.string
運行結(jié)果:
創(chuàng)游時空網(wǎng)絡科技(深圳)有限公司
8001-10000
深圳
深圳市程序猿教育科技有限公司
4001-6000
深圳?-?龍華新區(qū)
深圳市友聯(lián)創(chuàng)科技有限公司
6001-8000
深圳?-?龍華新區(qū)
本文由職坐標整理并發(fā)布,希望對同學們學習Python有所幫助,更多內(nèi)容請關注職坐標編程語言Python頻道!
總結(jié)
以上是生活随笔為你收集整理的python语言数据挖掘python语言数据_Python语言数据挖掘01-环境搭建的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 在 Windows 上部署 gitbli
- 下一篇: python项目之站长素材爬取