html获取text值_Python小程序2获取href的值
生活随笔
收集整理的這篇文章主要介紹了
html获取text值_Python小程序2获取href的值
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
如果一個頁面上只有標題,想要獲取該標題下面的文章,就需要獲取文章的url,方法是:定位超鏈接標簽標題,獲取其中的href的值。import requestsfrom bs4 import BeautifulSoupurl='http://politics.people.com.cn/n1/2020/1121/c1024-31939065.html'headers={'User-agent':'瀏覽器請求頭的user-agent'}r=requests.get(url,headers=headers)if r.status_code==200: r.encoding = 'gb18030' soup=BeautifulSoup(r.text,'lxml') #print(soup) tags=soup.find('div','clearfix box_pic02') hrefs=tags.find_all('a') for href in hrefs: print("超鏈接的整個標簽內容為:",href) text=href.get_text() print("*超鏈接中的文本為:",text) get_href=href.get('href') print("*超鏈接為:",get_href)else: print("連接網頁不成功")最后輸出的結果為:獲取的超鏈接可供再次請求訪問。這個網站現在貌似設置了比較敏感的反爬機制,一個headers只能爬取兩三次,再次請求連接就會出現連接異常的提醒。
~End~
總結
以上是生活随笔為你收集整理的html获取text值_Python小程序2获取href的值的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: mysql groupby 日期_sql
- 下一篇: mysql hourminute_mys