爬虫学习日记(一)
項目放到IDEA一直都跑不出起來,設(shè)置了module 各種source也沒有用,待解決。
放到MyEcliese后,就可以跑了。
需要解決的問題是:
在stack里面去掉selenium的log,保留InvalidInput的log
剛開始我的做法是:
直接不去拋出這個Exception
好的 我的做法有點蠢
現(xiàn)在開始從重現(xiàn)問題開始:
重現(xiàn)問題也遇到了很多困難,首先要知道重現(xiàn)的是什么問題,打開test有個網(wǎng)址,應(yīng)該是從里面爬東西。
里面有這么一個輸入框,我推測這個爬蟲應(yīng)該是模擬輸入,然后爬取信息的,我在stack里面找到了模擬輸入的信息:
然后在爬蟲中設(shè)置了要輸入的值:
然而在debug時,并沒有出現(xiàn)跟郵件里一樣的stack,報了這種錯:
debug以后是這一句:
問了東哥,是本地的phantoms沒有設(shè)置,所以它獲取不到,就會報錯,開啟項目中本地的webdriver測試方法,然后在本地安裝phantoms和webdriver(ChromeDriver),期間搜索了一下,phantoms是一個無頭瀏覽器,而selenuim可以模擬用戶操作,模擬過程需要一個瀏覽器驅(qū)動。
本地安裝完全都東西,設(shè)置完以后:
再次debug 出現(xiàn)同樣的stack:
總結(jié)
- 上一篇: 这可能是人工智能、机器学习和大数据领域覆
- 下一篇: 如何把视频压缩变小?视频压缩方法介绍