2022小木虫与研招网调剂监视脚本
前言
轉(zhuǎn)眼間22年的調(diào)劑就要結束了,或有不甘,亦是注定,22考研失敗了。考研前心比天高,考試時七上八下,考試后心如死灰;調(diào)劑前信心滿滿,調(diào)劑中一頭霧水,隨著各種郵件石沉大海,最后也釋然接受失敗的命運。準備時心比天高,眼高手低,忽略數(shù)學的基礎題;按照往年真題的出題思路簡單復習專業(yè)課,而并不搞懂其中原理;雖然已經(jīng)注意保暖,卻還是在考試的過程中受寒,出考場嘔吐;亦或是專業(yè)課題型大改,給分不高。每一次的失敗都會很多原因,但最根本的還是自己復習沒有效果:數(shù)學一本題集都沒寫,甚至連參考書目的課后習題都沒有做完,英語單詞簡單看看,專業(yè)課簡單背背。簡簡單單的努力,簡簡單單的分數(shù),除了花費了不少時間外,沒有什么需要抱怨。
人的一生沒有多少能夠改變自己賽道的機會,高考一次,研究生一次,博士一次,亦或是其他諸如公務員考試等等。雖然這些考試已經(jīng)存在了很多年,未來已經(jīng)繼續(xù)存在著,但是人的精力卻是一去不返了。如果在一二十歲的年紀里就開始選擇了妥協(xié)、打折扣,那么接下來的一生里將不知道有多少唏噓。不妥協(xié)、不將就是我在調(diào)劑期間堅持如一的思想,即使沒有希望(分數(shù)太少),擁有其他選擇(其他研究原聯(lián)系)卻仍然選擇走到底。這就是小時候老是被稱作別勁頭的后遺癥吧(手動狗頭)。
作者不是一個善于抒情的人,寫了一點點就像是沒寫什么,說了一點點與沒說一樣。還是先進入正題吧。
背景
平臺介紹
小木蟲是一個科研交流平臺,是中國科研界中最大的一個論壇,雖然其已經(jīng)十分老舊,但仍然能夠從該平臺上找到可能對我們有幫助的信息。研招網(wǎng)就是研究生考試的官方指定調(diào)劑平臺,調(diào)劑上的大部分事情都是通過該網(wǎng)站完成。
需求介紹
考研的調(diào)劑是一場信息戰(zhàn),更早的掌握調(diào)劑信息有利于聯(lián)系老師,進行準備。時間充裕的話到是可以一天都守在電腦旁邊,但這種做法太低效,浪費了太多的時間。那么如何有效地利用起時間并且不盡量不錯過有價值的信息呢?
爬蟲是一類能夠自動抓取目標網(wǎng)頁上指定信息的自動化程序。我們將能夠自動的實時獲取目標網(wǎng)站上更新數(shù)據(jù)的爬蟲稱為增量式網(wǎng)絡爬蟲。顯而易見,增量式網(wǎng)絡爬蟲的能夠能夠滿足我們的需要。
Python增量式爬蟲
Python增量式網(wǎng)絡爬蟲是使用Python語言編寫的一種爬蟲。由于Python具有強大的第三庫,與快速編寫項目的能力,本項目將會使用Python作為主要編寫語言。同時,為了避免分析繁雜的網(wǎng)頁調(diào)用、生成關系,將會使用selenium進行自動化渲染。
需求環(huán)境
本項目的環(huán)境為Python3.6.7,在更高的Python版本中依然能夠使用。使用的selenium第三方庫的版本為3.141.0(更高版本的selenium刪減了一些列方法,可能會造成項目運行錯誤)
此外,由于本項目使用selenium做自動化渲染,所以需要下載響應瀏覽器的驅(qū)動文件。本項目默認使用的是Firefox瀏覽器,其驅(qū)動可以在https://github.com/mozilla/geckodriver/releases 下載。
同時本項目將統(tǒng)一使用pushdeer應用作為通知。pushdeer源碼地址:https://github.com/easychen/pushdeer pushdeer官網(wǎng)及下載地址:https://www.pushdeer.com/
小木蟲監(jiān)視腳本
小木蟲監(jiān)視腳本主要是針對于一個小木蟲模塊:導師招生。在這個模塊中,需要招收調(diào)劑的導師將會提前發(fā)布條及相關信息,常見的都是通過科研團隊的名義發(fā)布招生信息 。一般的話都是通過郵件聯(lián)系。
具體腳本文件參見:https://github.com/Thesoul20/daily-work/blob/main/postgraduation/muchongzhaosheng_kui.py
研招網(wǎng)監(jiān)視腳本
研招網(wǎng)監(jiān)視主要是針對于研招網(wǎng)上公布的調(diào)劑信息:如當前三個平行志愿的狀態(tài),查詢某學校/研究所發(fā)布的考研信息。通過使用selenium自動渲染,操控瀏覽器進行相應點擊,切換標簽等操作。
具體腳本文件參見:https://github.com/Thesoul20/daily-work/blob/main/postgraduation/yanzhao.py
監(jiān)視設置
以上腳本的使用都不具有重復執(zhí)行的功能,雖然在設計的過程中對最新添加的信息進行了優(yōu)化設置,但距離能夠?qū)崟r監(jiān)控還有一段距離。同時應該主要的是:調(diào)劑信息通常都會在發(fā)出后的兩三天內(nèi)有效,可以適當?shù)膶⒈O(jiān)視時間間隔擴大一點,減少目標網(wǎng)站的運營維護壓力。
為了使本項目具有定時運行的功能,首先需要一臺能夠全天無間斷運行的計算機(服務器),之后在服務器上設置定時。在Linux服務器中,可以通過使用crontab工具來實現(xiàn)。
crontab實現(xiàn)
crontab 能夠定時運行l(wèi)inux系統(tǒng)上的腳本文件。故需要先編寫出一個腳本文件,然后通過crontab 工具定是運行該腳本文件。本項目選擇sh腳本,具體內(nèi)容如下
# activate Python environment cd python_env pipenv shell# enter the project directory and run the py file cd project python **.py結語
調(diào)劑真的是一場大混戰(zhàn),各種分數(shù),各種專業(yè)的都在一起競爭,很多大神(有科研,有獎項,有獎學金)也會下場求一個研究生名額。所以還是需要初試分考得高一點,面試的時候好好準備。準重要的是,定學校的時候好好調(diào)研,有沒有歧視,存不存在壓分。
再定學校之前請牢記一句話:選擇大于努力。 定完學校之后,請認真準備,初試分數(shù)下來之后也請萬不要懈怠,復試之前一定要抽出大量時間準備。要注意的點太多,相信也有不少文章會交代這些事情,但還是忍不住要交代一些事情。
由于本項目的目標網(wǎng)站都比較敏感,故本博客將寫的比較隨意,那些有Python基礎的同志們應該會看懂,小白的話就先不要嘗試了。同時應該提醒一下:請在調(diào)劑系統(tǒng)關閉的時候停止運行以上爬蟲,減少目標網(wǎng)站服務器維護壓力。設置自動檢測時盡量把時間間隔跳的長一些。
聲明
本項目僅供學習交流使用,如果侵犯了您的法律權利,請郵件聯(lián)系floatingdream24@163.com。作者將會在一周內(nèi)進行回復。
總結
以上是生活随笔為你收集整理的2022小木虫与研招网调剂监视脚本的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 微信小程序设置横竖屏
- 下一篇: 当当网页面