我是程序员，我用这种方式铭记历史
作者 | kokohuang
責編 | 晉兆雨
頭圖 |?付費下載于視覺中國
?抗戰(zhàn)直播: 以圖文方式“直播”1931年9月18日至1945年9月2日14年間抗戰(zhàn)的日日夜夜
?開源地址：
https://github.com/kokohuang/WarOfResistanceLive
?預覽地址：
https://kokohuang.github.io/WarOfResistanceLive
前言
在目前浮躁的互聯(lián)網(wǎng)環(huán)境下，做一件好事不難，難的是連續(xù)8年做一件有意義的事。
在微博上有這樣一位博主，從2012年7月7日開始，截至到2020年9月2日，@抗戰(zhàn)直播?以圖文形式，記錄了從1937年7月7日至1945年9月2日中華民族全面抗戰(zhàn)的這段歷史。2980?天，從未間斷，平均每天 12 條，累計 35214 篇。
2020年9月18日7時零7分，沉寂了半個月的?@抗戰(zhàn)直播?恢復更新，他們將繼續(xù)以圖文的形式記錄1931年9月18日至1937年7月7日這六年的抗戰(zhàn)歷史。
下一個 6 年，他們已經(jīng)在路上。
歷史是不能被遺忘的。
作為程序員的我，在歷史面前，我能做點什么？
除了敬佩?@抗戰(zhàn)直播?這么多年來的堅持，我更想做一點自己力所能及且有意義的事情。
在得到博主?@抗戰(zhàn)直播?的允許與支持后，于是就有了抗戰(zhàn)直播這個項目的誕生。
抗戰(zhàn)直播
抗戰(zhàn)直播是一個以圖文方式“直播”1931年9月18日至1945年9月2日14年間抗戰(zhàn)歷史的網(wǎng)站，每天會更新歷史上的今天所發(fā)生的一些重大歷史事件。通過這一條條圖文抗戰(zhàn)內(nèi)容，讓我們仿佛置身于那段從局部抗戰(zhàn)到全面抗戰(zhàn)，再從全面抗戰(zhàn)到山河收復的那14年時光，與抗戰(zhàn)中的國人一起經(jīng)歷每一個日日夜夜，感受他們曾經(jīng)的屈辱與絕望，感受他們的光榮與夢想。
（https://kokohuang.github.io/WarOfResistanceLive)
本項目主要由 Python 爬蟲 + Hexo + Github Actions持續(xù)集成服務組成，開源在 GitHub 上，并且部署于 Github Pages。目前包含以下功能：
每日定時自動同步更新數(shù)據(jù)
查看博主目前所有的微博數(shù)據(jù)
支持RSS訂閱功能
基于Github Actions的持續(xù)集成服務
...
項目結(jié)構如下：
├──?.github/workflows?#?工作流配置文件 ├──?resources?#?微博數(shù)據(jù) ├──?site?#?網(wǎng)站源碼 └──?spider?#?微博爬蟲接下來，我將簡單的給大家介紹該項目的一些核心邏輯與實現(xiàn)。
Python 爬蟲
該項目使用的爬蟲是基于?weibo-crawler?項目的簡化及修改實現(xiàn)(僅供研究使用)，感謝作者?dataabc。
實現(xiàn)原理
通過訪問手機版的微博繞過其登錄驗證，可查看某個博主的大部分微博數(shù)據(jù)，如：https://m.weibo.cn/u/2896390104
通過開發(fā)者工具查看得知，通過 json 接口 https://m.weibo.cn/api/container/getIndex 即可獲取微博數(shù)據(jù)列表：
如何使用
安裝依賴：
pip3?install?-r?requirements.txt使用：
python?weibo.py運行效果：
注意事項
速度過快容易被系統(tǒng)限制：可通過加入隨機等待邏輯，可降低被系統(tǒng)限制的風險；
無法獲取全部微博數(shù)據(jù)：可通過添加 cookie 邏輯獲取全部數(shù)據(jù)；
更多內(nèi)容可查看?weibo-crawler。
Hexo
經(jīng)過了一番的抉擇，最終選擇?Hexo?+?Next?主題作為本項目網(wǎng)站的框架。
Hexo 是一款基于 Node.js 的靜態(tài)博客框架，依賴少易于安裝使用，可以方便的生成靜態(tài)網(wǎng)頁托管在 GitHub Pages 上，還有豐富的主題可供挑選。關于如何安裝使用 Hexo 可詳細查看官方文檔：https://hexo.io/zh-cn/docs/。
那么，如何實現(xiàn) RSS 訂閱功能呢？
得益于?Hexo?豐富的插件功能，hexo-generator-feed?可以很方便的幫我們實現(xiàn)。
首先，在博客根目錄下安裝該插件：
$?npm?install?hexo-generator-feed?--save接著，在博客根目錄下的?_config.yml?文件中添加相關配置:
feed:enable:?true?#?是否啟用插件type:?atom?#?Feed的類型，支持?atom?和?rss2，默認?atompath:?atom.xml?#?生成文件的路徑limit:?30?#?生成最大文章數(shù)，如果為?0?或?false?則生成所有的文章content:?true?#?如果為?true?則展示文章所有內(nèi)容content_limit:?#?文章展示的內(nèi)容長度，僅當?content?為?false?有效order_by:?-date?#?按照日期排序template:?#?自定義模板路徑最后，在主題根目錄下的?_config.yml 文件中添加 RSS 訂閱入口：
menu:RSS:?/atom.xml?||?fa?fa-rss?#?atom.xml文件路徑地址和圖標設置這樣，我們就可以為自己的博客添加 RSS 訂閱功能。WarOfResistanceLive?的訂閱地址為：
https://kokohuang.github.io/WarOfResistanceLive/atom.xml訂閱效果如下圖：
Github Actions 持續(xù)集成
Github Actions 是由 Github 于 2018年10月?推出的持續(xù)集成服務，在此之前，我們可能更多的使用 Travis CI 來實現(xiàn)持續(xù)集成服務。以我個人的感覺來看，Github Actions 功能非常強大，比 Travis CI 的可玩性更高，Github Actions 擁有豐富的 action 市場，將這些 action 組合起來，我們就可以很簡單的完成很多很有趣的事情。
我們先來看看Github Actions 的一些基本概念：
workflow：工作流程。即持續(xù)集成一次運行的過程。該文件存放于倉庫的 .github/workflows 目錄中，可包含多個；
job：任務。一個 workflow 可包含一個或多個 jobs，即代表一次集成的運行，可完成一個或多個任務；
step：步驟。一個 job 由多個 step 組成，即代表完成一個任務需要哪些步驟；
action：動作。每個 step 里面可包含一個或多個 action，即代表一個步驟內(nèi)，可執(zhí)行多個 action 動作。
了解了?Github Actions?的這些基本概念后，我們來看看?WarOfResistanceLive?的持續(xù)集成服務是怎樣實現(xiàn)的，以下是本項目使用的 workflow 完整實現(xiàn)：
#?workflow?的名稱 name:?Spider?Bot#?設置時區(qū) env:TZ:?Asia/Shanghai#?設置工作流觸發(fā)方式. on:#?定時觸發(fā)，在?8:00-24:00?間每隔?2?小時更新一次(https://crontab.guru)#?由于?cron?設定的時間為?UTC?時間，所以?+8?即為北京時間schedule:-?cron:?"0?0-16/2?*?*?*"#?允許手動觸發(fā)?Actionsworkflow_dispatch:jobs:build:#?使用?ubuntu-latest?作為運行環(huán)境runs-on:?ubuntu-latest#?將要執(zhí)行的任務序列steps:#?檢出倉庫-?name:?Checkout?Repositoryuses:?actions/checkout@v2#?設置?Python?環(huán)境-?name:?Setup?Pythonuses:?actions/setup-python@v2with:python-version:?"3.x"#?緩存?pip?依賴-?name:?Cache?Pip?Dependenciesid:?pip-cacheuses:?actions/cache@v2with:path:?~/.cache/pipkey:?${{?runner.os?}}-pip-${{?hashFiles('./spider/requirements.txt')?}}restore-keys:?|${{?runner.os?}}-pip-#?安裝?pip?依賴-?name:?Install?Pip?Dependenciesworking-directory:?./spiderrun:?|python?-m?pip?install?--upgrade?pippip?install?flake8?pytestif?[?-f?requirements.txt?];?then?pip?install?-r?requirements.txt;?fi#?運行爬蟲腳本-?name:?Run?Spider?Botworking-directory:?./spider??#?指定工作目錄，僅對?run?命令生效run:?python?weibo.py#?獲取系統(tǒng)當前時間-?name:?Get?Current?Dateid:?daterun:?echo?"::set-output?name=date::$(date?+'%Y-%m-%d?%H:%M')"#?提交修改-?name:?Commit?Changesuses:?EndBug/add-and-commit@v5with:author_name:?Koko?Huangauthor_email:?huangjianke@vip.163.commessage:?"已同步最新數(shù)據(jù)(${{steps.date.outputs.date}})"add:?"./"env:GITHUB_TOKEN:?${{?secrets.GITHUB_TOKEN?}}#?推送遠端-?name:?Push?Changesuses:?ad-m/github-push-action@masterwith:branch:?maingithub_token:?${{?secrets.GITHUB_TOKEN?}}#?設置?Node.js?環(huán)境-?name:?Use?Node.js?12.xuses:?actions/setup-node@v1with:node-version:?"12.x"#?緩存?NPM?依賴-?name:?Cache?NPM?Dependenciesid:?npm-cacheuses:?actions/cache@v2with:path:?~/.npmkey:?${{?runner.os?}}-node-${{?hashFiles('./site/package-lock.json')?}}restore-keys:?|${{?runner.os?}}-node-#?安裝?NPM?依賴-?name:?Install?NPM?Dependenciesworking-directory:?./siterun:?npm?install#?構建?Hexo-?name:?Build?Hexoworking-directory:?./site?#?指定工作目錄，僅對?run?命令生效run:?npm?run?build#?發(fā)布?Github?Pages-?name:?Deploy?Github?Pagesuses:?peaceiris/actions-gh-pages@v3with:github_token:?${{?secrets.GITHUB_TOKEN?}}publish_dir:?./site/public?#?指定待發(fā)布的路徑地址publish_branch:?gh-pages?#?指定遠程分支名稱執(zhí)行效果圖如下：
workflow 文件的配置字段非常多，配置文件中也給出了詳細的注釋。接下來，我們主要看下以下幾個比較重要的配置：
工作流的觸發(fā)方式
#?設置工作流觸發(fā)方式. on:#?定時觸發(fā)，在?8:00-24:00?間每隔?2?小時更新一次(https://crontab.guru)#?由于?cron?設定的時間為?UTC?時間，所以?+8?即為北京時間schedule:-?cron:?"0?0-16/2?*?*?*"#?允許手動觸發(fā)工作流程workflow_dispatch:我們可以使用 on 工作流程語法配置工作流程為一個或多個事件運行。支持自動與手動兩種方式觸發(fā)。schedule 事件允許我們在計劃的時間觸發(fā)工作流程，我們可以使用?POSIX cron 語法?來安排工作流程在特定的時間運行。
計劃任務語法有五個字段，中間用空格分隔，每個字段代表一個時間單位：
┌─────────────?minute?(0?-?59) │?┌─────────────?hour?(0?-?23) │?│?┌─────────────?day?of?the?month?(1?-?31) │?│?│?┌─────────────?month?(1?-?12?or?JAN-DEC) │?│?│?│?┌─────────────?day?of?the?week?(0?-?6?or?SUN-SAT) │?│?│?│?│??????????????????????????????????? │?│?│?│?│ │?│?│?│?│ *?*?*?*?*我們還可在這五個字段中使用以下運算符：
我們可以使用?https://crontab.guru?來生成計劃任務語法，你也可以查看更多的?crontab guru 示例。
另外，我們還可以通過配置 workflow_dispatch 和 repository_dispatch字段來實現(xiàn)手動觸發(fā)工作流程。
on?字段也可以配置為?push，即倉庫有?push?操作時則觸發(fā)工作流的執(zhí)行，詳細的觸發(fā)工作流配置可以查看?配置工作流程事件。
步驟序列
從配置文件中我們可以看到，該項目的一次持續(xù)集成的運行包含了以下步驟：
檢出倉庫 --> 設置?Python?環(huán)境 --> 緩存?pip?依賴 --> 安裝?pip?依賴 --> 運行爬蟲腳本 --> 獲取當前時間 --> 提交修改 --> 推送遠端 --> 設置?Node.js?環(huán)境 --> 緩存?NPM?依賴 --> 安裝?NPM?依賴 --> 構建?Hexo?--> 發(fā)布?Github Pages
本項目的 workflow 主要有以下幾個要點：
運行環(huán)境：整個工作流運行在虛擬環(huán)境 ubuntu-latest。還可以指定其他虛擬環(huán)境，如 Windows Server、macOS 等；
緩存依賴：通過對依賴的緩存，可提升安裝相關依賴的速度。具體使用可查看：緩存依賴項以加快工作流程；
獲取當前時間：后續(xù)提交修改步驟中的 commit message 中使用到了該步驟中獲取到當前時間，這里就使用到了?step 上下文?的相關概念，我們可以為 step 指定一個 id，后續(xù) step 中我們就可以通過 steps.<step id>.outputs 來獲取已經(jīng)運行的步驟相關信息；
構建 Hexo：即執(zhí)行 hexo generate 命令生成靜態(tài)網(wǎng)頁；
工作流程中的身份驗證：提交推送及發(fā)布步驟需要進行身份驗證。GitHub 提供一個令牌，可用于代表 GitHub Actions 進行身份驗證。我們所需要做的就是創(chuàng)建一個命名為 GITHUB_TOKEN 的令牌。具體步驟如下：Settings --> Developer settings --> Personal access tokens --> Generate new token，命名為 GITHUB_TOKEN ，并勾選中你所需要的的權限，然后就可以在 step 中通過使用?${{ secrets.GITHUB_TOKEN }}?進行身份驗證。
更多?Action?可在?Github?官方市場?查看。
結(jié)語
截止今天，抗戰(zhàn)直播收錄了從 2012年7月7日?至今的35000+條博文，我相信，這些珍貴的歷史數(shù)據(jù)，一定會不斷豐富著我們對抗戰(zhàn)歷史認識，更會讓我們深入地了解了中華民族的民族性。國家雖亂，民族性猶在。
就如?@抗戰(zhàn)直播?的發(fā)起人所說：“我想親身體驗這8年，感受他們曾經(jīng)的屈辱、絕望、光榮與夢想。”。也希望你能通過本項目，靜靜的去感受那一段抗戰(zhàn)時光。
最后，引用博主?@抗戰(zhàn)直播?的一段話：
“我們直播抗戰(zhàn)，并非為了鼓動仇恨等負面的情緒，而是想適度喚起遺忘，當我們時刻牢記祖輩們蒙受的苦難、恐懼和屈辱時；當我們體味祖輩們是如何在國家民族危亡之際拋棄前嫌，實現(xiàn)民族和解時，當我們目睹著祖輩們是如何從容慷慨的走向死亡，以身體為這個國家獻祭之時，相信我們對于現(xiàn)實將有更加成熟和理性的思考。”
銘記歷史，砥礪奮進。勿忘國恥，吾輩自強。
更多閱讀推薦
云原生應用Go語言：你還在考慮的時候，別人已經(jīng)應用實踐
一文告訴你霧計算與云計算的區(qū)別及對物聯(lián)網(wǎng)的價值！
你可能也會掉進這個簡單的 String 的坑
教你如何用 Python 三行代碼做動圖！
Ethereum2.0：深入了解Lego Money、Sharding、PoS和TPS的真相
總結(jié)
以上是生活随笔為你收集整理的我是程序员，我用这种方式铭记历史的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 谷歌这波操作，预警了什么信号？？
- 下一篇： 深夜，我偷听到程序员要对session下