目標：爬影視網站ts文件到本地，合并成mp4文件

下載ts文件

本著不重復造輪子的精神(好吧其實是我懶)，想用迅雷批量下載爬取，但是迅雷提供的通配符過于簡單無法構造URL，只能自己寫腳本

如下：

# -*- coding: utf-8 -*-

import os

import requests

from multiprocessing import Pool

OVER_INDEX = 1600

L = 6

def download(url, n):

try:

r = requests.get(url)

if r.status_code != 200:

print("Requests Failed Code:{},Msg:{}".format(r.status_code, r.text))

print("{}.ts DownLoading...".format(n))

with open("./video/{}.ts".format(n), "wb") as f:

f.write(r.content)

print("{}.ts DownLoad Over...".format(n))

except Exception as e:

print(e)

if __name__ == '__main__':

po = Pool(100)

for i in range(OVER_INDEX):

distance = L - len(str(i))

n = "{}{}".format("0" * distance, i) if distance != 0 else i

url = "https://youku.cdn7-okzy.com/20200204/16986_7277c4b6/1000k/hls/ac79fd06c1b{}.ts".format(n)

po.apply_async(download, args=(url, n))

po.close()

po.join()

print("Over File DownLoad...")

異常

爬取二進制文件使用

r.content()

多進程池爬取后期表現為，順序執行(跟單進程無異)

netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}

查看發現 TIME_WAIT 79，查看監視器，并不是網絡資源耗盡，查看multiprocessing發現，猜想池中維持指定個數進程，一個任務結束才會執行下一個任務，如果達到平衡狀態，一段時間內進程池內只有一個空位，那么表現就會想像同步執行。嘗試擴容進程池改，運行正常

po = Pool(100)

爬取文件結束，開始合并

因為是Mac環境，無法使用Win自帶copy命令，各腳本不是失效就是報錯，軟件也寥寥無幾

經查文檔，采取如下方案

安裝 FFmepg

brew install ffmpeg

各種庫一堆裝，忘記了換源，下載編譯了好幾小時，還好沒報錯。

合并

ffmpeg -f concat -i file_list.txt -c copy output.mp4

其中file_list為如下格式文本文件

file 'input1.ts'

file 'input2.ts'

file 'input3.ts'

采用腳本生成

filePath = "/Users/ls/project/DownVideo/video"

file_list=sorted(os.listdir(filePath))

with open("./video/file_list.txt","w+") as f:

for file in file_list:

f.write("file '{}'\n".format(file))

結束

到這里倒騰結束了，寫腳本沒有花太多時間，主要查找合并ts到mp4的辦法，如果是win copy是真的簡單，格式工廠這類軟件也多，但在Mac下就要自己動手豐衣足食，各有各的好處。后面可以利用tqbm擴展進度條，和利用retry增加爬取異常時重試機制。

總結

以上是生活随笔為你收集整理的python拼接大量ts文件_Python爬取.ts文件，合并为mp4的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。