當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

当SRS遇到K8s：如何构建海量推流源站？

發布時間：2024/4/11 编程问答 109 豆豆

生活随笔收集整理的這篇文章主要介紹了当SRS遇到K8s：如何构建海量推流源站？小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

Photo by?Oscar Ivan Esquivel Arteaga?on?Unsplash

本文來自流媒體直播集群SRS的官方wiki（https://github.com/ossrs/srs/wiki/v4_CN_K8s），由SRS的創始作者楊成立授權發布。

文 / 楊成立

相關文章：當SRS遇到K8s：快速構建高并發直播集群

本章描述了基于K8s，如何構建Origin Cluster支持超多推流場景。

Origin Cluster通過配置其他源站的信息，在本源站沒有流時查詢到流的位置，通過RTMP302定向到指定源站，具體原理可以參考#464。主要應用場景如下：

源站災備：即使流比較少，也可以用兩個源站，這樣可以將流分散到不同的源站，避免源站出現問題時影響所有的流。
海量推流：單源站可以支持1000到3000路流，高碼率的流支持的路數更少，有DVR和HLS時支持的路更少，源站集群有多個源站同時接收推流，可以支持10k~100k推流，參考規格。
復雜源站業務：源站除了支持推流和拉流，還有重要的功能是DVR、轉碼、轉HLS，DVR和HLS涉及磁盤，轉碼涉及CPU，都是容易發生瓶頸的資源依賴，源站集群擴展能力更強。

在這個場景下，對比K8s和傳統使用方式的差異：

對比	ECS	K8s	說明
申請ECS	手動	自動	部署時，ECS需要手動申請，K8s自動申請
安裝包	腳本	鏡像	Docker方式更優，版本管理，可Cache
看門狗	手動	自動	SRS異常退出由看門狗重新拉起，非K8s需要手動安裝， ?K8s自動管理和拉起服務
更換ECS	手動	自動	ECS更換時，非K8s需要手動申請，修改SLB，安裝服務，K8s自動遷移服務，更新SLB配置監聽和保活等
配置	文件	Volume	ECS需要手動管理配置；K8s配置在ConfigMap，通過Volume掛載為配置文件，擴容時源站手動更新自動推送，邊緣擴容自動更新
擴容	手動	自動	需要新開進程時，ECS需要申請部署和配置，K8s只需要修改Replicas數目即可(也可自動擴容)
發現	手動	自動	Origin變更IP時，ECS需要手動修改配置，K8s在遷移源站Pod時會保持，或自動更新
SLB	手動	自動	新增Origin時，ECS需要手動安裝和更新配置，K8s自動安裝，手動更新但自動推送配置
存儲	手動	自動	擴容存儲時，ECS需要手動安裝和更新，K8s會自動更新，不影響業務

Step 1:?由于SRS和Nginx不在一個Pod可能也不在一個Node，需要創建依賴的PV(Persistent Volume)持久化卷，可購買NAS例如：

驅動類型(PV ? ? driver)：alicloud/nas
掛載點(PV ? ? server)，可在控制臺創建、查看和復制：1abb5492f7-ubq80.cn-beijing.nas.aliyuncs.com
NFS版本(PV vers)：3

在NAS基礎上可以創建PV，以及PVC：

pv-nas，從NAS存儲創建的PV，支持多寫和多讀，Pod不使用存儲后會回收，也就是刪除這些數據。
pvc-nas，SRS和Nginx源站使用的PVC，具有讀寫權限。讀取SRS的靜態文件和HLS并分發。

cat <<EOF | kubectl apply -f -

apiVersion: v1

kind: PersistentVolume

metadata:

?name: pv-nas

?labels:

???pv: nfs-pv

spec:

?capacity:

???storage: 100Gi

?storageClassName: nas

?accessModes:

??? -ReadWriteMany

??? -ReadOnlyMany

?persistentVolumeReclaimPolicy: Retain

?flexVolume:

???driver: "alicloud/nas"

???options:

?????server: "1abb5492f7-ubq80.cn-beijing.nas.aliyuncs.com"

??? ??path: "/k8s"

?????vers: "3"

?????options: "nolock,tcp,noresvport"

---

apiVersion: v1

kind: PersistentVolumeClaim

metadata:

?name: pvc-nas

spec:

?accessModes:

??? -ReadWriteMany

?storageClassName: nas

?resources:

???requests:

?????storage: 100Gi

?selector:

???matchLabels:

?????pv: nfs-pv

EOF

Note:請將上面的掛載點(PV server)替換成你的。

Step 2:?創建SRS源站集群和Nginx源站應用和服務。

srs-origin-config: 創建一個配置k8s ConfigMap，存儲了SRS Origin Server使用的配置文件。
socs: 創建一個Headless服務k8s service，基于Headless ? ? Service提供Origin服務，每個Origin都有自己的服務地址，例如srs-origin-0.socs，供內部Edge Server調用。
srs-origin: 創建一個有狀態應用k8s StatefulSet，運行SRS Origin Cluster，HLS寫入共享存儲PV。
nginx-origin-deploy: 創建一個無狀態應用k8s deployment，運行Nginx，將SRS靜態文件寫入PV，從共享存儲PV讀取HLS和靜態文件。
srs-http-service: 創建一個服務k8s service，基于SLB提供HTTP服務，Nginx對外提供HLS服務。
srs-api-service: 創建一個服務k8s service，基于SLB提供HTTP服務，SRS第一個源站提供API服務，標簽為statefulset.kubernetes.io/pod-name: ? ? srs-origin-0。

cat <<EOF | kubectl apply -f -

apiVersion: v1

kind: ConfigMap

metadata:

?name: srs-origin-config

data:

?srs.conf: |-

???listen????????????? 1935;

??? max_connections???? 1000;

???daemon????????????? off;

???http_api {

???????enabled???????? on;

???????listen????????? 1985;

??? }

???http_server {

???????enabled???????? on;

???????listen????????? 8080;

??? }

???vhost __defaultVhost__ {

???????cluster {

???????????origin_cluster? on;

???????????coworkers?????? srs-origin-0.socssrs-origin-1.socs srs-origin-2.socs;

???????}

???????http_remux {

???????????enabled???? on;

???????}

???????hls {

???????????enabled???????? on;

???????}

??? }

---

apiVersion: v1

kind: Service

metadata:

?name: socs

spec:

?clusterIP: None

?selector:

???app: srs-origin

?ports:

? -name: socs-1935-1935

???port: 1935

???protocol: TCP

???targetPort: 1935

---

apiVersion: apps/v1

kind: StatefulSet

metadata:

?name: srs-origin

?labels:

???app: srs-origin

spec:

?serviceName: "socs"

?replicas: 3

?selector:

???matchLabels:

?????app: srs-origin

?template:

???metadata:

?????labels:

???????app: srs-origin

???spec:

?????volumes:

?????- name: cache-volume

???????persistentVolumeClaim:

?????????claimName: pvc-nas

?????- name: config-volume

???????configMap:

?????????name: srs-origin-config

?????containers:

?????- name: srs

???????image: ossrs/srs:3

???????imagePullPolicy: IfNotPresent

???????ports:

???????- containerPort: 1935

???????- containerPort: 1985

???????- containerPort: 8080

???????volumeMounts:

???????- name: cache-volume

?????????mountPath: /usr/local/srs/objs/nginx/html

?????????readOnly: false

???????- name: config-volume

?????????mountPath: /usr/local/srs/conf

---

apiVersion: apps/v1

kind: Deployment

metadata:

?name: nginx-origin-deploy

?labels:

???app: nginx-origin

spec:

?replicas: 1

?selector:

???matchLabels:

?????app: nginx-origin

?template:

???metadata:

?????labels:

???????app: nginx-origin

???spec:

?????volumes:

?????- name: cache-volume

???????persistentVolumeClaim:

?????????claimName: pvc-nas

?????containers:

?????- name: nginx

???????image: nginx

???????imagePullPolicy: IfNotPresent

???????ports:

???????- containerPort: 80

???????volumeMounts:

???????- name: cache-volume

?????????mountPath: /usr/share/nginx/html

?????????readOnly: true

?????- name: srs-cp-files

???????image: ossrs/srs:3

???????imagePullPolicy: IfNotPresent

???????volumeMounts:

???????- name: cache-volume

?????????mountPath: /tmp/html

?????????readOnly: false

???????command: ["/bin/sh"]

???????args: ["-c", "cp -R ./objs/nginx/html/* /tmp/html/; sleepinfinity"]

---

apiVersion: v1

kind: Service

metadata:

?name: srs-http-service

spec:

?type: LoadBalancer

?selector:

???app: nginx-origin

?ports:

? -name: nginx-origin-service-80-80

???port: 80

???protocol: TCP

???targetPort: 80

---

apiVersion: v1

kind: Service

metadata:

?name: srs-api-service

spec:

?type: LoadBalancer

?selector:

???statefulset.kubernetes.io/pod-name: srs-origin-0

?ports:

? -name: srs-api-service-1985-1985

???port: 1985

???protocol: TCP

??? targetPort:1985

EOF

Remark:假設SRS源站有狀態服務srs-origin配置的Replicas為2，則會生成兩個源站srs-origin-0.socs和srs-origin-1.socs，若新增了源站比如Replicas為3，則需要在配置中加上srs-origin-2.socs。

Remark:我們啟動了一個srs-cp-files的container，拷貝SRS默認的文件，參考#1603.

Note:Origin Server在集群內部提供流媒體源站服務，內部域名為srs-origin-0.socs和srs-origin-1.socs，EdgeServer會通過該域名連接到OriginServer。

Note:Nginx通過SharedVolume(PV)讀取SRSOrigin生成的切片，對外提供HLS服務。

Note:這里我們選擇ACK自動創建SLB和EIP，也可以手動指定SLB，參考指定購買的SLB和EIP。

Step 3:?創建SRS邊緣配置、應用和服務。

srs-edge-config: 創建一個配置k8s ConfigMap，存儲了SRS Edge Server使用的配置文件。
srs-edge-deploy: 創建一個無狀態應用k8s deployment，運行多個SRS Edge Server。
srs-edge-service: 創建一個服務k8s service基于SLB對外提供流媒體服務。

cat <<EOF | kubectl apply -f -

apiVersion: v1

kind: ConfigMap

metadata:

?name: srs-edge-config

data:

?srs.conf: |-

???listen????????????? 1935;

???max_connections???? 1000;

???daemon????????????? off;

???http_api {

???????enabled???????? on;

???????listen????????? 1985;

??? }

???http_server {

???????enabled???????? on;

???????listen????????? 8080;

??? }

???vhost __defaultVhost__ {

???????cluster {

???????????mode??????????? remote;

???????????origin????????? srs-origin-0.socssrs-origin-1.socs srs-origin2.socs;

???????}

???????http_remux {

???????????enabled???? on;

???????}

??? }

---

apiVersion: apps/v1

kind: Deployment

metadata:

?name: srs-edge-deploy

?labels:

???app: srs-edge

spec:

?replicas: 4

?selector:

???matchLabels:

?????app: srs-edge

?template:

???metadata:

?????labels:

???????app: srs-edge

???spec:

?????volumes:

?????- name: config-volume

???????configMap:

?????????name: srs-edge-config

?????containers:

?????- name: srs

???????image: ossrs/srs:3

???????imagePullPolicy: IfNotPresent

???????ports:

???????- containerPort: 1935

???????- containerPort: 1985

???????- containerPort: 8080

???????volumeMounts:

???????- name: config-volume

?????????mountPath: /usr/local/srs/conf

---

apiVersion: v1

kind: Service

metadata:

?name: srs-edge-service

spec:

?type: LoadBalancer

?selector:

???app: srs-edge

?ports:

? -name: srs-edge-service-1935-1935

???port: 1935

???protocol: TCP

???targetPort: 1935

? -name: srs-edge-service-8080-8080

???port: 8080

???protocol: TCP

???targetPort: 8080

EOF

Note:Edge Server的配置中，通過源站在HeadlessService注冊的內部域名srs-origin-0.socs等等，連接到OriginServer。

Note:這里我們選擇ACK自動創建SLB和EIP，也可以手動指定SLB，參考指定購買的SLB和EIP。

Step 4:?大功告成。你可以推拉流了，其中HLS流可以從Nginx(80)播放，RTMP和HTTP-FLV從SRS播放：

Publish RTMP to?rtmp://28.170.32.118/live/livestream?or?to origin?or?to edge.
Play RTMP from?rtmp://28.170.32.118/live/livestream
Play HTTP-FLV from?http://28.170.32.118:8080/live/livestream.flv
Play HLS from?http://28.170.32.118/live/livestream.m3u8

Note:請將上面的EIP換成你自己的，可用命令kubectlget svc/srs-http-service或kubectl get svc/srs-edge-service查看你的EIP。

Note:如果是自動創建SLB和EIP，那么HLS和RTMP/HTTP-FLV的IP是不一樣的，你可以選擇手動指定SLB，這兩個服務可以用同一個SLB，參考指定購買的SLB和EIP。

這里我們選擇的是有狀態集群方式，也可以選擇以無狀態應用(Deployment)方式部署源站，區別在于每個源站都需要創建一個Deployment和Service，參考源站集群部署方式，例如：

第0個源站，Deployment命名為srs-origin-0-deploy，ClusterIP服務命名為srs-origin-0。
第1個源站，Deployment命名為srs-origin-1-deploy，ClusterIP服務命名為srs-origin-1。
第2個源站，Deployment命名為srs-origin-2-deploy，ClusterIP服務命名為srs-origin-2。
源站配置改成coworkers srs-origin-0 srs-origin-1 ? ? srs-origin-2;。
邊緣配置改成origin srs-origin-0 srs-origin-1 ? ? srs-origin-2;。

LiveVideoStackCon 2020

上海/北京/舊金山講師招募

2020年LiveVideoStackCon將持續迭代，LiveVideoStackCon將分別在上海（6月13-14日），北京（9月11-12日）和舊金山（11月）舉行。歡迎將你的技術實踐、踩坑與填坑經歷、技術與商業創業的思考分享出來，獨樂不如眾樂。請將個人資料和話題信息郵件到 speaker@livevideostack.com 或點擊【閱讀原文】了解成為LiveVideoStackCon講師的權益與義務，我們會在48小時內回復。

總結

以上是生活随笔為你收集整理的当SRS遇到K8s：如何构建海量推流源站？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： LiveVideoStack线上分享第五
下一篇： Netflix选择AVIF作为下一代图片