來源:http://www.jb51.net/article/51720.htm

這篇文章主要介紹了Shell多線程操作及線程數控制實例,文中從單線程實現一個需求開始,不斷加入代碼實現多線程以及線程數的控制功能,需要的朋友可以參考下

前言

在業務開發過程中，經常會在后臺寫一些shell腳本處理數據，但估計很多人不知道shell腳本也可以支持多線程，而且非常簡單。本篇文章主要就是介紹shell實現多進程以及進程數量控制。

需求

為了更好的說明問題，我們結合例子講解，假設需求就是掃描url.txt文件，然后判斷里面的URL是否失效。url.txt文件的內容是一行一個URL，如：

復制代碼代碼如下:
http://www.baidu.com

http://www.google.com

http://www.jb51.net

單進程實現

那么shell腳本scanUrl.sh可以這樣寫：

復制代碼代碼如下:
#!/bin/bash
#判斷是否有參數
if [ $# != 1 ] ;then
??????? echo "The parameters you enter is not correct !";
??????? exit -1;
fi

#循環讀出URL并判斷狀態碼
while read line
do
{
??? isok=`curl -I -o /dev/null -s -w %{http_code} $line`
??? if [ "$isok" = "200" ]; then
??????? echo $line "OK"?
??? else
??????? echo $line "no"?
??? fi
}
done < $1
echo "執行結束"

那么可以執行下面的命令掃描：
復制代碼代碼如下:
/bin/sh scanUrl.sh url.txt

但這樣腳本執行非常慢，一萬個URL幾個小時都掃描不完。

多進程實現

改成多進程實現非常簡單，只需要在do后面的大括號加 & 符號，在done后面加一個wait,表示父進程等待子進程退出后再退出

復制代碼代碼如下:
#!/bin/bash
#判斷是否有參數
if [ $# != 1 ] ;then
??????? echo "The parameters you enter is not correct !";
??????? exit -1;
fi

#循環讀出URL并判斷狀態碼
while read line
do
{
??? isok=`curl -I -o /dev/null -s -w %{http_code} $line`
??? if [ "$isok" = "200" ]; then
??????? echo $line "OK"?
??? else
??????? echo $line "no"?
??? fi
??? }
}&
done < $1
wait
echo "執行結束"

這樣就能多進程并發執行了，但有個問題是進程會一下子非常多，幾百上千，超過系統限制報錯，下面我們就加上進程數控制。

多進程實現并控制進程數

復制代碼代碼如下:
#!/bin/bash
#允許的進程數
THREAD_NUM=200
#定義描述符為9的管道
mkfifo tmp
exec 9<>tmp
#預先寫入指定數量的換行符，一個換行符代表一個進程
for ((i=0;i<$THREAD_NUM;i++))
do
??? echo -ne "\n" 1>&9
done

if [ $# != 1 ] ;then
??????? echo "The parameters you enter is not correct !";
??????? exit -1;
fi

while read line
do
{
??? #進程控制
??? read -u 9
??? {
??????? #isok=`curl -I -o /dev/null -s -w %{http_code} $line`
??????? if [ "$isok" = "200" ]; then
??????????? echo $line "OK"?
??????? else
??????????? echo $line "no"?
??????? fi
??????? echo -ne "\n" 1>&9
??? }&
}
done < $1
wait
echo "執行結束"
rm tmp

上面的代碼就可以保證子進程在指定數量了，其進程控制原理是通過管道實現的，當管道無內容可讀時就不會執行
復制代碼代碼如下:
{
??? #isok=`curl -I -o /dev/null -s -w %{http_code} $line`
??? if [ "$isok" = "200" ]; then
??????? echo $line "OK"?
??? else
??????? echo $line "no"?
??? fi
??? #寫入一個換行符
??? echo -ne "\n" 1>&9
}&
而且每個進程執行完成后都會向管道寫入一個換行符，從而保證進程數是指定的。

這樣就能達到我們的目的了。

總結

以上是生活随笔為你收集整理的Shell多线程操作及线程数控制实例的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。