原有1.05版程序沒有斷點續(xù)傳模式，現(xiàn)在在最近程序基礎(chǔ)上改寫一版1.051.

//====================================================== // meitulu圖片批量下載爬蟲1.051 // 用最近的斷點續(xù)傳框架改寫原有1.05版程序 // 2017年11月21日 //======================================================// 內(nèi)置https模塊 var https=require("https");// 內(nèi)置http模塊 var http=require("http");// 用于解析gzip網(wǎng)頁（ungzip，https得到的網(wǎng)頁是用gzip進行壓縮的） var zlib = require('zlib'); // 內(nèi)置文件處理模塊，用于創(chuàng)建目錄和圖片文件 var fs=require('fs');// 用于轉(zhuǎn)碼。非Utf8的網(wǎng)頁如gb2132會有亂碼問題，需要iconv將其轉(zhuǎn)碼 var iconv = require('iconv-lite');// cheerio模塊，提供了類似jQuery的功能，用于從HTML code中查找圖片地址和下一頁 var cheerio = require("cheerio");// 請求參數(shù)JSON。http和https都有使用 var options;// request請求 var req;// 圖片數(shù)組，找到的圖片地址會放到這里 var pictures=[];// 存放圖片的目錄 var folder="";//-------------------------------------- // 爬取網(wǎng)頁，找圖片地址，再爬 // pageUrl sample:https://www.meitulu.com/item/12161.html // pageUrl sample: //-------------------------------------- function crawl(pageUrl){console.log("Current page="+pageUrl);// 得到hostname和pathvar currUrl=pageUrl.replace("https://","");var pos=currUrl.indexOf("/");var hostname=currUrl.slice(0,pos); var path=currUrl.slice(pos); //console.log("hostname="+hostname);//console.log("path="+path);// 初始化options options={hostname:hostname,port:443,path:path,// 子路徑method:'GET', };req=https.request(options,function(resp){var html = [];resp.on("data", function(data) {html.push(data);})resp.on("end", function() {var buffer = Buffer.concat(html);//var body = buffer.toString();//console.log(body); zlib.gunzip(buffer, function(err, decoded) {if(err){console.log("[findPageUrls]不能得到頁面:"+batchPageUrl+"對應(yīng)的html文本，錯誤是:"+err);console.log(err);}else{var body=decoded.toString(); //console.log(body);var $ = cheerio.load(body); var picCount=0;// 找圖片放入數(shù)組$(".content img").each(function(index,element){var picUrl=$(element).attr("src");console.log(picUrl);if(picUrl.indexOf('.jpg')!=-1){pictures.push(picUrl); picCount++;} }) console.log("找到圖片"+picCount+"張."); var nextPageUrl=null;// 找下一頁$("#pages a").each(function(index,element){var text=$(element).text();if(text.indexOf('下一頁')!=-1){nextPageUrl=$(element).attr("href"); nextPageUrl="https://www.meitulu.com"+nextPageUrl;console.log("找到下一頁="+nextPageUrl);} })if(nextPageUrl==null || nextPageUrl==pageUrl){console.log(pageUrl+"已經(jīng)是最后一頁了.\n");saveFile(pageUrl,pictures);// 保存 download(pictures);}else{console.log("繼續(xù)下一頁");crawl(nextPageUrl);} } })}).on("error", function() {saveFile(pageUrl,pictures);// 保存console.log("crawl函數(shù)失敗,請進入斷點續(xù)傳模式繼續(xù)進行");})});// 超時處理req.setTimeout(7500,function(){req.abort();});// 出錯處理req.on('error',function(err){console.log('請求發(fā)生錯誤'+err); saveFile(pageUrl,pictures);// 保存console.log("crawl函數(shù)失敗,請進入斷點續(xù)傳模式繼續(xù)進行");});// 請求結(jié)束 req.end(); }//-------------------------------------- // 下載圖片 //-------------------------------------- function download(pictures){var total=0;total=pictures.length;console.log("總計有"+total+"張圖片將被下載.");appendToLogfile(folder,"總計有"+total+"張圖片將被下載.\n");for(var i=0;i<pictures.length;i++){var picUrl=pictures[i];downloadPic(picUrl,folder);} }//-------------------------------------- // 寫log文件 //-------------------------------------- function appendToLogfile(folder,text){fs.appendFile('./'+folder+'/log.txt', text, function (err) {if(err){console.log("不能書寫log文件");console.log(err);}}); }//-------------------------------------- // 取得當(dāng)前時間 //-------------------------------------- function getNowFormatDate() {var date = new Date();var seperator1 = "-";var seperator2 = "_";var month = date.getMonth() + 1;var strDate = date.getDate();if (month >= 1 && month <= 9) {month = "0" + month;}if (strDate >= 0 && strDate <= 9) {strDate = "0" + strDate;}var currentdate =date.getFullYear() + seperator1 + month + seperator1 + strDate+ " " + date.getHours() + seperator2 + date.getMinutes()+ seperator2 + date.getSeconds();return currentdate; }//-------------------------------------- // 下載單張圖片 // picUrl sample:http://mtl.ttsqgs.com/images/img/12161/41.jpg //-------------------------------------- function downloadPic(picUrl,folder){console.log("圖片:"+picUrl+"下載開始");// 得到hostname，path和portvar currUrl=picUrl.replace("http://","");var pos=currUrl.indexOf("/");var hostname=currUrl.slice(0,pos); var path=currUrl.slice(pos);// 有端口加端口，沒有端口默認(rèn)80var port=80;//console.log("hostname="+hostname);//console.log("path="+path);//console.log("port="+port);var picName=currUrl.slice(currUrl.lastIndexOf("/"));// 初始化options options={hostname:hostname,port:port,path:path,method:'GET',/* headers:{'Referer':'https://www.meitulu.com',},*/};req=http.request(options,function(resp){var imgData = "";resp.setEncoding("binary"); resp.on('data',function(chunk){imgData+=chunk; });resp.on('end',function(){ // 創(chuàng)建文件var fileName="./"+folder+picName;fs.writeFile(fileName, imgData, "binary", function(err){if(err){console.log("[downloadPic]文件 "+fileName+" 下載失敗.");console.log(err);appendToLogfile(folder,"文件 "+picUrl+" 下載失敗.\n");}else{appendToLogfile(folder,"文件 "+picUrl+" 下載成功.\n");console.log("文件"+fileName+"下載成功");}}); });});// 超時處理req.setTimeout(7500,function(){req.abort();});// 出錯處理req.on('error',function(err){if(err){console.log('[downloadPic]文件 '+picUrl+" 下載失敗,"+'因為'+err);appendToLogfile(folder,"文件"+picUrl+"下載失敗.\n");}});// 請求結(jié)束 req.end(); }//-------------------------------------- // 程序入口 //-------------------------------------- function getInput(){process.stdin.resume(); process.stdout.write("\033[33m 新建模式輸入第一頁URL，斷點續(xù)傳模式輸入0，請輸入: \033[39m");// 草黃色process.stdin.setEncoding('utf8');process.stdin.on('data',function(text){var input=text.trim();process.stdin.end();// 退出輸入狀態(tài) if(text.trim()=='0'){process.stdout.write("\033[36m 進入斷點續(xù)傳模式. \033[39m"); // 藍(lán)綠色// Read Filefs.readFile('./save.dat','utf8',function(err,data){if(err){console.log('讀取文件save.dat失敗,因為'+err);}else{//console.log(data);var obj=JSON.parse(data);pictures=obj.pictures;console.log('提取圖片'+pictures.length+'張');folder=obj.folder;// 創(chuàng)建目錄fs.mkdir('./'+folder,function(err){if(err){console.log("目錄"+folder+"已經(jīng)存在");}});crawl(obj.url); }});// Resume crawl}else{process.stdout.write("\033[35m 進入新建模式. \033[039m"); //紫色 folder='pictures('+getNowFormatDate()+")";// 創(chuàng)建目錄fs.mkdir('./'+folder,function(err){if(err){console.log("目錄"+folder+"已經(jīng)存在");}});crawl(input); }}); }//-------------------------------------- // 將爬行中信息存入數(shù)據(jù)文件 //-------------------------------------- function saveFile(url,pictures){var obj=new Object;obj.url=url;obj.pictures=pictures;obj.folder=folder;var text=JSON.stringify(obj);fs.writeFile('./save.dat',text,function(err){if(err){console.log('寫入文件save.dat失敗,因為'+err);}}); }// 調(diào)用getInput函數(shù)，程序開始 getInput();














本文轉(zhuǎn)自張昺華-sky博客園博客，原文鏈接：http://www.cnblogs.com/xiandedanteng/p/7871903.html，如需轉(zhuǎn)載請自行聯(lián)系原作者

總結(jié)

以上是生活随笔為你收集整理的Node.js meitulu图片批量下载爬虫1.051的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。