{
 "name": "me2sex-images",
 "version": "0.0.1",
 "description": "Batch download images from http://me2-sex.lofter.com",
 "main": "index.js",
 "author": "Fay",
 "license": "MIT",
 "dependencies": {
  "async": "^0.9.0",
  "cheerio": "^0.18.0",
  "mkdirp": "^0.5.0",
  "request": "^2.51.0",
  "url": "^0.10.2",
  "xml2js": "^0.4.4"
 }
}

var node = {
  async: require('async'),
  cheerio: require('cheerio'),
  fs: require('fs'),
  mkdirp: require('mkdirp'),
  path: require('path'),
  request: require('request'),
  url: require('url'),
  xml2js: require('xml2js'),
};
 
var Me2SexImages = {
 
  /**
   * 配置選項
   */
  options: {
    // 網(wǎng)站sitemap地址
    sitemap: 'http://sexy.faceks.com/sitemap.xml',
    // 保存到此文件夾
    saveTo: '/Users/Fay/Pictures/me2sex',
    // 圖片并行下載上限
    downLimit: 5,
  },
 
  posts: [],
 
  /**
   * 開始下載（程序入口函數(shù)）
   */
  start: function() {
    var self = this;
    var async = node.async;
 
    async.waterfall([
      self.wrapTask(self.sitemapXML),
      self.wrapTask(self.sitemapJSON),
      self.wrapTask(self.downAllImages),
    ], function(err, result) {
      if (err) {
        console.log('error: %s', err.message);
      } else {
        console.log('success: 下載成功');
      }
    });
  },
 
  /**
   * 包裹任務，確保原任務的上下文指向某個特定對象
   * @param {Function} task 符合asycs.js調用方式的任務函數(shù)
   * @param {Any} context 上下文
   * @param {Array} exArgs 額外的參數(shù)
   * @return {Function} 符合asycs.js調用方式的任務函數(shù)
   */
  wrapTask: function(task, context, exArgs) {
    var self = this;
    return function() {
      var args = [].slice.call(arguments);
      args = exArgs ? exArgs.concat(args) : args;
      task.apply(context || self, args);
    };
  },
 
  /**
   * 獲取站點sitemap.xml
   */
  sitemapXML: function(callback) {
    console.log('開始下載sitemap.xml');
    node.request(this.options.sitemap, function(err, res, body) {
      if (!err) console.log('下載sitemap.xml成功');
      callback(err, body);
    });
  },
 
  /**
   * 將sitemap.xml轉成json
   */
  sitemapJSON: function(sitemapXML, callback) {
    var self = this;
    console.log('開始解析sitemap.xml');
    node.xml2js.parseString(sitemapXML, {explicitArray: false}, function(err, json) {
      if (!err) {
        self.posts = json.urlset.url;
        self.posts.shift();
        console.log('解析sitemap.xml成功，共有%d個頁面', self.posts.length);
      }
      callback(err, self.posts);
    });
  },
 
 
 
  /**
   * 下載整站圖片
   */
  downAllImages: function(callback) {
    var self = this;
    var async = node.async;
    console.log('開始批量下載');
    async.eachSeries(self.posts, self.wrapTask(self.downPostImages), callback);
  },
 
 
  /**
   * 下載單個post的圖片
   * @param {Object} post 文章
   */
  downPostImages: function(post, callback) {
    var self = this;
    var async = node.async;
 
    async.waterfall([
      self.wrapTask(self.mkdir, self, [post]),
      self.wrapTask(self.getPost),
      self.wrapTask(self.parsePost),
      self.wrapTask(self.downImages),
    ], callback);
  },
 
  mkdir: function(post, callback) {
    var path = node.path;
    var url = node.url.parse(post.loc);
    post.dir = path.join(this.options.saveTo, path.basename(url.pathname));
 
    console.log('準備創(chuàng)建目錄：%s', post.dir);
    if (node.fs.existsSync(post.dir)) {
      callback(null, post);
      console.log('目錄：%s 已經(jīng)存在', post.dir);
      return;
    }
    node.mkdirp(post.dir, function(err) {
      callback(err, post);
      console.log('目錄：%s 創(chuàng)建成功', post.dir);
    });
  },
 
  /**
   * 獲取post內容
   */
  getPost: function(post, callback) {
    console.log('開始請求頁面：%s', post.loc);
    node.request(post.loc, function(err, res, body) {
      if (!err) post.html = body;
      callback(err, post);
      console.log('請求頁面成功：%s', post.loc);
    });
  },
 
  /**
   * 解析post，并獲取post中的圖片列表
   */
  parsePost: function(post, callback) {
    var $ = post.$ = node.cheerio.load(post.html);
    post.images = $('.img')
      .map(function() {return $(this).attr('bigimgsrc');})
      .toArray();
    callback(null, post);
  },
 
  /**
   * 下載post圖片列表中的圖片
   */
  downImages: function(post, callback) {
    console.log('發(fā)現(xiàn)%d張妹子圖片，準備開始下載...', post.images.length);
    node.async.eachLimit(
      post.images,
      this.options.downLimit,
      this.wrapTask(this.downImage, this, [post]),
      callback
    );
  },
 
  /**
   * 下載單個圖片
   */
  downImage: function(post, imgsrc, callback) {
    var url = node.url.parse(imgsrc);
    var fileName = node.path.basename(url.pathname);
    var toPath = node.path.join(post.dir, fileName);
    console.log('開始下載圖片：%s，保存到：%s，文件名：%s', imgsrc, post.dir, fileName);
    node.request(imgsrc)
      .pipe(node.fs.createWriteStream(toPath))
      .on('close', function() {
        console.log('圖片下載成功：%s', imgsrc);
        callback();
      })
      .on('error', callback);
  }
};
 
Me2SexImages.start();