如何将这些函数与承诺链接在一起
How can I chain these functions together with promises?
这是一个程序,从t恤网站中抓取数据,然后将产品信息写入CSV文件。
有3个抓取功能和1个写入功能。
现在,我有一个绝对的噩梦,试图弄清楚如何在没有任何第三方库或包的情况下实现这里的承诺。仅凭ES6的原生特性就能做到这一点吗?
由于请求的异步性质,我需要在调用下一个函数之前完全完成每个函数及其请求。这样我就可以在下一个函数中使用诸如urlSet
之类的变量。
我如何在不重写整个代码的情况下简单地做到这一点?
我应该提一下,这些函数都是单独工作的,它们都经过了多次测试。
每个函数都是一个单独的承诺吗?
代码如下,谢谢:
//TASK: Create a command line application that goes to an ecommerce site to get the latest prices.
//Save the scraped data in a spreadsheet (CSV format).
'use strict';
//Modules being used:
var cheerio = require('cheerio');
var json2csv = require('json2csv');
var request = require('request');
var moment = require('moment');
var fs = require('fs');
//harcoded url
var url = 'http://shirts4mike.com/';
//url for tshirt pages
var urlSet = new Set();
var remainder;
var tshirtArray = [];
// First scrape loads front page of shirts4mike and finds the first product pages/menus
function firstScrape(){
request(url, function(error, response, html) {
if(!error && response.statusCode == 200){
var $ = cheerio.load(html);
//iterate over links with 'shirt'
$('a[href*=shirt]').each(function(){
var a = $(this).attr('href');
//create new link
var scrapeLink = url + a;
//for each new link, go in and find out if there is a submit button.
//If there, add it to the set
request(scrapeLink, function(error,response, html){
if(!error && response.statusCode == 200) {
var $ = cheerio.load(html);
//if page has a submit it must be a product page
if($('[type=submit]').length !== 0){
//add page to set
urlSet.add(scrapeLink);
} else if(remainder == undefined) {
//if not a product page, add it to remainder so it another scrape can be performed.
remainder = scrapeLink;
}
}
});
});
}
});
}
//Scrape next level of menus to find remaning product pages to add to urlSet
function secondScrape() {
request(remainder, function(error, response, html) {
if(!error && response.statusCode == 200){
var $ = cheerio.load(html);
$('a[href*=shirt]').each(function(){
var a = $(this).attr('href');
//create new link
var scrapeLink = url + a;
request(scrapeLink, function(error,response, html){
if(!error && response.statusCode == 200){
var $ = cheerio.load(html);
//collect remaining product pages and add to set
if($('[type=submit]').length !== 0){
urlSet.add(scrapeLink);
}
}
});
});
}
});
}
//call lastScraper so we can grab data from the set (product pages)
function lastScraper(){
//scrape set, product pages
for(var item of urlSet){
var url = item;
request(url, function(error, response, html){
if(!error && response.statusCode == 200){
var $ = cheerio.load(html);
//grab data and store as variables
var price = $('.price').text();
var imgURL = $('.shirt-picture').find('img').attr('src');
var title = $('body').find('.shirt-details > h1').text().slice(4);
var tshirtObject = {};
//add values into tshirt object
tshirtObject.Title = title;
tshirtObject.Price = price;
tshirtObject.ImageURL = imgURL;
tshirtObject.URL = url;
tshirtObject.Date = moment().format('MMMM Do YYYY, h:mm:ss a');
//add the object into the array of tshirts
tshirtArray.push(tshirtObject);
}
});
}
}
//Convert array of tshirt objects and write to CSV file
function convertJson2Csv(){
//The scraper should generate a folder called `data` if it doesn’t exist.
var dir ='./data';
if(!fs.existsSync(dir)){
fs.mkdirSync(dir);
}
var fields = ['Title', 'Price', 'ImageURL', 'URL', 'Date'];
//convert tshirt data into CSV and pass in fields
var csv = json2csv({ data: tshirtArray, fields: fields });
//Name of file will be the date
var fileDate = moment().format('MM-DD-YY');
var fileName = dir + '/' + fileDate + '.csv';
//Write file
fs.writeFile(fileName, csv, {overwrite: true}, function(err) {
console.log('file saved');
if (err) throw err;
});
}
如果你想用承诺链接这些函数,那么它们必须返回承诺。
如果你想用async
模块链接它们,那么它们必须接受回调作为参数。
现在它们既不返回promise(或其他任何东西),也不接受回调(或其他任何东西)作为参数。如果函数没有回调也没有返回任何东西那么你能做的就是调用它,就是这样。您将不会收到任何结果的通知。
回调
如果你有3个函数接受回调:
function fun1(cb) {
setTimeout(() => {
cb(null, "fun1");
}, 1000);
}
function fun2(cb) {
setTimeout(() => {
cb(null, "fun2");
}, 3000);
}
function fun3(cb) {
setTimeout(() => {
cb(null, "fun3");
}, 100);
}
然后你可以知道他们什么时候结束:
fun3((err, value) => {
console.log('fun3 finished:', value);
});
你可以很容易地在开始另一个之前等待一个:
fun1((err1, val1) => {
fun2((err2, val2) => {
console.log("fun1 + fun2:", val1, val2);
});
});
的承诺如果你的函数返回承诺:
function fun1() {
return new Promise((res, rej) => {
setTimeout(() => {
res("fun1");
}, 1000);
});
}
function fun2() {
return new Promise((res, rej) => {
setTimeout(() => {
res("fun2");
}, 3000);
});
}
function fun3() {
return new Promise((res, rej) => {
setTimeout(() => {
res("fun3");
}, 100);
});
}
那么你也可以知道他们什么时候结束:
fun3().then(value => {
console.log('fun3 finished:', value);
});
您还可以轻松地嵌套调用:
fun1().then(val1 => {
fun2().then(val2 => {
console.log("fun1 + fun2:", val1, val2);
});
});
或:
fun1()
.then(val1 => fun2())
.then(val2 => fun3())
.then(val3 => console.log('All 3 finished in series'));
等。
要能够使用这两种风格做更多的事情,请参阅文档:
- http://caolan.github.io/async/
- http://bluebirdjs.com/docs/getting-started.html
- https://developer.mozilla.org/en/docs/Web/JavaScript/Reference/Global_Objects/Promise
相关文章:
- Q 承诺链接以正确的顺序做事
- 带有传递参数的角度承诺链接
- 如何进行条件承诺链接
- 承诺链接:在next-then回调中使用上一个承诺的结果
- 如何在Javascript中使用Azure移动服务自定义API的承诺/链接
- 承诺-链接解决/拒绝
- Javascript承诺链接
- 如何将同步函数与承诺链接起来以异步运行
- 简化使用$q.defer()进行承诺链接的Angular函数
- Node.js承诺链接
- 将大量(>40,000)原生承诺链接在一起会消耗太多内存
- JavaScript承诺:链接承诺混淆
- 适当的承诺链接
- 如何使用jQuery承诺链接三个异步调用
- 如何将这些函数与承诺链接在一起
- 系统.导入承诺链接
- JavaScript/jQuery承诺链接
- 如何在NodeJS中使用承诺链接Postgres查询和GET请求
- 如何将承诺链接起来'然后'& # 39;所有# 39;
- 将多个 ajax 请求与承诺链接起来