Node.js网络爬虫图像/视频
node.js web crawler images/video
最近我一直在使用网络爬虫,我已经知道如何搜索文本,但是有没有办法让我的网络爬虫搜索其他东西,如视频和图像,然后下载并组织它们。
这是我到目前为止的网络爬虫:
var request = require('request');
var cheerio = require('cheerio');
var URL = require('url-parse');
var fs = require('fs');
var START_URL = "https://www.google.com";
var SEARCH_WORD = "apples";
var MAX_PAGES_TO_VISIT = 200;
var pagesVisited = {};
var numPagesVisited = 0;
var pagesToVisit = [];
var url = new URL(START_URL);
var baseUrl = url.protocol + "//" + url.hostname;
pagesToVisit.push(START_URL);
crawl();
function crawl() {
if(numPagesVisited >= MAX_PAGES_TO_VISIT) {
console.log("Reached max limit of number of pages to visit.");
return;
}
var nextPage = pagesToVisit.pop();
if (nextPage in pagesVisited) {
// We've already visited this page, so repeat the crawl
crawl();
} else {
// New page we haven't visited
visitPage(nextPage, crawl);
}
}
function visitPage(url, callback) {
// Add page to our set
pagesVisited[url] = true;
numPagesVisited++;
// Make the request
console.log("Visiting page " + url);
request(url, function(error, response, body) {
// Check status code (200 is HTTP OK)
console.log("Status code: " + response.statusCode);
if(response.statusCode !== 200) {
callback();
return;
}
// Parse the document body
var $ = cheerio.load(body);
var isWordFound = searchForWord($, SEARCH_WORD);
if(isWordFound) {
console.log('Word ' + SEARCH_WORD + ' found at page ' + url);
} else {
collectInternalLinks($);
// In this short program, our callback is just calling crawl()
callback();
}
});
}
function searchForWord($, word) {
var bodyText = $('html > body').text().toLowerCase();
return(bodyText.indexOf(word.toLowerCase()) !== -1);
}
function collectInternalLinks($) {
var relativeLinks = $("a[href^='/']");
console.log("Found " + relativeLinks.length + " relative links on page");
relativeLinks.each(function() {
pagesToVisit.push(baseUrl + $(this).attr('href'));
});
}
我已经从一个在线教程中得到了大部分的代码,以帮助我开始,但我需要更多的帮助,代码的工作,我只是想知道,如果以及如何可能的网络抓取图像和视频。
新代码:var request = require('request');
var cheerio = require('cheerio');
var URL = require('url-parse');
var fs = require('fs');
var START_URL = "http://moetube.net";
//var SEARCH_WORD = "anime";
var MAX_PAGES_TO_VISIT = 200;
var pagesVisited = {};
var numPagesVisited = 0;
var pagesToVisit = [];
var url = new URL(START_URL);
var baseUrl = url.protocol + "//" + url.hostname;
pagesToVisit.push(START_URL);
crawl();
function crawl() {
if(numPagesVisited >= MAX_PAGES_TO_VISIT) {
console.log("Reached max limit of number of pages to visit.");
return;
}
var nextPage = pagesToVisit.pop();
if (nextPage in pagesVisited) {
// We've already visited this page, so repeat the crawl
crawl();
} else {
// New page we haven't visited
visitPage(nextPage, crawl);
}
}
function visitPage(url, callback) {
// Add page to our set
pagesVisited[url] = true;
numPagesVisited++;
// Make the request
console.log("Visiting page " + url);
request(url, function(error, response, body) {
var $ = cheerio.load(body);
// Check status code (200 is HTTP OK)
console.log("Status code: " + response.statusCode);
collectImages($);
if(response.statusCode !== 200) {
callback();
return;
}
// Parse the document body
// var isWordFound = searchForWord($, SEARCH_WORD);
// if(isWordFound) {
// console.log('Word ' + SEARCH_WORD + ' found at page ' + url);
// } else {
collectInternalLinks($);
// In this short program, our callback is just calling crawl()
callback();
// }
});
}
function searchForWord($, word) {
var bodyText = $('html > body').text().toLowerCase();
return(bodyText.indexOf(word.toLowerCase()) !== -1);
}
function collectImages($) {
return $("img").map(function() {
return $(this).text();
console.log((this).text() + "JHJHHHHHHHHHHHHHHHHHHHH");
}).get();
}
function collectInternalLinks($) {
var relativeLinks = $("a[href^='/']");
console.log("Found " + relativeLinks.length + " relative links on page");
relativeLinks.each(function() {
pagesToVisit.push(baseUrl + $(this).attr('href'));
});
}
就像使用cheerio搜索正文中的链接一样,您也可以搜索正文中的<img>
或<video>
标签。当你找到这些标签时,你没有确切地说你想做什么,但是你可以创建一个类似于collectInternalLinks()
的函数,它将收集媒体对象以供进一步处理:
// return array of image URLs (these may be page-relative URLS)
function collectImages($) {
return $("img").map(function() {
return $(this).prop("src");
}).get();
}
// return collection of video elements
function collectVideos($) {
let videoUrls = [];
$("video").each(function() {
let src = $(this).prop("src");
if (src) {
videoUrls.push(src);
} else {
let subElements = $(this).find("track, source");
subElements.each(function() {
let src = $(this).prop("src");
if (src) {
videoUrls.push(src);
}
});
}
});
return videoUrls;
}
收集视频url有点复杂,因为这些url可以指定许多不同的方式(.src
属性,嵌入式<track>
标签,嵌入式<source>
标签等),所以你必须为每个<video>
标签解析出每种可能的方式。
相关文章:
- 在jquery中需要cloudinary图像和视频样本代码
- 如何在视频上显示海报图像使用Jquery结束
- 在视频和图像背景之间切换
- 为什么视频不显示在有角度的灯箱中?图像有效,但视频无效;t
- 错误时用图像替换视频
- 如何使用HTML5和AR在视频/图像上实时生成3d标记
- HTML5 视频的回退图像
- 视频 -> 画布 -> 图像 ..在特定分辨率下
- 是从画布获取图像数据的任何方法,从远程视频中提取
- 来自JS的Simperium和二进制(图像/视频)资产文件
- 如何在悬停在图像上时弹出youtube视频播放器
- 图像通过Youtube视频渐变
- 在youtube视频中单击按钮显示图像
- 以类似视频的方式在浏览器中渲染多个图像
- HTML5从图像生成视频
- 如何使用量角器比较视频/图像质量
- google+和facebook风格的iframeyoutube视频.默认情况下显示视频图像,当图像点击视频播放时
- 课程互动360视频/图像背景在html5引导
- 如何将C#视频(图像)流式传输到HTML5客户端
- 如何将YouTube视频图像添加到博客