抓取网站's的每一个页面与谷歌应用程序脚本

Fetching site's every page with Google Apps Script

本文关键字：谷歌脚本应用程序每一个网站抓取更新时间：2023-09-26

例如，我得到了site.com与/page1，/page2和/page3页面。我需要取回网站的每一页，但当我使用UrlFetchApp.fetch('site.com')它只取回主页。是否存在任何可能的方法说UrlFetchApp获取每个页面而不指定特定的页面?

提前感谢。

不，不可能。没有办法枚举您的页面或网站结构。这并不是气体所特有的。你需要做一个网络爬虫和urlFetchApp不会帮你。您的选择是:1)如果它是一个谷歌网站使用该网站的api。2)否则可能在根目录下维护一个包含所有页面列表的文件。取回那个，然后用它来遍历所有。你只有6分钟。除非你把它分解成任务(带时间触发器)