在 c# asp.net 中执行 JavaScript 后抓取网页

Scraping a web page after javascript excecution in c# asp.net

本文关键字：JavaScript 抓取网页执行 asp net 更新时间：2023-09-26

我需要抓取所有链接的网页，以便以后可以访问它们以查找并记录设置cookie的位置。这是针对新的英国立法，要求用户由设置的cookie组成，我决定尝试自动化一些此过程以节省一些时间。

我的

问题是我的公司网站使用大量的javascript来渲染页面和内容，这意味着当我检索页面（目前使用html敏捷包）时，它们主要包含很多javascript，并且缺少很多链接，这些链接在完全渲染时显示。我将其托管为一个域上的asp应用程序，并传入URL以抓取和访问站点页面上的所有链接。

有没有办法我可以超越javascript，以便呈现页面并且可以获取所有链接？

您可以使用 Web 浏览器控件创建 Windows 窗体。您可以在加载页面时设置 URL 并设置回调事件。它将呈现页面，包括javascript，然后你可以访问DOM（我认为是通过WebBrowser.Document）。

我不明白你的问题。当它是您的公司网站时，您无需抓取页面。您已经有了代码。只需查看您的代码库，看看是否创建了cookie以及其中存储了什么。