获取给定域中所有站点的链接，任何工具

get links to all sites in given domain, any tool?

本文关键字：链接 任何 工具 站点 获取      更新时间：2023-09-26

是否可以从给定的url获取所有链接以获取给定网站的所有结构？

例如：

www.test.com
www.test.com/page1.aspx
www.test.com/page2.aspx
www.test.com/page3.aspx
www.test.com/page1.aspx?id=1
...

类似wget的东西，但仅用于检索链接

感谢您的帮助

如果你想获得页面中的所有链接，你可以使用HTML敏捷包下载、解析和查询HTML中包含的所有链接。

这可以扩展到跟随这些链接（保留一个已访问链接的列表，这样你就不会进入循环），然后返回页面上的链接。

这些都是一个初级爬行器的材料。

相关文章：