如何为我自己的搜索引擎获取初始索引数据

How to get initial indexed data for my own search engine?

本文关键字:索引 数据 获取 搜索引擎 我自己 自己的      更新时间:2023-09-26

我正在尝试制作一个搜索引擎。我想知道如何在开始中获取URL以在我的数据库中进行索引?例如,谷歌是如何获取用于爬网的网站的URL的

您可以从现有的索引开始,并使用它来构建自己的索引。dmoz是一个人类可编辑的索引:http://www.dmoz.org/