必应如何提供搜索结果 - Microsoft 支持
爬网是 Bingbot 发现要添加到搜索索引的新的和更新的页面与内容的方式。 Bingbot 使用算法来决定爬网内容和爬网频率,以尽量减少对网站的影响。 我们都是关于效率的,即使我们每天爬行数十亿个 URL。