) 进行了第一次抓取。把IP地址65.55.106.108输进到IP138或其他查询IP的系统里面可以看出,该IP地址对 应的是“美国 Microsoft公司”,那么我们可以看成微软的bing搜索引擎的蜘蛛的第一次到来。搜索引擎根据robots.txt的设定,知道了哪些答应抓取,哪些不盼看被抓取,那它就在这个网站上开工了,“日志2”显示的是bing首先抓取了该网址的主页(斜杠/意为主页)。
/blog/2009/11/21/125879090551788.html
感谢 田东山 的投稿
) 进行了第一次抓取。把IP地址65.55.106.108输进到IP138或其他查询IP的系统里面可以看出,该IP地址对 应的是“美国 Microsoft公司”,那么我们可以看成微软的bing搜索引擎的蜘蛛的第一次到来。搜索引擎根据robots.txt的设定,知道了哪些答应抓取,哪些不盼看被抓取,那它就在这个网站上开工了,“日志2”显示的是bing首先抓取了该网址的主页(斜杠/意为主页)。
/blog/2009/11/21/125879090551788.html
感谢 田东山 的投稿