设为首页加入收藏业务一览表公司历程公司介绍联系我们
当前位置网站运营 >> 根据网站的拜访日志看搜索引擎蜘蛛的到来

根据网站的拜访日志看搜索引擎蜘蛛的到来

) 进行了第一次抓取。把IP地址65.55.106.108输进到IP138或其他查询IP的系统里面可以看出,该IP地址对 应的是“美国 Microsoft公司”,那么我们可以看成微软的bing搜索引擎的蜘蛛的第一次到来。搜索引擎根据robots.txt的设定,知道了哪些答应抓取,哪些不盼看被抓取,那它就在这个网站上开工了,“日志2”显示的是bing首先抓取了该网址的主页(斜杠/意为主页)。

/blog/2009/11/21/125879090551788.html

感谢 田东山 的投稿

[来源:原创] [作者:嵊州新时代建站] [日期:10-04-13] [阅读:]