近期和站长门在群里交流时有站长说在分析移动网站站的日志时发现有搜索引擎的电脑端蜘蛛的抓取记录,请帮忙分析是否出现了异常。
通过对分享的日志发现即有电脑端的蜘蛛抓取记录,同时也有移动端蜘蛛的抓取记录,再结合网站的收录情况,分析后得出结论:搜索引擎会尽可能使用移动UA抓取移动端的页面,但当蜘蛛不能准确判断它是电脑端还是移动端的页面时,就会使用PC UA进行抓取。不论哪种方式,只要能正常抓取网站页面,就不会影响网站内容的收录。
近期和站长门在群里交流时有站长说在分析移动网站站的日志时发现有搜索引擎的电脑端蜘蛛的抓取记录,请帮忙分析是否出现了异常。
通过对分享的日志发现即有电脑端的蜘蛛抓取记录,同时也有移动端蜘蛛的抓取记录,再结合网站的收录情况,分析后得出结论:搜索引擎会尽可能使用移动UA抓取移动端的页面,但当蜘蛛不能准确判断它是电脑端还是移动端的页面时,就会使用PC UA进行抓取。不论哪种方式,只要能正常抓取网站页面,就不会影响网站内容的收录。
上一篇: 网站被黑添加了非法链接后用Robots文件屏蔽链接的注意事项
下一篇:暂无信息