观看记录 清空
    • 视频
    • 资讯

    如何让网站更快被收录

    2020-07-27 14:59:33 精品分享 7207阅读

    当一个搜索引擎程序抓取网站时,其实我们可以通过相关文件进行引导的。简单的理解搜索引擎蜘蛛会通过链接来了解您网站上的信息。但他们也在浏览网站代码和目录中的特定文件,标签和元素。robots.txt搜索引擎蜘蛛会在抓取网站时,第一件事就是先抓取robots.txt文件。对于复杂的网站,robots.txt文件是必不可少的。对于只有少数几页的小型网站,robots.txt文件可能不是必需的。没有它,搜索引擎蜘蛛就会抓取网站上的所有内容。有两种主要方法可以使用robots.txt文件指导搜素引擎蜘蛛。首先,可以使用“禁止”指令。这会引导蜘蛛忽略特定的URL文件,文件扩展名甚至整个网站的部分:User-agent: GooglebotDisallow: /example/虽然disallow指令会阻止蜘蛛爬取您网站的特定部分(因此节省抓取预算),但它不一定会阻止该页面被索引并显示在搜索结果中,例如可以在此处看到:另一种方法是使用 noindex 指令。Noindex某个页面或文件不会阻止它被抓取,但是,它会阻止它被索引(或从索引中删除它)。此robots.txt指令由Google非正式支持,并且完全不受Baidu/Bing支持:User-agent:GooglebotNoindex:/ example /User-agent:*Disallow:/ example /显然,由于这些网页仍在被抓取,它们仍会使用您的抓取预算。这是一个常常被忽略的问题:disallow指令实际上会撤消搜索引擎蜘蛛noindex标记的工作。这是因为disallow阻止蜘蛛访问网页的内容,从而阻止了看到和遵守meta标签。另一个使用robots.txt协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。当然,并不是所有蜘蛛都行为良好,有的甚至会忽略你的指令(尤其是寻找漏洞的恶意机器人)。XML站点地图XML站点地图帮助蜘蛛了解站点的基础结构。在这请注意,蜘蛛使用站点地图作为线索,而不是权威指南,了解如何为网站建立索引。机器人还会考虑其他因素(例如您的内部链接结构)来弄清楚您的网站是关于什么的。使用可扩展标记语言(XML)站点地图最重要的是确保发送给搜索引擎的消息与您的robots.txt文件一致。不要将已经通过robots.txt阻止的文件内容发送给搜素引擎; 考虑到网站的抓取预算,所以,我们千万别在这里犯错误。第二重要的是确保XML站点地图仅包含规范URL,因为Baidu/Google会将XML站点地图视为规范化信号。URL规范化如果站点上有重复的内容(我们应该避免出现重复的内容),那么rel =”canonical”链接元素告诉蜘蛛哪个URL应该被认为是主版本。如果不使用canonical标记,那么会导致网站上面不同URL但内容相同的页面被搜索引擎收录,会让搜索引擎误认为网站上面有很多重复页面,从而降低对网站的评价。分页正确设置rel =”next”和rel =”prev”链接元素非常重要。如果一个电子商务网站每个类别都有很多产品,如果想避免陷入搜索引擎的重复内容过滤器,那么rel = next和rel = prev就非常重要。假设网站有50种不同的型号可供选择。在主类别页面上,用户可以查看前10个产品,每个产品都有一个产品名称和一个缩略图。然后,他们可以点击“下一页”来查看下一个10个结果,依此类推。这些页面中的每一个都会具有相同或非常相似的标题,元描述和页面内容,因此主类别页面的头部应该有一个rel =“next”(no rel =“prev”,因为它是第一页)超文本标记语言(HTML)。将rel =“next”和rel =“prev”链接元素添加到每个后续页面会告诉抓取工具您要将这些页面用作序列。或者,如果我们该内容有“查看全部”页面,则可以在所有分页页面上规范化为“查看全部”页面,并完全跳过rel = prev / next。不足之处在于,“查看全部”页面可能会在搜索结果中显示。如果网页加载时间过长,搜索访问者的跳出率会很高,这不是一件好事。如果没有rel =“canonical”,rel =“next”和rel =“prev”链接元素,这些页面将相互竞争排名,并且有重复的内容过滤的风险。正确实施,rel = prev / next将指示Google将序列视为一页,或者rel = canonical将所有权重配给“查看全部”页面。(关于分页优化技巧,各位同学可以查看这篇文章:页面分页优化技巧)常见的编码问题一个网站想要有很好的排名,是由很多因素共同决定的,其中,有一条很重要,那么就是:一个页面拥有简洁的代码很重要(Google的移动优先索引)。这样会让搜索引擎更容易辨别页面重要的内容。

    来源:沐笙云网络工作室--沐笙

    本站所有视频和图片均来自互联网收集而来,本网站只提供web页面服务,并不提供资源存储,也不参与录制、上传 若本站收录的节目无意侵犯了贵司版权,请发邮件至msywlgzs@qq.com (我们会在3个工作日内删除侵权内容,谢谢!)

    RSS订阅  -  百度蜘蛛  -  谷歌地图  -  神马爬虫  -  搜狗蜘蛛  -  奇虎地图  -  必应爬虫

    © 2020 www.msyyy.cc Theme by 沐笙网