当前位置:首页- 新闻中心
    爬行,抓取,索引,收录的真正含义!
    2019-5-15 11:35:55
    浏览次数:次 来源:http://www.chinanovo.net

    在seo的领域里有很多的概念,也许有些人并没有真正的了解这些概念的意义,比如爬行,索引,抓取,收录,这些到底是什么意思,有什么区别,或者说蜘蛛是怎么爬行的,哪些页面需要索引,抓取,哪些页面不想要被抓取,今天济南网站优化小编就给大家具体的讲解下这些概念。

    济南网站优化

    爬行:
    蜘蛛爬行是指从页面找到链接指向另一个页面,发现新页面的一个过程,当然,蜘蛛不是发现新的页面就立马爬向新的页面,蜘蛛会把新发现的页面存到待抓取的地址库中,蜘蛛爬行是按一定的顺序从地址库中一个一个提取想要抓取的页面。
    索引:
    索引就好像一本书的目录,起到一个搜索的作用,搜索引擎从索引库里找到用户搜索的信息,并且提取出来,所以说被索引的url是可以被搜索到的,没有被索引的信息是看不到的。索引库中的信息不仅限于被抓取来的内容,还有来自其他来源的信息,比如外链,锚文本等,可以这么说有的时候搜索引擎知道url的存在,但是不是被抓取来的。
    收录:
    收录大家都很熟悉了,就是对于用户来说能搜到的就是被收录了的,被收录了也一定在索引库中存在着,索引和收录都是用的一个英文单词index
    noindex:

    显而易见,index前面加个no就是不要索引的意思,也就是在搜索的时候找不到这个url的,此信息不要被索引也就不存在于索引库中。但是不代表页面不会被抓取,页面是正常被抓取的。

    济南网站优化

    robots:
    robots是告诉搜索引擎哪些页面不要抓取,存在在robots中的文件都不会被蜘蛛抓取,蜘蛛访问一个站点的时候首先会看下根目录中是否存在robots文件。
    nofollow:
    这也是我们经常用到的一个代码,nofollow就是告诉蜘蛛不要沿着这个链接爬行,就当此链接不存在,但是要记得只是不要爬行,不影响抓取和索引。
    可能说到这你会有点懵了,那我就再多说几句吧:
    没有被抓取的页面是可以被索引的,(上面说了索引不光是从抓取中获得的信息,别的来源的相同信息也会被索引,只要存在于索引库中,用户搜索就可以有搜索结果,就会被用户所看到)被抓取的页面是可以不被索引,(老页面加了noindex,不会立马删除索引,还会保留一段时间,但是时间长了,链接就无效了,如果你的页面没有被收录,要检查日志看是否被抓取过,如果被抓取过,那可能是因为你的内容质量被丢弃,没有收录过那要检查你的网站结构是否有问题)nofollow的链接是可以被抓取和索引的(nofollow只对这个地方的链接起作用,别的地方出现这个链接还是会被抓取和索引的)。
    今天就给大家介绍到这里啦,更多内容继续关注我吧:http://www.chinanovo.net
    上一条:没有了
    下一条:2019年小程序将会如何发展?
  • 商务洽谈
  • 客服在线
  • 技术支持
  • 人力资源