全国服务热线:4008-888-888

行业新闻

CCbot搜索引擎蜘蛛给你见过吗? 好意头非凡ge

不清晰您的网站流量统计中是不是有出現过一个不太普遍的CC搜索引擎蜘蛛,浏览名字为:CCBot/2.0,下边大家实际来啦解一下CCbot是啥搜索引擎蜘蛛?

一. CCbot是啥搜索引擎蜘蛛?

CCbot,全名为Common Crawl Bot,是一个非盈利性股票基金会致力于于出示能够被全部人浏览和剖析的Web爬网数据信息的对外开放储存库。

二. 你怎样解决CCbot搜索引擎蜘蛛?

方式1. 应用robots.txt

应用robots.txt文档来容许或严禁搜索引擎蜘蛛浏览网页页面的管理权限。robots.txt是放到网站网站根目录中,搜索引擎蜘蛛到访问时候先搜索并查询robots.txt文档,并遵循robots协议书到访问网站在的內容,容许浏览则浏览,不容许浏览搜索引擎蜘蛛则离去。

①. 不容许一切搜索引擎蜘蛛浏览您站点的一切一部分

User-agent:*

Disallow:/

②. 容许一切搜索引擎蜘蛛浏览您站点的一切一部分

User-agent:*

Disallow:

③. 不容许CCbot搜索引擎蜘蛛浏览网站的一切一部分

bot

Disallow:/

④. 容许CCbot搜索引擎蜘蛛浏览您站点的一切一部分

bot

Disallow:

⑤. 容许CCbot搜索引擎蜘蛛浏览您站点,但不容许CCbot浏览 wp-admin 文档夹

bot

Disallow:/wp-admin

方式2. 应用元标识

能够在网页页面中应用元标识来协助操纵模块搜索引擎蜘蛛对您网站的浏览管理权限。假如您为全部网页页面应用模版,则能够在和中间加上元标识, 它将可用于应用该模版的全部网页页面。假如要操纵特殊网页页面,能够在和中间的每个网页页面上加上元标识 。

①. 容许全部搜索引擎蜘蛛浏览您的网页页面

②. 容许全部搜索引擎蜘蛛浏览您的网页页面并追踪网页页面上的连接

③. 容许全部搜索引擎蜘蛛浏览您的网页页面,但不容许她们追踪连接

④. 不容许一切搜索引擎蜘蛛浏览您的网页页面

⑤. 容许CCbot浏览您的网页页面

⑥. 不容许CCbot浏览您的网页页面

⑦. 容许CCbot浏览您的网页页面并追踪大量网页页面的连接

假如你一直在网站流量统计中也发觉了CCbot,不必慌乱,你接下去必须做的便是是容许它再次爬取還是严禁爬取?May本人感觉这种搜索引擎蜘蛛沒有多少的实际意义,一旦发觉这种搜索引擎蜘蛛爬取较为经常,最好的方法便是严禁这种搜索引擎蜘蛛再次浏览大家的网站。

原創:MAY的SEOblog 没经容许,请勿转截!



在线客服

关闭

客户服务热线
4008-888-888


点击这里给我发消息 在线客服

点击这里给我发消息 在线客服