未来赚客服QQ899011
开启辅助访问
切换到窄版
收藏本站
登录
立即注册
快捷导航
30元开通VIP会员
搜索
搜索
首页
创业项目大全
创业项目大全
精品创业项目
精品创业项目
自主创业经验
自主创业经验
虚拟资源网盘
虚拟资源网盘
最新创业资讯
最新创业资讯
互联网创业论坛
互联网创业论坛bbs
AI助手
本版
帖子
用户
未来创
»
互联网创业论坛
›
创业教程大全【免费】
›
网络创业赚钱【好文分享】
›
如何屏蔽搜索引擎抓取?
返回列表
发新帖
如何屏蔽搜索引擎抓取?
[复制链接]
3931
|
4
|
2020-4-19 16:20:05
|
显示全部楼层
|
阅读模式
作网站运营尤其是网站排名优化的时候,我们总想着如何来引导搜索引擎蜘蛛来爬行网页,收录。然而,很多时候一些网站因为所真对的用户群体和目标地区不同,并不希望获得搜索引擎的光顾,这个时候我们要如何来解决呢?今天和笔者小丹一起来研究一下吧!
当我们看到要屏蔽抓取的时候,大多数SEOer想到的都是robots.txt文件。因为在我们的认知中,robot文件可以有效的杜姐搜索引擎抓取某些页面。但是要知道,虽然这个方式很不错,但是更多时候小丹认为它比较适合于在网站没有完成,为了避免之后的死链或者考察期而存在的。
若单单为了屏蔽某个搜索引擎的抓取,我们大可不必为空间造成负累,只要使用一点简单的代码即可。例如,我们要屏蔽百度蜘蛛的抓取<meta name="Baiduspider" content="noarchive">即可。当然这仅仅是屏蔽百度抓取的方式,如果想要任何一个搜索引擎,只要将Baiduspider更换为改搜索引擎的蜘蛛即可。
常见搜索引擎蜘蛛名称如下:
1、baiduspider 百度的综合索引蜘蛛
2、Googlebot 谷歌蜘蛛
3、Googlebot-Image 专门用来抓取图片的蜘蛛
4、Mediapartners-Google 广告联盟代码的蜘蛛
5、Yahoo Slurp 雅虎蜘蛛
6、Yahoo! Slup China 雅虎中国蜘蛛
7、Yahoo!-AdCrawler 雅虎广告蜘蛛
8、YodaoBot 网易蜘蛛
9、Sosospider 腾讯SOSO综合蜘蛛
10、sogou spider 搜狗综合蜘蛛
11、MSNBot Live 综合蜘蛛
但,如果你要屏蔽所有的搜索引擎,那么就要使用robot文件了:<meta name="robots" content="noarchive">。
到这里很多朋友获取应该明白了,在代码中禁止建立网页快照的命令是noarchive。所以,如果我们对于搜索引擎有限制,就根据自己的禁止快照对象,将代码加在网页的<head>与</head>直接即可;反之,在不要添加任何一条代码,就可以保证各大搜索引擎能够正常访问网站并且建立快照。
(转载请注明转自:笔者小丹,谢谢!珍惜别人的劳动成果,就是在尊重自!)
————————————————
版权声明:本文为CSDN博主「canyueyunlei」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:
https://blog.csdn.net/canyueyunlei/java/article/details/50379434
如何
,
屏蔽
,
搜索引擎
,
抓取
未来赚论坛免责声明:访客及用户必看
下载说明:
点我捐助本站VIP
回复本贴即可获取下载地址
注意:
资源文件夹或视频里有他人联系方式或水印,添加前请谨慎!私下联系交易有损失的,本站不负责!
本文章/资源等转载于网络,版权归原作者所有! 若有疑问请看下面三条详细协议!
①用户协议
②免责声明
③使用条款
相关帖子
•
我是如何在闲鱼卖手机的,日发300单的秘诀是什么?
•
纯小白如何通过玄学项目月入过万保姆级教程
•
23天AI创作特训营,如何利用AI高效生产90分的优质内容(更新)
•
一个人如何利用微信群自动群发引流,一星期装满200个群,日入500+
•
如何制一门·好课:从标题文案 内容 海报,全面手把手保姆级实战教你做课
•
企业如何玩转抖音电商培训班,6大维度,6位老师,线上揭秘抖音商家入局SOP
•
IP师资班,如何做好老师,如何做好课程,高产出课高手带你做好知识付费
•
年赚百万的知识付费网站是如何搭建的(超详细保姆级教程)
•
如何蹭热点一天销售250w+?附引流实操!
•
如何用小红书群聊日引300+精准粉丝【揭秘】
•
如何免费领取一部苹果手机(仅做揭秘)
•
最新6月份《如何设计一套100%赚钱的项目系统》
•
如何利用小红书矩阵化带货,实现两个月营收30万+
•
适合小白的蓝海项目,如何利用PPT模板轻松变现,一部手机简单操作月入过万
•
新号0粉开播,如何高效起号?新号破流量拉精准逻辑与方法,引爆直播间
•
付费 占比高,如何优化?只讲方法,不说废话,高效解决问题
•
抖音涨粉升级新玩法,教你抖音号如何快速涨粉5000+【揭秘】
•
新手小白如何通过卖项目年入50W【揭秘】
•
如何靠游戏租赁业务一个月收入5w+【揭秘】
•
各大自媒体平台如何留微信号,详细实操教学
未来创论坛将为您提供最新、最全面的创业项目、创业资讯,让您在千万创业项目中找到合适自己的项目,在互联网上创造属于自己的一笔财富。
回复
使用道具
举报
返回列表
发新帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
那点事
1万
主题
1万
帖子
5万
积分
积分
50301
加好友
发消息
回复楼主
返回列表
精品创业项目【免费学习】
最新活动资讯【每日更新】
引流推广技术【每日更新】
网络创业赚钱【好文分享】
编程开发技术【免费学习】
建站SEO技术教程【免费学习】
图文推荐
小红书精准引流,减肥、祛痘、创业粉单人日引100+(附软件)
2023-08-14
新版SEO点对点引流速成课 让你的广告内容当天上首页
2023-08-09
2023最强蓝海项目,闲鱼无货源电商,无风险易上手月赚10000 见效快
2023-08-09
全新儿童特效玩法,引爆流量,月入100000+
2023-08-09
口播类项目拆解,十分钟一条视频,百分百起号
2023-08-03
热门排行