您现在的位置是：网站首页 > 网站建设 > SEO技术SEO技术
【原】关于机器人协议robots.txt的一点儿看法
不忘初心
2019-03-14
围观()
评论()
点赞()
【SEO技术】
简介：近期在使用Google的站长工具时，发现了一个让我很震惊而又觉着很好玩的事情，有人利用网站的搜索结果打广告。。。一瞬间就让我反应过来，我的机器人协议写的不够好，
近期在使用Google的站长工具时，发现了一个让我很震惊而又觉着很好玩的事情，有人利用网站的搜索结果打广告。。。
一瞬间就让我反应过来，我的机器人协议写的不够好，并没有将这类搜索结果展示的页面给屏蔽掉，而这个人刚好利用了这个漏洞，真的是让我蛮佩服的，这个广告打得我真的是服气。
我之前试过写robots.txt之后，依旧还是有大大小小的爬虫来爬取我的网站，所以我一度认为这玩意儿没有什么鸟用，所以也就没在意了。哎，大家千万要引以为鉴，不要像我一样，网站中该屏蔽的接口就老老实实屏蔽了，千万别偷懒，否则一不小心就为他人做了嫁衣不说，还把自己网站给坑死了！！！
看完文章，有任何疑问，请加入群聊一起交流！！！
扫码关注本站微信公众号，第一时间获取网站更新动态！
本文地址：https://www.jiweichengzhu.com/article/d65be9cab700425f840398d3c0c11024
关于转载：若站内作品和文章得到了你的青睐，欢迎各位朋友分享到个人站长或者朋友圈，但转载请注明文章出处和原文链接！
很赞哦！ ()
下一篇：事务的特性和隔离级别
相关文章
- IntelliJ IDEA 2024.2发布之后强推新UI，如何恢复老的经典UI界面
- Uninstall hasn't detected folder of intelli] lDEA installation. Probablyuninstall.exe was moved from the installation folder.
- 公众号CPS变现新宠：微赚淘客查券返利机器人，开启智能省钱赚钱新时代
- 高返利优惠券公众号推荐
- 返利公众号可信吗安全吗？返利机器人哪个佣金高？
- 唯品会购物返利公众号大揭秘：哪些真正好用的返利公众号？
- 饿了么优惠券免费领取：哪些公众号值得推荐？
- 哪些有用可靠的微信公众号能领淘宝优惠券？
- 微信返利最高的微信号推荐——让你的购物更加实惠！
- 微信返利最高的微信号推荐
标签云
猜你喜欢
- IntelliJ IDEA 2019.2已经可以利用补丁永久破解激活了
- IntelliJ IDEA 2019.3利用补丁永久破解激活教程
- IntelliJ IDEA高版本最灵活的永久破解激活方法（含插件激活，时长你说了算）
- Jetbrains全家桶基于ja-netfilter的最新破解激活详细图文教程
- IntelliJ IDEA 2022.1永久破解激活教程（亲测可用，持续更新）
- 分享几个正版 IntelliJ IDEA 激活码（破解码、注册码），亲测可用，持续更新
- ja-netfilter到底需不需要mymap，2021.3.2版本激活失效？
- 如何激活idea2022.1及以上版本中的插件（亲测可用）
- 【史上最全】IntelliJ IDEA最新2022.1版本安装和激活视频教学（含插件）
- IntelliJ IDEA 2022.2 版本最新2099年永久激活方法，亲测可用，也可以开启新UI了。
站点信息
- 网站程序：spring + freemarker
- 主题模板：《今夕何夕》
- 文章统计：篇文章
- 标签管理：标签云
- 微信公众号：扫描二维码，关注我们