Google开源robots.txt解析器 (google.com)

文章编号:50520 网络百科 2025-01-30 Google开源robots.txt解析器

大概这是七月初最重要的一条有关 搜索引擎 行业的新闻,Google公司,力推REP为 互联网 标准,并且把自己的robots.txt解析器在Github上开源了。

robots.txt,源自于1994年的时候,Martijn Koster(一个网站 站长 )在被蜘蛛过度抓取网站后,自行创建的一个初始标准,随着越来越多的网站站长的补充,追随,Rebots Exclusion protocol (REP),就诞生了,随着各大搜索引擎同站长们的良性互动,它们也都采用了这个标准。然而这个REP,始终没有成为一个互联网标准。

现在Google联合其他的几个巨头,力图把REP推动成为一个互联网标准。

开源robots.txt解析器 移动互联网

在把REP作为标准的路上,其实还是同平时站长们的使用还是有一点小小变化的,具体的表现在robots.txt不止可以用于http,还包括了FTP等基于URI的传输协议;解析器的开发者需要至少解析robots.txt的前500KB内容;还有缓存时间等等一些新的标准内容。

网站站长们如果对此有建议,有问题,等等,都可以到Webmaster Community或者twitter上联系。

就我个人的看法,这是推动站长以及搜索引擎规范化的进步,站长们有规范可遵循,搜索引擎也需要遵守,包括各种内容抓取者都需要遵守。

作者: David Yin

来源: 松松科技 QQ/微信:lusongsong7

9000本电子书免费下载 价值百万,现在仅需0元联系客服还有惊喜立即下载
全局中部横幅
8684.cn

站长之家Alexa排名查询工具提供8684.cn网站alexa排名查询,特别是能够对网站预估收入以及网站价值进行评估的功能,帮助用户更好的提升alexa排名。

摹客

摹客集设计协作平台、原型设计和设计规范为一体,数百万设计师、产品经理和开发工程师必备设计神器、交互原型、标注切图、文档管理。设计+协作,摹客就够了!

58汽车

58汽车为您提供(汽车报价,行情导购,评测试驾,二手车及汽车图片,58新车为用户打造选车购车,维修保养,口碑问答等精选内容,创建汽车类社交网络平台,58汽车让您的车生活更简单。

诸神国度

《诸神国度》是一款国创魔幻探索MMO游戏,秩序初生,邀你探索诸神国度!

新宇药业股份有限公司

新宇药业股份有限公司是以研发生产微生物药物为主的综合性制药企业。国家高新技术企业、安徽省首批技术创新型企业、安徽省产学研示范企业。公司占地300亩,总资产10亿元。

竞赛考试测评网

竞赛考试网是为深圳市全体中小学学生提供测试测评的专业服务平台。

天府菁英网

最新招聘信息,成都天府新区大量国企职位提供,最新招聘信息。天府菁英·群英慧萃,慧萃天下精英!天府菁英网(http://www.cdtfhr.com天府菁英网目前开设人事代理、招聘猎头、培训开发、档案托管、人才测评、管理咨询等业务板块,联合国内外知名、高端人力资源服务机构,搭建“选、育、用、留”全产业链人才服务平台,为新区各级单位提供最为便捷、优质、高效的人力资源服务解决方案,找工作,上天府菁英网天府菁英网!

检验检测

牵翼检验检测平台由上海牵翼网络科技有限公司自主建设和开发,为第三方检测机构、各级各类实验室提供服务展示平台,并为企业用户提供信息查询和需求征集匹配服务,功能包括:检验检测、仪器共享、实验室专区、标准查询、行业资讯、需求大厅、在线咨询等功能,旨在为机构和企业用户之间精确匹配需求,建立交易机会,推动线下交易。

Furniture

CCHHardwareismanufacturingandexportingfurniturehardwareandkitchenfittings,suchastableleg,drawerslide,hinge,handle,grommetetc.product.

吉林省包装厂,长春市包装设计,吉林长春纸箱厂

长春众合包装有限公司为您提供长春包装厂,长春市包装厂,吉林包装厂,吉林省包装厂,长春纸箱厂,长春市纸箱厂,吉林纸箱厂,吉林省纸箱厂,长春包装设计,吉林包装设计,专业团队,诚信服务,不负所托!

可道云

可道云KodExplorer(原芒果云)提供私有云存储/企业网盘/企业云盘和在线文档管理解决方案,助力企业实现办公协作、Office在线编辑、安全存储访问和组织权限控制。

团众家具回收网,办公家具回收,家具回收,卡位,屏风,办公沙发,茶台,大班台回收

团众家具回收网,我们秉持着诚信经营、全心全意为顾客服务的理念,专业高价回收二手办公家具、回收办公桌椅、回收电子电器、回收二手数码3C产品,帮您解决各类二手闲置物资问题.

全局底部横幅