网盈教育

网络营销学院

网络营销课程

明星学员

网络营销诊断

1.免费试听网络营销课程
2.专家一对一指导答疑解惑
3.诊断企业网络营销漏洞

姓名:

电话:

网址:

 QQ:

如何设置robots.txt文件(seo培训手册)
日期:2012年08月14日 来源:网络 作者:网盈教育 人气度:1245

 

 

  首先seo培训sem培训专家带大家了解什么是robots.txt?robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 robots.txt是一个网络协议,每个搜索引擎都遵循这个协议。所以我们可以通过这个robots.txt来控制蜘蛛的抓取。robots.txt的存放位置是根目录下面,而且robots.txt必须是小写,这样搜索引擎才会遵循这个协议。那是要是没有robots.txt文件的话可能服务器会记录404错误。由此可见robots.txt是多么重要那。

 

  robots.txt文件如何设置?

  1、User-agent: 定义搜索引擎的类型;

   2、Disallow: 定义禁止搜索引擎收录的地址;

   3、Allow: 定义允许搜索引擎收录的地址;

 

  单独一行每个命令单独一行。 * 这里的*代表的所有的搜索引擎种类,*是一个通配符 。一些规则请参考正则表达式。我网站上所有的文件都需要被蜘蛛抓取,那我就没必要添加robots.txt文件了。反正如果该文件不存在,所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误文件(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误文件,所以你应该在网站中添加一个robots.txt。

 

  http状态码

  当服务器收到某项请求时,例如,用户通过浏览器访问你的网页,服务器会向这个浏览器返回一个代码以响应请求。该代码就称为:HTTP状态码。

 

  Seo培训sem培训专家再补充一下:HTTP状态码分为用户返回状态码和蜘蛛返回状态码,我们只要了解蜘蛛返回的状态码即可,HTTP状态码通常都是从100开始,但是实际上100以内还有很多的HTTP状态码,比如64状态码、不同的K站时蜘蛛返回的状态码等。

  1xx 消息 100 Continue

  2xx 成功 200 OK+ b% X& S! b& Y: J  E

  3xx 重定向 300 Multiple Choice

  4xx 请求错误 400 Bad Request

  5xx 服务器错误 500 Internal

  这些是常见的http状态码网盈教育seo培训sem培训机构专家就拿404举例一下。

 

  软404:针对不存在的网页,服务器却不是返回404状态码,而是返回200状态码(表示网页存在并能正常访问)。

网盈5大承诺

1、所教方法应用于实际工作,业绩 不提升全额退款!
2、推荐高薪就业并长期指导,否则全额退款!
3、不满意可全额退款!(6课时以内)
4、毕业时可考试获得国家工信部职 业技能水平证书!
5、20天学会,不会免费重学!

更多>>

网盈学院教您:

  • 1、快速掌握目标客户的网上活动规律
  • 2、找出影响网上业绩的所有漏洞
  • 3、几十种免费网上推广方法
  • 4、让网站访问客户快速提升3-20倍
  • 5、让客户在网上主动向你下订单
  • 6、在网上获得大额订单

更多>>

哪些人最适合学习网络营销

  • 1. 助老板抢占新市场
  • 2. 助大学生高薪就业
  • 3. 助创业者低成本创业
  • 4. 助职员升职加薪
  • 5. 助销售人员多找客户
  • 6. 助设计师身价倍增

更多>>

常见问题解答(FAQ)

课程的费用是多少?
您的课程价格取决于您学习的长度和级别。我们建议您来我们学校进行免费的水平测试

国家网络营销师证书报考中心-武汉网盈教育科技有限公司©版权所有

电话:400-0123-709    ICP12008887

法律顾问:武汉市委、市政府律师顾问团成员-湖北山河律师事务所熊桓律师

网站策划:网盈教育[国内顶尖的电子师商务培训,网络营销师,武汉淘宝培训,网络营销培训,网络推广机构,提供实战网络营销课程,电子商务课程,如何开网店培训服务]    网站地图