宣告方式 :

 

User-agent : *    => 指適用所有引擎

User-agent : baiduspider  => 指只適用百度

User-agent : googlebot =>指只適用google

 

Disallow : /tmp/  =>  各行要分開寫

Disallow : /cgi-bin/

 

Allow : *.htm = > 同意所有 htm 副檔可以檢索

Disallow : /*.htm = > 不同意所有 htm 副檔可以檢索