<dd id="fwsuh"></dd><dd id="fwsuh"></dd>


  • <rp id="fwsuh"></rp>

        <em id="fwsuh"><acronym id="fwsuh"><u id="fwsuh"></u></acronym></em>

        每個路徑之前都要包含:"/"
        增加限制目錄
        谷歌為xml格式,百度為html格式
        增加Sitemap

        默認-所有搜索引擎:
        檢索間隔:
        國內搜索引擎

        百度
        SOSO
        搜狗
        有道
        國外搜索引擎

        谷歌
        Bing
        雅虎
        Ask/Teoma
        Alexa/Wayback
        Cuil
        MSN Search
        Scrub The Web
        DMOZ
        GigaBlast
        特殊搜索引擎(機器人)

        Google Image
        Google Mobile
        Yahoo MM
        Yahoo Blogs
        MSN PicSearch

             

        提示:請將以下結果保存到記事本,命名為robots.txt上傳到網站根目錄(點擊復制可復制全部結果)
        生成的robots結果:

        在線robots文件生成工具:Robots.txt 是存放在站點根目錄下的一個純文本文件,并且該文件是可以通過互聯網進行訪問


        什么是robots.txt文件?

        1,Robots.txt 是存放在站點根目錄下的一個純文本文件。雖然它的設置很簡單,但是作用卻很強大。
        它可以指定搜索引擎蜘蛛只抓取指定的內容,或者是禁止搜索引擎蜘蛛抓取網站的部分或全部內容。
        2,robots.txt(統一小寫)是一種存放于網站根目錄下的ASCII編碼的文本文件,
        它通常告訴網絡搜索引擎的漫游器(又稱網絡蜘蛛),此網站中的哪些內容是不應被搜索引擎的漫游器獲取的,
        哪些是可以被(漫游器)獲取的。

        3,如果想單獨定義搜索引擎的漫游器訪問子目錄時的行為,那么可以將自定的設置合并到根目錄下的robots.txt,
        或者使用robots元數據。
        4,因為一些系統中的URL是大小寫敏感的,所以robots.txt的文件名應統一為小寫。robots.txt應放置于網站的根目錄下。

        5,robots.txt協議并不是一個規范,而只是約定俗成的,所以并不能保證網站的隱私。
        注意robots.txt是用字符串比較來確定是否獲取URL,所以目錄末尾有與沒有斜杠“/”表示的是不同的URL。robots.txt允許使用類似"Disallow: *.gif"這樣的通配符。
        6,Robots協議是國際互聯網界通行的道德規范,基于以下原則建立:1、搜索技術應服務于人類,
        同時尊重信息提供者的意愿,并維護其隱私權;2、網站有義務保護其使用者的個人信息和隱私不被侵犯。

        robots.txt文件使用方法


        1,Robots.txt 文件應該放在網站根目錄下,并且該文件是可以通過互聯網進行訪問的。
        例如:如果您的網站地址是 http://www.xxx.com/那么,該文件必須能夠通過 http://www.xxx.com/robots.txt 打開并看到里面的內容。

        在線工具導航