0771-39091830771-3909183
        答疑解惑
        網站建設
        程序開發
        網絡安全
        網絡安全

        什么是robots,怎么寫法?

        作者:立絡科技2023-09-05訪問量:869
              我們了解過什么是搜索引擎蜘蛛后,就應該了解下什么是robots.txt,因為前面介紹搜索引擎蜘蛛是按照鏈接爬行的,有的時候我不希望搜索引擎蜘蛛爬行并抓取,比如網站后臺文件,如果地址被抓取暴露出來,那后果不是很嚴重嗎?那么是否有制約搜索引擎蜘蛛的規則或文件呢?
        www.foreverlivingnow.com
        什么是robots.txt

              當搜索引擎爬行到某個網站的時候,首先第一查看的文件就是robots.txt,查看是否存在,如果存在那么網站的哪些文件不允許爬行,就像道路交通一樣,某些道路無法通行。而robots.txt就像交警的存在,明確指示著某條道路不能通行,如果不存在,那么網站所有頁面將均可以被蜘蛛爬行并收錄。

        robots.txt的寫法

        robots.txt必須放置在一個站點的根目錄下,而且文件名必須全部小寫。格式例如:

        User-agent: *
        Disallow: /admin/ <后臺管理文件>
        Disallow: /require/ <程序文件>
        Disallow: /attachment/ <附件>
        Disallow: /images/ <圖片>
        Disallow: /data/ <數據庫文件>
        Disallow: /template/ <模板文件>
        Disallow: /css/ <樣式表文件>
        Disallow: /lang/ <編碼文件>
        Disallow: /script/ <腳本文件>

        ? User-Agent: 遵守的規則
        ? Disallow: 要攔截的網頁

        立絡科技

        • 廣西南寧立絡網絡科技有限公司
        • 不變的信念:用技術說話,用責任說話!
        • 服務熱線:0771-3909183      電話:18260806066
        • Copyright ?2012-2024 All Rights Reserved.
        • 備案號:桂ICP備14002506號
        0771-3909183
        1. 查詢名稱:
        2. 姓名:
          *
        3. 手機號:
          *
        4. 驗證碼:
          *
        三极片黄色网站欧美不卡在线视频!|国产精品无码专区视频|亚洲中文字幕在线无码一区二区|亚洲做a爱一区二区在线观看|