robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看和抓取的，哪些是不必查看和抓取的。當搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。
軟優(yōu)化建議，僅當您的網站包含不希望被搜索引擎收錄的內容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容，請勿建立robots.txt文件。國內著名的電商網站淘寶網為了網站的數據不外泄，對所有搜索蜘蛛進行了屏蔽。
這樣做的好處在于，更好的保護網站的隱私，比如后臺文件，用戶注冊信息等。對于SEO來說，robots.txt可以對重復內容、低質量但是用戶必須要看的內容進行屏蔽，比如關于我們，聯系我們等頁面，還有樣式、js等文件都可以通過robots.txt屏蔽，也就是給搜索蜘蛛呈現的是網站好的一面，對用戶體驗度差的進行屏蔽，避免蜘蛛對網站造成不必要的困擾。我們在屏蔽的時候一定要反復推敲，避免將有價值的內容進行了屏蔽。
在SEO應用中常見的屏蔽還有，比如你用了偽靜態(tài)技術，就出現了兩個路徑或者多個路徑，這時候就要屏蔽動態(tài)鏈接和其他鏈接，避免出現多個鏈接的情況，保證每個頁面訪問路徑的唯一性。
35058302350743號
