對使用者無用的頁面，例如以程式設計方式產生的內容 希臘電子郵件列表 從搜尋引擎訪問時不利的頁面，例如測試頁面和會員專用頁面 例子包括。 下面將更詳細地解釋每個頁面的內容。 低品質的內容 您應該阻止的第一件事是如果被抓取將對搜尋引擎優化不利的頁面。 例如，這對於網站結構可能是必要的，但類似的內容已經存在於其他頁面上，並且可能被視為複製內容。此外，聯絡頁面和感謝頁面不是為了吸引關鍵字客戶而發布的頁面。 如果你封鎖了這些“對SEO沒有意義的頁面”，所有發表的文章都將是高品質的，你的網站的整體評價將會提高。 對使用者來說毫無意義的頁面 根據您的設置，某些頁面可能會由程式自動產生。使用 CMS 時，可能會建立一個僅列出標籤和類別的頁面。沒有用戶費心去搜尋這些，因此不需要對它們進行爬行。
您不想看到的頁面 從搜尋引擎造訪某些頁面時會出現問題。 尤其， 測試中的頁面 僅限會員頁面 與系統相關的頁面，例如WordPress管理螢幕（出於安全原因，您應該避免可以從外部存取它們的情況） 例如隱藏頁面*，沒有來自網站的線索。 *例如，具有電子郵件通訊連結的特殊頁面。對於這種頁面，我認為它通常是與網站的引導分開的頁面。如果您可以從搜尋引擎存取它，則訪問您的電子郵件通訊的客戶將失去他們的特殊感覺。 什麼時候使用 URL 刪除工具比較好？ 這裡我們介紹一些防止您的網站被搜尋引擎列出的方法，但是有時您可能想要刪除已經被搜尋引擎抓取的頁面的索引。 例如， 如果您已刪除您的網站或頁面，並且無法從搜尋引擎中找到它。 如果您的測試頁索引不正確 等都適用。