搜索引擎使用爬虫或网络机器人来爬取和索引您的网站。对于许多网站所有者而言，为其网站内容编制索引对于提高其在线知名度并从而增加其网站内的流量非常重要。但是，在某些情况下，您不希望您的网站被编入索引。这些原因实际上可以让您思考如何阻止搜索引擎索引您的网站。
可以阻止您网站中的资源或页面出现在 Google 搜索中。在本文中，我们将研究如何阻止和阻止搜索引擎将您的网站编入索引。
索引与在 Google 中列出
索引
索引是收集网站内容数据并将其下载到搜索引擎服务器，然后通过将数据添加到其中央数据库（索引）来存储数据的过程。
索引过程之前是爬行，搜索引擎倾向于扫描网络以识别任何新的或更新的内容。该内容又用于索引。
与通过执行多个查询来搜索所有内容相比，索引将能够更快地呈现与搜索查询相关的数据，因为内容是有组织的。
清单
列表主要涉及在搜索引擎结果页面 (SERP) 中呈现您的网站。
如果一个网站显示在搜索引擎结果页面中，则意味着该网站已被编入索引。下面是一个示例截图：
然而，索引实际上并不意味着您的网站将在 SERP 中列出。
同样重要的是要注意，不必为网站编制索引就可以将其列出。如果有指向站点域或任何其他网站内容的链接，那么 Google 将使用它。
您想要阻止搜索引擎索引您的网站的原因
1.创建开发站点时
作为网站所有者，在大多数情况下，您希望先在开发环境中创建网站，然后再将最终网站投入生产。
但是，您不希望您的开发站点内容被 Google 索引，这反过来会导致与您的生产站点的竞争。在这种情况下，您需要在开发站点中禁用索引以避免这种情况。
2.私人内容
如果您的网站包含您不希望搜索引擎访问的私人内容，您可以选择阻止此类网站被索引。
这种情况的一个示例可能是，如果您的网页只有在用户订阅或只有当用户登录时才能访问。此类内容不应该可用于索引。
3.被黑/受损的内容
在您的网站被黑客入侵并因此受到威胁的情况下，这会对您的网站用户构成安全威胁，尤其是在涉及电子商务网站时。
为了帮助降低此类风险，最好对站点进行索引甚至删除。
4.重复内容
有时，您的网站中实际上可能有重复的内容，尤其是在涉及产品页面可能看起来相似的电子商务网站时。但是，在您的网站中包含重复的内容实际上会导致 Google 的处罚。
因此，重要的是要对您网站内的任何重复内容进行索引，以避免受到处罚。
5.过时的内容
在某些情况下，您可能有一个网站呈现过时的信息，因此搜索结果将包含此信息。反过来，此类信息可能会误导网站访问者。
因此，最好阻止搜索引擎在这种情况下为此类内容编制索引。
6.泄露信息
如果内容过早地向公众提供，那么您需要阻止搜索引擎将此类内容编入索引或取消发布该网站。这将有助于使此内容无法访问。
7.有害内容
在您可能认为对您的网站有害的内容的情况下，您可以考虑取消对该网站的索引。例如，如果您的网站被黑客入侵并添加了恶意信息，就会出现这种情况。
如何阻止搜索引擎抓取和索引您的网站
如果您想阻止搜索引擎抓取您的网站并将其编入索引，可以考虑多种方法。我们将按顺序研究其中一些方法，并探索它们如何帮助实现这一目标。
通过默认的 WordPress 搜索引擎可见性复选框
此方法使您能够阻止搜索引擎直接从 WordPress 仪表板抓取您的网站。为了实现它，您需要：
i) 使用管理员帐户登录到您的 WordPress 仪表板
ii) 导航到 WordPress 仪表板中的设置 > 阅读部分
在“搜索引擎可见性”部分中，启用“阻止搜索引擎索引此站点”选项
iv) 保存您的更改
执行上述操作后，以下代码将添加到您的站点标题中：
<meta name="robots" content="noindex, nofollow">
robots.txt 文件也修改为：
User-agent: *
Disallow: /这将有助于阻止搜索引擎索引您的网站。然而，重要的是要注意，虽然这些更改有助于阻止网站引擎对您的网站编制索引，但是否满足请求取决于各个搜索引擎。
修改 Robots.txt 文件（手动）
与上述方法类似，这被认为是修改 robots.txt 文件的手动方法。
为了实现这一点，您需要：
1， 通过Filezilla等 FTP 软件访问您的站点文件
2，在您网站文件的根目录中，检查 robots.txt 文件。在大多数情况下，这个文件基本在 public_html 文件夹中。
找不到这个文件的话自己创建一个就可以了
3，将以下代码添加到robots.txt 中：
User agent: *
Disallow: /4，保存您的更改
您还可以通过在 Disallow: 部分中添加子目录和 slug 来禁止对特定页面进行索引。方法是：
User agent: *
Disallow /blog/this-is-a-link-to-our-website密码保护您的网站
搜索引擎无法抓取受密码保护的网站，因为它们无权访问它们。这使得密码保护您的网站成为防止对您的网站编制索引的最合适的方法之一。
您的网站的密码保护可以通过多种方法实现：
1， 通过您的主机控制面板进行密码保护,2，使用密码保护插件
通过您的主机控制面板进行密码保护
各种主机控制面板在网站内实施密码保护方面有不同的步骤。在我们的例子中，我们将使用 cPanel 的示例。
为了通过 cPanel 对您的网站进行密码保护，您需要执行以下操作：
1， 登录您的 cPanel 帐户,
2，导航到文件部分并选择“目录隐私”
3， 选择您网站的根目录。在我们这里的例子中，这将是public_html / buddybuilder,
4，单击旁边的“编辑”操作
5， 启用“密码保护此目录”选项并保存您的更改
6， 通过单击“返回”链接返回上一步，并在新的“创建用户”部分中，设置用于访问网站的新用户帐户。
完成此操作后，搜索引擎将无法抓取您的网站。
使用密码保护插件
在此选项中，您可以考虑使用受密码保护的插件。为了设置插件，您需要执行以下操作：
1， 导航到 WordPress 仪表板中的插件 > 添加新部分并搜索“密码保护”
2， 安装并激活插件,
3 导航到 WordPress 仪表板中的设置 > 密码保护部分
4 启用“密码保护状态”选项并填写您的密码
5 指定站点将保持受保护的天数
6 保存您的更改
需要注意的是，在这种方法中，一旦在浏览器中直接访问图像等文件，就不会应用密码保护，因此可以轻松访问图像。
从 Google 搜索中删除网站
如果您的网站已被 Google 编入索引，并且您希望从搜索引擎中删除该网站，您可以执行以下操作：
i 访问 Google Search Console：https ://search.google.com/search-console/
ii 使用您的帐户详细信息登录。如果您没有帐户，您可以从上面的同一链接创建一个帐户并添加一个属性。以下是有关如何执行此操作的指南：https: //support.google.com/webmasters/answer/34592?hl=en
iii 在左上角，选择带有您要删除的 URL 的属性
iv 点击“删除”部分
v在“临时删除”选项卡中，单击“新请求”按钮
vi 在呈现的弹出窗口中的“临时删除 URL”选项卡上，您将有两个选项“仅删除此 URL”和“删除所有具有此前缀的 URL”。
如果您只想删除指定的 URL，例如特定的博客文章，则需要填写其 URL 并选择“仅删除此 URL”选项。
另一方面，如果您希望删除根域和与之关联的任何其他 URL，则需要填写您的 URL 作为根域并选择“删除具有此前缀的所有 URL”选项。
vii 单击“下一步”按钮提交您的请求。
请务必注意，一旦完成此操作，Google 将暂时从搜索引擎中删除您的网站。这通常是 6 个月，此后您的 URL 可以再次重新索引，这就是为什么“阻止搜索引擎抓取和索引您的网站”至关重要的原因。
结论
有很多原因可以选择阻止搜索引擎将其网站编入索引。在本文中，我们研究了其中一些原因，以及您可以考虑采取的一些方法，以阻止搜索引擎将您的 WordPress 网站编入索引。
使用默认的 WordPress 搜索引擎可见性框方法或修改 robots.txt 文件方法对某些搜索引擎可能并不完全有效，因为有些搜索引擎可能仍会抓取您的文件或图像。我们强烈建议将这些方法与密码保护配对。这可以防止搜索引擎访问您的任何网站内容。
