如何为Magento创建完美的Robots.txt

如果您运行基于Magento的电子商务,则默认情况下,可能会在您的网站上添加一个所谓的robot.txt文件,以防止搜索引擎将您的网站编入索引。当您甚至没有真正的价格,产品或服务时,它可能会在开发阶段发生。您的网站不会出现在搜索引擎结果的顶部。实际上,可以通过Magento管理面板选项轻松设置和修复此程序。

在Magento中使用robots.txt的优势

另一个问题是需要什么样的机器人。搜索引擎倾向于派小蜘蛛来搜索您的网站,以获取信息作为回报。这样做是为了使您的页面在搜索结果中建立索引。好吧,Robots.txt是让搜索引擎知道不鼓励其在何处建立索引的最佳方法。除搜索引擎外,这些机器人可以自动执行特定功能以进行HTML和链接验证。该文件的目的是隐藏网站的Javascript,SID参数,并防止内容重复。它有助于改善您的 Magento SEO 并减少服务器资源量。最后,这些程序通过指定抓取延迟来帮助减少其他网络机器人在带宽分配上的占用空间。因此,有足够的理由让Magento机器人参与其中。但是,正确地进行操作至关重要。

你应该知道的事

在决定安装Robots.txt文件之前,您应该知道其设置一次覆盖1个域。如果您有任何子域(例如shop.example.com),则需要一个单独的robots.txt。当您经营多个在线商店时,有意义的是为每个商店涉及单独的文件。总体而言,实现Robots.txt函数的过程非常简单:它只不过是一个文本文件,因此任何人都可以在首选文本编辑器的帮助下快速创建它。您可以在DreamWeaver,记事本,vim和其他代码编辑器之间进行选择。存在一系列不同的机器人。例如,Googlebot和Bingbot可以用作搜寻器。 真正重要的是,一旦启动了Robots.txt文件,它应该驻留在根目录中:例如,如果您的商店域是www.e-store.com,则应在该域下插入robots.txt根目录,其中也存在应用程序目录。然后将以www.e-store.com/robots.txt访问。将此文件保存在任何目录或子目录下是没有用的。 在Magento网站上使用robots.txt时,还有两个必要的注意事项:
  • 该文件是公开可用的,因此任何人都可以看到您的服务器上不必要的选择
  • 机器人可能会忽略该文件,尤其是能够扫描Web上的安全漏洞的恶意软件。

安装过程和技巧

有多种安装Magento Robots.txt的方法。首先,让我们讨论一下如何手动进行。自2010年以来,此文件可在网上获得。复制下面提供的内容足以将其粘贴到新创建的名为Robots.txt的字段中。将文件上传到网站的根目录之前,必须更改Sitemap.xml的位置(即使Magento安装在子目录中)。 byte.nl提供了该版本的robots.txt作为最佳版本。

为Magento安装Robots.txt的另一种方法是遵循以下简单指南:

  1. 首先下载robots.text文件(有很多可用的资源)。
  2. 每当您的Magento安装在子目录中时,您都必须相应地修改robots.txt文件。例如,这意味着改变‘Disallow: /404/’ to ‘禁止:/ your-sub-directory / 404 /’ and ‘Disallow: /app/’ to ‘禁止:/ your-sub-directory / 应用程式 /’.
  3. 检查您使用的域是否具有sitemap.xml,然后将URL添加到sitemap.xml中。
  4. 是时候将robots.txt文件上传到您的根文件夹了。只需将文件放在‘httpdocs/’目录。它可以通过两种方式完成:通过使用凭据登录“控制面板”,以及通过偏好的FTP客户端。

有用的工具来检查您的Robot.txt

为确保正确设置Robots.txt,请尝试使用下面列出的工具之一。他们会帮助您分析代码并纠正错误(如果有的话)。 最简单,最可靠的方法是使用Google网站站长工具。它可让您直接从管理面板免费检查robots.txt。 To do so you SH ould:
  1. 前往Google网站管理员
  2. 点击«Search Console»
  3. 输入您的网站名称
  4. 单击“仪表板”面板中的“抓取”
  5. 在下拉菜单中选择“ Robots.txt测试器”
  6. 在斜杠后的行中键入《 Robots.txt》
  7. 点击«测试»按钮
  8. 请享用
1 如果您想尝试其他选项,并且由于某些原因避免使用Google网站站长工具,请注意这些工具,这些工具也可以帮助您检查设置:

对于Magento后端

这涉及到为robots.txt文件应用扩展名。您可以下载特殊的工具来生成Magento的robots.txt,而不用花全部时间在手。通过设置,您可以更改一些主要选项。好消息是,除了标准设置外,您还可以添加自己的规则。

重新索引robots.txt

搜索引擎通常会读取更改过的Magento robots.txt太长时间。诸如 GWT 可以指向您的网站上一次被索引的时间。如果您希望Google或其他搜索引擎早于24小时或一百次访问获得最新版本,则可以使用 标头缓存控制 在您的.htaccess文件中。将此语句应用于您的.htaccess文件: 总体而言,大多数Magento代理商在robots.txt方面的做法都非常相似。最好在复制/粘贴任何建议的代码之前获得适当的咨询,以免损坏在线Magento或Magento 2商店。 如果您对我在本博文中提到的任何问题或与Magento有关的任何问题有任何疑问,请随时 通过此表格给我留言。 我在团队表演中 Magento SEO审核 适用于大型Magento项目。

在robots.txt方面需要帮助吗?

奥列格·叶姆丘克(Oleg Yemchuk)

分享:

发表评论

您的电子邮件地址不会被公开。 必需的地方已做标记 *