目录
简介
想象一下:您精心打造了自己的网站,对其进行了多种搜索引擎的优化,并期待在搜索结果页面中占据首位。然而,有一天,谷歌搜索控制台(GSC)给您发来了令人沮丧的警告:您网站上的某些资源被阻止。此类问题可能会阻碍您获得最佳可见性的道路。如果您经历过这种情况,您并不孤单。许多网站管理员都面临被阻止资源带来的挑战,这可能会妨碍网站的索引效率和自然搜索表现。
好消息是,解决这些被阻止的资源可能很简单,只要您知道从哪里入手。本指南不仅将为您提供基本的理解,还将提供详细的操作手册,以识别、排查并最终解决谷歌搜索控制台报告的被阻止资源。通过这些见解,您将更好地为用户和网站爬虫提供无缝的体验。
理解被阻止的资源
从本质上讲,被阻止的资源是您网站的某些部分——如图像、CSS 或 JavaScript 文件——谷歌爬虫在抓取时无法访问。当这些元素不可访问时,谷歌可能无法完全理解或如预期那样呈现您的网页,这可能导致搜索排名或功能通知的误表示,例如无法完全渲染 JavaScript。
这些阻止可能源于多种原因,包括错误的 robots.txt
配置、拒绝 Googlebot 访问的服务器设置,或像 YouTube 视频等嵌入插件和元素,这些元素的权限设置为私有。理解这些阻止的根本原因是修正它们的第一步。
为什么被阻止的资源很重要
被阻止的资源会影响您网站在用户和搜索引擎前的性能:
-
搜索引擎排名: 搜索引擎依赖其爬虫准确地解释您网页的内容。被阻止的资源意味着对您页面上下文的潜在误解,从而影响索引过程,进而影响排名。
-
用户体验: CSS 和 JavaScript 等组件对网页的设计和界面有很大影响。如果它们被阻止,用户可能会看到一个扭曲或部分功能的版本,这无意中影响了用户留存和体验。
-
移动可用性: 在移动优先索引的背景下,响应式和适当地呈现的网站至关重要。当关键资源被阻止时,可能会妨碍移动用户的查看,影响 GSC 的移动可用性报告。
识别被阻止的资源策略
利用 Google 搜索控制台
-
覆盖报告: 首先在您的 GSC 仪表板中导航到覆盖报告。该部分网站提供有关谷歌无法因被阻止资源而完全呈现的 URL 的宝贵见解。突出区域将警告您有关被阻止的 JavaScript、CSS 或图像文件。
-
以谷歌方式抓取: 使用“URL 检查”工具分析特定的 URL。单击“查看抓取的页面”以找到未能加载的资源。这提供了需要您关注的文件的第一手见解。
辅助工具和技术
-
robots.txt 测试工具: 谷歌提供了一个集成工具,可以测试您的
robots.txt
文件。使用它来模拟 Googlebot 对您网站资源的访问。 -
技术审计: 像 Screaming Frog 这样的工具可以模拟 Googlebot 抓取并识别被阻止的资源,提供对您网站的全面审查。
解决被阻止的资源
修订 robots.txt
robots.txt
文件可以指导搜索爬虫访问或避开您网站上的某些路径。确保它设置正确:
-
允许访问所有 CSS 和 JS 文件:
User-agent: * Allow: .js Allow: .css
此指令确保基本的样式和功能脚本不会被爬虫隐藏。
-
记录更改: 在修改
robots.txt
时,始终保持备份,以便在需要时了解历史设置。
调整服务器设置
错误配置的服务器设置可能会影响 Googlebot 的访问:
-
CORS 配置: 更新跨域资源共享 (CORS) 设置以允许 Googlebot。这一步骤通常可以解决资源访问问题,特别是当资源来自不同的域或子域时。
-
防火墙权限: 检查可能无意间阻止 Googlebot 的防火墙规则。确保您的设置与谷歌支持文档保持一致,以避免不必要的封禁。
验证第三方内容
嵌入的第三方内容,如广告脚本或交互式小组件,可能会导致被阻止的资源报告:
-
广告脚本和 CDN 资源: 仔细检查与从内容分发网络 (CDNs) 提供的资源相关的权限。这些报告中常常会出现来自 DoubleClick 或 YouTube 的资源,通过调整隐私设置可以解决。
-
Elementor 和隐私设置: 使用特定页面构建器的用户,如 Elementor,可能需要调整隐私设置,以确保所有视觉元素都是可爬取的。
案例研究和示例
HulkApps 与 FlyRank 的成功案例
FlyRank 成功地指导了 HulkApps,一家知名的 Shopify 应用提供商,达到了10倍的自然流量增长。通过彻底解决被阻止的资源并优化其在搜索引擎结果中的可见性,HulkApps 看到了显著的改善。在这里了解更多。
Serenity 进入德国市场的案例
对于进入德国市场的品牌 Serenity,FlyRank 通过直接解决资源问题,恢复了他们的在线存在,在头两个月内获得了更多印象和数千次点击。阅读他们的战略方法。
确保成功的最后步骤
持续监测和更新
即使在初始修复后,继续监测被阻止的资源至关重要。创建一个定期检查您的 robots.txt
、服务器配置和嵌入内容提供商政策或平台更新的计划,这些更新可能会影响爬取。
利用 FlyRank 的服务
为了保持网站健康并通过动态的、SEO 优化的内容增强参与度,考虑使用 FlyRank 的 AI 驱动内容引擎。该工具提供复杂的内容开发,旨在与搜索引擎标准保持一致。在这里探索潜力。
教育与团队意识
让网站管理团队了解常见的 SEO 陷阱和最佳实践至关重要。投资于持续培训或资源可以产生成功和可持续的 SEO 效果。
总结
解决 Google 搜索控制台中被阻止资源问题的道路涉及技术细致、适应策略和持续监测的结合。通过利用见解和使用可用工具,可以培养一个您网站完全可访问且正确索引的环境。
请记住,每一个被阻止的资源都是改善您网站可访问性和效率的机会——但有效应对这些挑战的方式至关重要。通过这样做,您最大化了您网站在搜索引擎和依赖您内容的用户眼中的表现能力。
常见问题
最常见的被阻止的资源类型是什么?
被阻止的资源通常包括 CSS、JavaScript 文件和图片。这些在定义网页的美学和功能上至关重要。
被阻止的资源会影响移动可用性吗?
绝对会。如果像 CSS 或 JS 文件等重要资源被阻止,可能会导致您的网站在移动设备上显示为未优化,从而可能导致移动可用性报告下降。
我应该多长时间检查一次我的 robots.txt 文件?
定期检查,但至少每年一次,或者在对您网站的内容或结构有重大更新时进行检查。定期审计可以帮助发现可能被意外拒绝的情况。
调整服务器设置以允许 Googlebot 访问是否很重要?
是的,确保您的服务器设置允许 Googlebot 访问是防止被阻止资源的基础。错误配置的设置可能会阻碍 Googlebot,即使有适当的 robots.txt
权限。
FlyRank 如何帮助改善资源可访问性?
FlyRank 提供一系列服务,包括 AI 驱动的内容引擎,该引擎生成针对数字平台优化的 SEO 友好内容。他们采用数据驱动的结果导向方法,确保全面的访问和参与。在这里了解他们的方法 。