不论你的网站是用Shopify建立的，还是Wordpress，还是Magento，要注意你的网站都要做优化

我们在讲到针对一个网站的优化，特别是站内优化的时候，其实主要包含

2大方面：

- 一是针对页面的SEO （on-page ）

- 另外一个是网站结构优化，也叫做技术性SEO 

由于搜索结果的竞争越来越激烈，对SEO在技术上的优化也提出了更高的要求。

一个表现良好的网站，必须要是可抓取、快速、安全的网站。

技术性SEO包含的内容很多，涵盖网站的结构设计、URL、网络地图等内容，而且是一个技术性很强的方面。

今天我主要说一说网站技术SEO的六个基本方面，做好这六大方面，网站的性能会更加优化和健康。

很多人可能看到这一章节会觉得很枯燥，但是其实是很重要的。

为什么呢？

因为一个网站，如果你花了很多时间在获取流量上，比如广告，比如红人，但是基本的文章的audit（审视）都没有过关的话，那么无形之中会大大增加你网站的营销费用。

试想一下一个2秒打开速度的网站，和一个十秒才打开的网站，那效果能一样吗？

所以从一个网站的优化角度来讲，特别是技术性优化的角度来探讨，我们要从以下几点进行优化:

确保网站可抓取

确保网站可抓取，首先要检查robots.txt文件，这个文件是任何网络爬行软件到达站点时的第一个调用点。

robots.txt文件会明确应该被抓取的和不应该被抓取的部分，表现为允许（allow）、禁止(disallow)某些用户代理的行为。

通过将/robots.txt添加到根域末尾，可以公开使用robots.txt文件。我们看一下Hallam网站的示例：

可以看到，Hallam网站不允许以/ wp-admin（网站后端）开头的URL被抓取。通过指明哪些地方禁止这些URL，可以节省带宽、服务器资源和爬网预算。

与此同时，搜索引擎爬虫抓取网站的重要部分时，不应该受到禁止。

因为robots.txt是爬虫在抓取网站时看到的第一个文件，所以最好是将robots.txt指向站点地图。可以在旧版的Google Search Console中编辑和测试robots.txt文件。

在robots.txt的测试工具中，下面的网址栏输入任何网址，就可以检查这个网址能否被抓取，robots.txt文件中有没有错误和警告。

因为旧版的Google Search Console功能要比新版本的功能多一些，在技术SEO方面旧版本会更好用一些。

比方说，旧版本可以查看站长工具上的抓取统计信息区域（Craw Stats），对于了解网站的抓取方式会更加的方便。

这个报告有3个图表，显示了最近3个月的数据。

每天抓取的网页数量、每天下载的千字节数、下载网页所花费的时间（以毫秒为单位），能够显示网站的抓取速度及和搜索引擎爬虫的关系。

搜索引擎爬虫定期访问某网站，并且这是一个快速而且容易被抓取的网站的话，这个网站就会有很高的抓取速度。

这些图表数据如果能保持一致是最好的，任何重大波动都会出问题，可能是HTML损坏，内容陈旧或robots.txt文件阻止了太多URL。

如果加载一个页面需要很长时间，表示爬虫爬取时间太长，建立索引速度较慢。

还可以在新版的Google Search Console查看覆盖率报告中的抓取错误。

这些地方都是有爬取问题的页面，点击可以显示这些页面。检查这些页面是什么原因导致的爬取问题，最好不是很重要的页面，尽快解决这些问题。

如果你在Craw Stats或覆盖率报告中，发现重大的抓取错误或波动，可以对日志文件进行分析查看。

从服务器日志访问原始数据可能会比较麻烦，因为分析是高级设置，但它有助于准确理解哪些页面可以被抓取、哪些不能抓取。

哪些页面会被优先处理，哪些区域出现了预算浪费的情况，还有爬虫在爬取网站的过程中收到哪些服务器响应。

检查站点可编入索引

检查爬虫是否可以抓取网站之后，还要搞清楚网站上的网页有没有编入Google索引。

有很多方法可以检查这一问题，前面用到的Google Search Console覆盖报告，就可以用来查看每个页面的状态。

从这个报告中我们看到四个数据:

• 错误：404s重定向错误。

• 有效警告：已编制索引但附有警告的页面。

• 有效：成功编制索引的页面。

• 已排除：被排除在索引状态之外的页面及其原因，如重定向或被robots.txt阻止的网页。

还可以使用URL检查工具分析特定的URL。

如果某主页的流量有所下降，就该检查这个新加入的网站是不是已经编入索引，或者对这个网址进行问题排查。

还有一个好方法可用来检查网站能否索引，就是使用爬取工具，推荐Screaming Frog。

Screaming Frog是最强大、使用最普遍的爬取软件之一。它有付费版本和免费版本，可以根据网站的大小进行选择。

免费版本的功能有限，抓取的数量限于500个URL。而付费版本的年费是149英镑，有很多的功能和可用API，没有抓取限制。

运行爬取软件之后，就可以看到和索引相关的两列结果。

Indexability：可索引性，显示URL能否被编入索引，是“可索引”还是“不可索引”。

Indexability Status：可索引性状态，显示URL不可索引的原因是什么，是不是被编为了另一个URL，或是带有无索引标签。

这个工具是批量审核网站一种很好的方式，可以了解哪些网页正在被编入索引，哪些网页不可被编入索引，这些都会显示在结果中。

对列进行排序并查找异常的情况，使用Google Analytics API，能有效识别出可索引的重要页面。

最后，还可以使用这个网站检查你的页面有多少是已经索引的：domain Google Search parameter。

在搜索栏中输入site：yourdomain并按Enter键，就可以看到网站上已被Google编入索引的每个网页。

示例：

这里我们看到boots.com有大约95,000个已经索引的URL，通过这个功能我们知道Google现在存储了多少网页。

如果你的网页数量和被谷歌索引的数量差很多。

那么你应该思考：

网站的HTTP版本是否仍在编入索引？

已被编入索引的页面有没有重复的，需要规范化的?

网站的大部分内容是否应该被编入索引？

通过这三个问题，了解谷歌如何将网站编入索引，以及如何做出相应更改。

查看站点地图

SEO还有一个不能忽略的重要方面：站点地图。XML站点地图是你的网站到Google和其它搜索引擎爬虫的地图。

实际上，站点地图帮助这些爬虫给你的网页排名。

有效的站点地图有几点值得注意:

• 站点地图要在XML文档中正确格式化。

• 站点地图应该遵循XML站点地图协议。

• 只包含规范版本的网址。

• 不包含没有索引的网址。

• 更新或创建新页面时，要包括所有新页面。

关于站点地图的小工具：

1. Yoast SEO插件，可以创建XML站点地图。

2. Screaming Frog，它的站点地图分析非常详细。

另外，还可以在站点题图上查看网址，遗失的网址或者是少见的网址。

确保站点地图包含最重要的页面，排除不用编进Google索引的页面，并且结构要正确。完成这些操作之后，你应该将站点地图重新提交到Google Search Console。

网站要适应移动端设备

谷歌去年宣布了会优先对移动端进行索引。也就是说，网页的移动端版本会优先于电脑端版本，进行排名和索引，因为大部分用户主要使用移动设备进行网页访问,所以网站排名也会给移动端优先的权利。

谷歌的Mobile-Friendly Test是一款免费工具，可以用来检查网页在移动端的响应和适应性。

在网址栏输入域名，就可以显示在移动设备上的呈现效果，是否适应移动设备。

当然也可以手动检查网站在移动端的适应情况，用手机浏览一个网站，检查网站的主要转化路径有没有错误。

网站上面的所有联系表格、电话号码、关键服务页面，是否都正常运行。如果你是在电脑端浏览网页的话，就可以右键单击页面，再做检查。

网页速度

网页速度现在是Google排名的一个很重要的因素，网页响应迅速也是提升用户体验度的一个很好的方式。

下面我给你们推荐一些测试网站速度的实用工具

Google PageSpeed Insights

这是谷歌的一款功能强大的工具，可以免费使用。它可以在移动端和电脑端对网站进行速度测试，进行打分，并给出提高页面速度的建议。

对主页和核心页面进行测试，可以知道你的网址速度如何，采取哪些措施可以提高网速。

还有一点要提醒一下：我们说的页面速度，不仅是指某人打开网页时，加载出一个页面的速度，还包括搜索引擎抓取网页的速度和难易度。

这也是缩小和捆绑CSS和Javascript文件的原因。所以依靠肉眼检查页面加载还不够，还需要使用工具来全面地分析页面是如何加载的。

谷歌还有一款工具可以测试移动设备的网速，专门针对移动设备提高网速。

它会根据测试给出一个结果报告：

1.网站在在3G和4G网络上的速度，包括网站加载速度有多少秒，评级是多少，网站速度趋势在加快还是减慢；

2.针对每个页面的个性化修复方式；

3.网速和竞争对手的网速做对比的情况；

4.网站收入受到网速的影响情况。

Google Analytics

针对网速的问题，还可以使用Google Analytics，它可以给出提高网速的诊断建议。

打开Google Analytics，在Behaviour中找到Site Speed，可以查询出很多关于网速的有用信息，包括特定网页在不同浏览器和国家地区的加载效果。

你可以根据页面浏览量进行检查，优先处理最重要的页面。

影响页面加载速度的因素有很多，如果你发现页面加载有问题，可以通过检查一些常规内容去修复页面:

• 优化图像，图像有没有压缩过；

• 修复膨胀的javascript；

• 减少服务器请求；

• 确保缓存有效；

• 检查服务器的速度快不快；

• 考虑使用内容分发网络（CDN）

重复内容审核

最后一项是审核网站内容有没有重复。对于做SEO的人来说，内容重复是一个很大的禁忌。

虽然说谷歌不会因为内容重复就惩罚某个网站，但是谷歌不喜欢重复文案内容，这一点是很明确的。

谷歌认为重复内容对用户是没什么用处的，所以它不会在搜索引擎排名中给有重复内容的页面很好的排名。

要检查有没有重复内容，可以使用Google search parameters进行快速查询，输入网址，在搜索结果的最后一页，如果有重复内容，就会出现以下文字：

如果这里出现了重复内容，应该再使用Screaming Frog抓取一下网站。然后按照页面标题进行排序，就可以检查网站上有哪些重复的页面。

搜索引擎技术优化让你的网站更加优化和健康。

以上是技术性SEO的六个方法，是网站结构优化相对基础的东西。如果你们想要在技术上做得更好，还可以继续深入。

咳咳，这样的文章会不会显得很枯燥？（摊手...）

以上~~

长按二维码，添加关注！