SEO设计过程的第一步是确保你的网站能够被搜索引擎发现并爬行。说起来容易,但做起来却很难,因为有许多热门网站设计和运行架构是爬虫无法理解的。
可索引的内容
要想在搜索引擎中获得好的排名,那么你的网站内容,也就是呈现给网站访客的材料,必须是HTML文本格式。例如,图片和 Flash文件尽管能被搜索引擎爬厅,但搜索引擎却很难分析这些内容。因此这些文件便不适合向搜索引擎传递页面相关性的信号。搜索引擎很难识别图片的相关性,这是因为GIF、JPEG或PNG格式的图片文件内含有极少的文本输入字段(也就是文件名、标题及l属性)。因此,我们强烈建议你在这些字段中准确详细地对图片进行标注,仅仅一个图片是无法为网页在相关搜索请求中获得较高排名的;图片识别技术不断进步,所以在不久的将来,处理能力的局限性可能会妨碍搜索引擎在网络搜索中广泛运用这种分析方法。
除了文本之外,谷歌允许用户使用图片作为搜索请求进行搜索(不过,用户可以输入文本对该搜索请求进行补充说明),上传一张图片,从桌面拖曳一张图片,输入图片网址或在浏览器(安装有插件的 Firefox及 Chrom测览器)内右击图片,用户通常都能在网页中找到该图片的其他位置以进行参考和研究,同时还会找到与该图片的色调和内容相似的其他图片。这虽然不能立即改变图片在SEO中的局面,但最起码它给了我们一个提示,让我们知道谷歌如何扩充图片内容的通用相关性指示符。
对于 Flash文件,尽管可以爬取具体的w文件(最常见的Fash文件扩展名)并且建立索引,而且当用户在运行个.sw文件搜索文件名中包含的具体的词汇或短语时,经常也会碰到.w文件,但在通用查询中,很少会返回一个Fash文件或者一个全部由Fash构建的网站作为一个高度相关的搜索结果,这是因为缺少“可读性”的内容。这并不是说,使用∏lash创建的网站本来就缺乏相关性,或者我们无法成功地优化一个使用Fash的网站,而是从我们的经验来看,IM格式的文件是较好的选择。
可爬行的链接架构
正如我们在第2章中讲到的,搜索引擎会使用网页中的链接来帮助它们发现其他的网页或网站。出于这个原因,我们强烈建议你拿出时间来创建一个能被爬虫顺利爬行的内链架构。许多网站会犯一些致命性的错误,它们会隐藏或模糊其导航结构,限制了爬虫的读取能力,从而导致网页无法出现在搜索引擎的索引中,图6-解释了这个问题是如何出现的。
谷歌爬虫已经到达了页面A,并看到了页面B和的链接,但尽管页面C和D可能是网站中比较重要的页面,爬虫却无法访问这些页面(尽管知道了这些页面的存在),这主要是因为缺少到达这些页面的、直接可爬行的链接点。在谷歌看来,这类页面便等同于不存在。如果吧虫无法在第一时间到达页面,那么再好的内容、再好的关键词选择、再好的营销策略都是无济于事的。
下面是一些页面可能无法被读取的常见原因,使用提交格式的链接搜索爬虫几乎不会去尝试“提交”格式,因此仅通过某种格式才能访问的内容或链接对搜索引擎是不可见的,甚至一些简单的格式也会起到反作用,如用户注册、搜索框或某些下拉列表。
使用难以解析的 Javascript的链接如果在链接中使用 Javascript,那么你可能会发现搜索引擎既不爬行,也不在意这些嵌入链接。2014年6月,谷歌宣布能够爬行 Javascript和CSS。谷歌目前不仅能够解析一些 Javascript,而且能够访问些 Javascript链接。基于这一改变,谷歌能够爬行你的 Javascrip和CSS文件。要预览谷歌如何解析你的网站,你可以点击Search Console-> Crawl->Fetch as google输入你想要预览的网址,选择“ Fetchand Render”。
Java或其他插件中的链接
通常来讲,搜索引擎不会查看嵌入在ava和插件中的链接。
Flash中的插件
从理论上来讲,搜索引擎能够发现Flash内的链接,但是并不会过分依赖这个发现功能。Powerpoint和PDF文件中的链接搜索引擎有时会显示在 Powerpoint文件或PDFA文件中看到的链接,这些链接被看作是与嵌入在HTM文件中的链接相似的。
指向 robots标签、re=” nofollow”或robots. tx限制页面的链接.
robots. tx文件提供了一种能够阻止网络爬虫爬行网站页面的方法,在链接中使用norodom属性或者在包含链接的页面中添加 content-” nofollow”属性的元 robotsnofollow tag,指示搜索引擎不要通过链接越过链接权限内容推送和搜索爬虫控制”部分详细讨论这个概念)。由于一些霸道的SEO从业者过度操控,链接中 nofollow属性的有效性已大打折扣,更多这方面的内容请参见谷歌Matt cutts博客“网页排名实践”。
链接所在的页面含有成干上万个链接之前,谷歌曾建议每个页面最多包含100个链接,若超出这个数值,它便会停止从该页面爬行其他的链接,但是随着时间的推移,这个建议也渐渐过时了,我们更多时候会将其看作一个通过页面排名的策略性指导意见,如果一个页面内包含200个链接,那么任何一个链接都不会获得较高的网页排名。通过限制链接的数量来设法控制网页排名,这通常是个不错的主意。有些工具能够统计每个页面活跃的链接数量,如 Screaming frog.
在框架或内嵌框架中的链接
从严格意义上来讲,在框架和内嵌框架中的链接都能够被爬行,但框架和内嵌框架在组织机制和追踪方面给搜索引擎带来了结构性的问题。除非你是一位资深用户,非常清楚搜索引擎在技术层面是如何索引和追踪框架内的链接的,否则最好不要将链接放在框架内,以免岀现不能被爬行的问题。我们将在6.2节“创建最佳的信息架构”中详细讨论框架和内嵌框架。
XML站点地图
谷歌、 Yahoo l!和Bing(原来是MSN搜索,然后是实时搜索)都支持一个叫XML站点地图的协议,谷歌在2005年首先宣布了这一协议,之后是 Yahoo!,然后在2006年,MSN搜索也宣布支持这协议。使用站点地图协议,你可以向搜索引擎提交一个列表,列出所有你希望能够被搜索引擎爬行和索引的网址。
将网址添加到站点地图文件中并不能保证该网址就一定能被爬行或索引,但它能够吸引搜索引擎发现和索引一些本来没有被注意到的页面。
该程序是对搜索引擎常规基于链接的爬行的一种补充,而不是替代。站点地图的优点主要如下：
对于一些搜索引擎通过其常规吧行所获取的页面,搜索引擎会使用你提供的元数据来改善爬行你的网站的方式;如内容最后一次修改的时间(最后修改日期页面被修改的频率(修改频率等元数据。
对于它们不知道的一些页面,搜索引擎会使用你提供的附加网址来增加爬行的覆盖范围。
对于一些可能有多个副本的网址,搜索引擎会使用XML站点地图数据来选择一个比较标准的版本。
XML站点地图的认证和注册可能会提供一些正面的可信任权威信号。
站点地图的爬行内置优点可能还有其他积极的作用,如提高排名或内部链接的广泛度。
在( google search console中注册站点地图,能够帮助你更好地了解自己的网站是否遇到了索引、爬行或内容重复的问题。谷歌反垃圾小队的前队长 Matt cutts是这样解释XM站点地图的:
假设网站有A、B、C三个页面,我们通过常规的链接爬行找到了页面A和B,之后你创建一个站点地图,列出了页面B和C,那么现在我们就有机会(但不一定)吧行页面C,我们也不会因为你没有将页面A列在站点地图内而放弃它,而且我们也不会因为你在站点地图中列出了一个我们不知道的页面,就能保证我们爬行该页面,但如果之前我们出于某些原因没有看到页面C的链接,或者我们虽然知道页面C而页面网址因包含参数过多或因其他一些原因而被拒绝了,那么有了站点地图之后,我们就有可能会爬行页面.
站点地图使用的XML格式非常简单,你可以在htp:www.Sitemaps.org/了解这一格式。对于网站来讲,XML站点地图是一个非常有用且在某些情况下可以说是非常重要的工具,尤其是,如果你有理由相信网站没有被充分索引,那么XMI站点地图就能够帮助你使更多的页面被索引。随着网站规模的不断扩大XMI站点地图文件的价值也日渐凸显出来,因为站点地图能够吸引更多的流量流向新增的网址。
创建一个XM站点地图
创建XML站点地图的第一步是创建一个正确格式下的XML站点地图,因为创建一个XM站点地图需要一定的技术知识,因此你最好从一开始就让自己的开发团队参与到XML站点地图.
你可以使用以下工具创建XML站点地图.
XML站点地图生成器这是一个简单的脚本,你可以安装该脚本以自动生成并提交站点地图。站点地图生成器能够根据网址列表、用户访问日志,或一个具有与URL对应的静态文件的目录路径创建这些站点地图,下面是几个XML站点地图生成器的例子Source Forge net s谷歌sitemap genXml-sitemaps.comSitemapGen-eratorSitemaps PalGsite crawler简单的文本你可以向谷歌提供一个简单的文本文件,文件每行仅一个网址。不过,谷歌建议,如果网站有文本站点地图文件那么你最好使用站点地图协议,借助站点地图生成器从该文本文件中生成一个站点地图。网站聚合内容摘要谷歌接受网站聚合内容摘要(RSS2.0和Atom1.0摘要。需要注意的是,摘要可能仅提供与最近网址相关的信息。
确定在站点地图文件中包含哪些内容
在创建站点地图文件的过程中,你需要注意一些情况,看看网站的哪些位置有多个指向同一条内容的网址:包括“唯一的”偏好的(标准的)网址版本,因为搜索引擎可能会认为在站点地图文件中指定的网址更适合某个内容的网址,所以你可以使用站点地图文件提示搜索引擎哪个网址是更适合某个特定页面的。
另外需要注意不要在站点地图中添加什么样的内容。例如,不要添加多个指向同一内容的网址,不要添加一些仅是页码标记的页面(或同一内容的交替排列次序),更不要将网站中价值不大的页面添加到站点地图中。最重要的是,确保站点地图文件中的所有网址均不含追踪参数。
移动设备站点地图。对于目标是移动设备中的内容,我们可以使用移动设备站点地图,移动设备信息被保存在一个独立的站点地图文件中,该文件中不包含任何与非移动网址相关的信息。谷歌支持非移动标记、 XHTML移动配置文件WML(WAP12)及 CHTMI。视频站点地图。在站点地图中添加与视频相关的信息,会提升视频被搜索引孳发现的机会。谷歌支持以下的视频格式:mpg、mpeg、mp4、m4v、mov、wmv、asf、avi、ra、ram、rm、flv、及.swf等.
图片站点地图。将图像添加到站点地图文件中能够增加图片的可见性。你除了可以在站点地图文件中添加页面网址,还可以列出出现在这些页面中的图片。每个页面最多能列出1000张图片,将专门的图片标签与网址相关联。在站点地图中列出图片,这并不会增加这些图片被索引的机会,但如果你列出其中一些图片,而未列出其他的一些图片,那么那些未被列出的图片会被认为不重要.
上传站点地图文件
站点地图文件完成之后,将其上传到你的网站,并放置在你希望搜索引擎爬行的目录的最顶端(通常来讲,是根目录),如www.yoursite:com/sitemap.xml。你可以在提交的站点地图中添加多个子域,然后在( google Search( Console验证站点地图对每个子域的作用,尽管通常来讲,如果每个子域在( google search( insole都有自己相对应的站点地图和配置文件,那么我们可能更容易了解索引的实际情况。
管理和更新ⅪM站点地图
ⅹML站点地图被接受、网站被爬行之后,监测运行结果,若有问题,随时更新站点地图。在谷歌中,你可以返回到Google Search Console账户,查看与XML站点地图相关的统计数据和运行诊断报告,只须点击你想检测的网站即可,另外,你还能从谷歌中找到一些与常见问题相关的FAQ,如爬行慢、索引较少Bing中的XML站点地图。另外,你可能还应该在增加大星或一组关键页面之后,更新你的站点地图文件。
如果仅仅是更新现有网址中的内容么便没有必要更新XML站点地图,而且如果是删除页面,也没有必要去更新站点地图,因为搜索引擎只是不能爬行这些页面而己,但要在提要中出现大量零散的页面之前,更新站点地图。另外,在你添加新内容并删除一些无效页面之后,一定要记得更新你的站点地图文件。谷歌和Bing会定期重新加载站点地图,因此除非站点地图位置发生改变,否则你无须重新向谷歌或Bng提交站点地图。
使用 Site map-网站 robots.txt文件中的指令,使谷歌和Bing能自动发现你的XML站点地图的位置。如果你要定期地在网站中添加或删除些新的页面,那么你可能希望借助一个工具或希望网站开发者有这个能力,能够使XML站点地图定期重新生成所有最近口的网址,许多网站借助自动运行脚本每天重新生成XM站点地图。谷歌和其他大型搜索引擎通过爬行链接发现和索引网站。谷歌XML站点地图是一种在谷歌中填充网址的方式,添加你希望被爬行的网址,以便进行更深入的爬行和索引;这就导致了长尾搜索能力的提高,通过创建和更新这个XML文件,确保谷歌能够识别你的整个网站,进而让更多的人发现你的网站。另外,XML站点地图还能帮助所有的搜索引擎弄清楚,哪个网址是比较标准的(如果有多个指向同一内容的网址)。
