- 我們的專業品牌服務商：網站建設、品牌策劃設計、網站優化、網站推廣等業務
-
-
- 聯系電話：0577-55882408
- 傳真號碼：0577-55882411
- 聯系手機：15224122065
- 聯系地址：溫州市甌海站南商貿城C幢306
-
- 談談搜索引擎處理和收錄網頁的原理
- 發布時間:2012-4-8 13:47:09 ‖
- 網頁僅僅被搜索引擎索引、收錄是沒有太大的實際意義，往往只能淪為浩如煙海的Internet世界中的殉葬品，更重要的是如何讓網頁出現在針對特定搜索項的SERP(搜索結果頁面)前幾頁。
——許多人相信，讓網站內盡可能多的頁面被收錄進搜索引擎索引數據庫終歸不是一件壞事，網頁越多，暴光的機會也便越大，雖然最終效果如何存在疑問。
Anyway，如果在對網站實施SEO時將重點放在網頁被索引、收錄的速度與效率，當然也無可厚非，而要想實現這一點，需要我們對搜索引擎如何收錄、索引網頁的機制有所了解。
下面我們以Google為例，介紹搜索引擎收錄、索引網頁的過程，希望能對朋友們有后助益?！獙ζ渌阉饕嫒鏨ahoo!、Live搜索及百度而言，盡管可能在具體細節上存在差別，不過，基本策略應該是類似的。
1、收集待索引網頁的url
Internet上存在的網頁數量絕對是個天文數字，每天新增的網頁也不計其數，搜索引擎需要首先找到要索引收錄的對象。
具體到Google而言，雖然對GoogleBot是否存在DeepBot與FreshBot的區別存在爭議——至于是否叫這么兩個名字更是眾說紛耘，當然，名字本身并不重要——至少到目前為止。
主流的看法是，在Google的robots中，的確存在著相當部分專門為真正的索引收錄頁頁準備“素材”的robots——在這里我們姑且仍稱之為FreshBot吧
——它們的任務便是每天不停地掃描Internet，以發現并維護一個龐大的url列表供DeepBot使用，換言之，當其訪問、讀取其一個網頁時，目的并不在于索引這個網頁，而是找出這個網頁中的所有鏈接。
——當然，這樣似乎在效率上存在矛盾，有點不太可信。不過，我們可以簡單地通過以下方式判斷：FreshBot在掃描網頁時不具備“排它性”。
也即是說，位于Google不同的數據中心的多個robots可能在某個很短的時間周期，比如說一天甚至一小時，訪問同一個頁面，而DeepBot在索引、緩存頁面時則不會出現類似的情況。
即Google會限制由某個數據中心的robots來完成這項工作的，而不會出現兩個數據中心同時索引網頁同一個版本的情況，如果這種說法沒有破綻的話，則似乎可以從服務器訪問日志中時常可以看到源自不同IP的GoogleBot在很短的時間內多次訪問同一個網頁證明FreshBot的存在。
因此，有時候發現GoogleBot頻繁訪問網站也不要高興得太早，也許其根本不是在索引網頁而只是在掃描url。
FreshBot記錄的信息包括網頁的url、Time Stamp(網頁創建或更新的時間戳)，以及網頁的Head信息(注：這一點存在爭議，也有不少人相信FreshBot不會去讀取目標網頁信息的，而是將這部分工作交由DeepBot完成。
不過，筆者傾向于前一種說法，因為在FreshBot向DeepBot提交的url列表中，會將網站設置禁止索引、收錄的頁面排除在外，以提高效率，而網站進行此類設置時除使用robots.txt外還有相當部分是通過mata標簽
中的“noindex”實現的，不讀取目標網頁的head似乎是無法實現這一點的)，如果網頁不可訪問，比如說網絡中斷或服務器故障，FreshBot則會記下該url并擇機重試，但在該url可訪問之前，不會將其加入向DeepBot提交的url列表。
總的來說，FreshBot對服務器帶寬、資源的占用還是比較小的。最后，FreshBot對記錄信息按不同的優先級進行分類，向DeepBot提交，根據優先級不同，主要有以下幾種：
A：新建網頁;B：舊網頁/新的Time Stamp，即存在更新的網頁;C：使用301/302重定向的網頁;D：復雜的動態url，如使用多個參數的動態url，Google可能需要附加的工作才能正確分析其內容。
——隨著Google對動態網頁支持能力的提高，這一分類可能已經取消;E：其他類型的文件，如指向PDF、DOC文件的鏈接，對這些文件的索引，也可能需要附加的工作;
F：舊網頁/舊的Time Stamp，即未更新的網頁，注意，這里的時間戳不是以Google搜索結果中顯示的日期為準，而是與Google索引數據庫中的日期比對;G：錯誤的url，即訪問時返回404回應的頁面;
優先級按由A至G的順序排列，依次降低。需要強調的是，這里所言之優先級是相對的，比如說同樣是新建網頁，根據指向其的鏈接質量、數量的不同，優先級也有著很大的區別，具有源自相關的權威網站鏈接的網頁具有較高的優先級。
此外，這里所指的優先級僅針對同一網站內部的頁面，事實上，不同網站也有有著不同的優先級，換言之，對權威網站中的網頁而言，即使其最低優先級的404 url，也可能比許多其他網站優先級最高的新建網頁更具優勢。
2、網頁的索引與收錄
接下來才進入真正的索引與收錄網頁過程。從上面的介紹可以看出，FreshBot提交的url列表是相當龐大的，根據語言、網站位置等不同，對特定網站的索引工作將分配至不同的數據中心完成。
整個索引過程，由于龐大的數據量，可能需要幾周甚至更長時間才能完成。
正如上文所言，DeepBot會首先索引優先級較高的網站/網頁，優先級越高，出現在Google索引數據庫及至最終出現在Google搜索結果頁面中的速度便越快。
對新建網頁而言，只要進入到這個階段，即使整個索引過程沒有完成，相應的網頁便已具備出現在Google索引庫中的可能，相信許多朋友在Google中使用“site:somedomain.com”搜索時常?？吹綐俗檠a充結果只顯示網頁url或只顯示網頁標題與url但沒有描述的頁面，此即是處于這一階段網頁的正常結果。
當Google真正讀取、分析、緩存了這個頁面后，其便會從補充結果中逃出而顯示正常的信息。
——當然，前提是該網頁具有足夠的鏈接，特別是來自權威網站的鏈接，并且，索引庫中沒有與該網頁內容相同或近似的記錄(Duplicate Content過濾)。
對動態url而言，雖然如今Google宣稱在對其處理方面已不存在障礙，不過，可以觀察到的事實仍然顯示動態url出現在補充結果中的幾率遠大于使用靜態url的網頁，往往需要更多、更有價值的鏈接才能從補充結果中逸出。
而對于上文中之“F”類，即未更新的網頁，DeepBot會將其時間戳與Google索引數據庫中的日期比對，確認盡管可能搜索結果中相應頁面信息未來得及更新但只要索引了最新版本即可
——考慮網頁多次更新、修改的情況——;至于“G”類即404 url，則會查找索引庫中是否存在相應的記錄，如果有，將其刪除。
3、數據中心間的同步
前文我們提到過，DeepBot索引某個網頁時會由特定的數據中心完成，而不會出現多個數據中心同時讀取該網頁，分別獲得網頁最近版本的情況，這樣，在索引過程完成后，便需要一個數據同步過程，將網頁的最新版本在多個數據中心得到更新。
這就是之前著名的Google Dance。不過，在BigDaddy更新后，數據中心間的同步不再象那樣集中在特定的時間段，而是以一種連續的、時效性更強的方式進行。
盡管不同數據中心間仍存在一定的差異，但差異已經不大，而且，維持的時間也很短。
提高搜索引擎索引收錄網頁的效率，根據上面的介紹，可以看出，要想讓您的網頁盡可能快、盡可能多地被搜索引擎收錄，至少應從如下幾方面進行優化：
提高網站反相鏈接的數量與質量，源自權威網站的鏈接可以讓您的網站/網頁在第一時間內被搜索引擎“看到”。
當然，這也是老生常談了。從上面的介紹可以看出，要提高網頁被搜索引擎收錄的效率，首先要讓搜索引擎找到您的網頁，鏈接是搜索引擎找到網頁的唯一途徑——
“唯一”一詞存在些許爭議，見下面的SiteMaps部分——從這個角度看，向搜索引擎提交網站之類的作法沒有必要且沒有意義，相對而言，要想讓您的網站被收錄，獲得外部網站的鏈接才是根本，同時，高質量的鏈接也是讓網頁步出補充結果的關鍵因素。
網頁設計要秉持“搜索引擎友好”的原則，從搜索引擎spider的視角設計與優化網頁，確保網站的內部鏈接對搜索引擎“可見”，相對于獲得外部網站鏈接的難度，合理規劃的內部鏈接是提高搜索引擎索引與收錄效率更經濟、有效的途徑——除非網站根本未被搜索引擎收錄。
如果您的網站使用動態url，或者導航菜單使用JavaScript，那么，當在網頁收錄方面遇到障礙時，應首先從這里著手。
使用SiteMaps。事實上，許多人認為Google取消了FreshBot的一個主要原因便是SiteMaps(xml)協議的廣泛應用，認為這樣只需讀取網站提供的SiteMaps便可得到網頁更新信息，而不需FreshBot耗時費力地掃描。
這種說法還是有一定道理的，雖然目前不能確定Google究竟直接使用SiteMaps作為DeepBot的索引列表還是用做FreshBot的掃描路標，但SiteMaps能夠提高網站索引收錄的效率則是不爭的事實。
比如說，SEO探索曾做過如下的測試：
兩個網頁，獲得的鏈接情況相同，一個加入SiteMaps而另一未加入，出現在SiteMaps中的網頁很快被收錄，而另一個頁面則在過了很長時間后才被收錄;
某個孤島頁面，沒有任何指向其的鏈接，但將其加入SiteMaps一段時間后，同樣被Google索引，只不過，出現在補充結果中。
當然，從盡管網頁未出現在SiteMaps中但仍能被Google索引也可以看出，Google仍然使用FreshBot或類似FreshBot的機制，當然這也容易理解，畢竟仍然有那么多未使用SiteMaps的網站，Google不可能將其拒之門外。
有關SiteMaps的詳細介紹，請參考Google SiteMaps:Google的“后門”。需要指出的是，如今Sitemaps協議已成為行業標準，不獨對Google有效，其他主流搜索引擎包括Yahoo!、Live搜索及Ask均已提供支持
轉載請注明：原文出自 http://www.qmbxwa.com/news_show/lcnt_details_6_822.html
上一篇：網站優化過程中關于URL標準化
下一篇：讓網站的權重提高怎么做
【置頂】 【關閉本頁】 【打印本頁】
久久精品一二三区_欧美一区网站_亚洲制服av_国产欧美日韩另类一区_成人av综合网_碰碰在线视频_欧美精品在欧美一区二区少妇_免费观看亚洲_青青一区二区三区_国产传媒一区二区
成人18视频|
欧美片在线播放|
91精品国产综合久久精品性色|
欧美精品一区二区在线播放|
一区二区三区资源|
国产在线一区二区综合免费视频|
99精品国产91久久久久久|
日韩av高清|
91麻豆精品久久久久蜜臀|
国产精品久久久久久久久果冻传媒
|
欧美日韩亚洲综合一区二区三区|
久久午夜老司机|
亚洲动漫第一页|
不卡免费追剧大全电视剧网站|
日本欧美精品久久久|
欧美一级一区二区|
一区二区三区成人在线视频|
福利电影一区二区三区|
欧美一区观看|
欧美大尺度电影在线|
亚洲一区二区免费视频|
成人免费电影视频|
五月天亚洲综合情|
欧美精品一区二|
日本中文字幕一区二区有限公司|
91视频.com|
在线视频中文字幕一区二区|
国产精品美女久久久久高潮|
韩国理伦片一区二区三区在线播放|
精品国产一区二区三|
91麻豆精品国产自产在线观看一区
|
成人激情免费视频|
亚洲激情图片|
国产偷国产偷精品高清尤物|
另类中文字幕网|
乱一区二区三区在线播放|
日韩视频免费观看高清完整版|
亚洲国产乱码最新视频|
91在线精品一区二区三区|
色综合久久综合网|
欧美激情中文字幕|
国产一区二区福利|
亚洲 国产 日韩 综合一区|
337p日本欧洲亚洲大胆精品|
美女在线一区二区|
免费h精品视频在线播放|
欧美精品一区二区三区蜜桃|
蜜桃视频一区二区三区
|
国产精品全国免费观看高清|
国产河南妇女毛片精品久久久|
色阁综合av|
欧美国产日韩在线观看|
国产精品18久久久久久久久|
色综合久久久久久久久|
亚洲欧洲日韩在线|
99久久免费精品高清特色大片|
欧洲精品一区二区|
一区二区理论电影在线观看|
av一本久道久久波多野结衣|
制服丝袜一区二区三区|
日本成人在线网站|
欧美日韩免费高清|
中文在线一区二区|
www.av亚洲|
91.com在线观看|
日本欧美一区二区三区|
欧美日韩亚洲一区二区三区四区|
国产亚洲欧美激情|
成人午夜电影小说|
欧美日韩aaaaa|
日韩在线a电影|
日韩电影免费观看高清完整|
国产精品传媒视频|
99久久精品久久久久久ai换脸|
日韩欧美在线不卡|
久久99精品国产麻豆不卡|
午夜精品一区二区三区四区|
亚洲人妖av一区二区|
av一区二区三区在线观看|
精品国内二区三区|
国产成人综合亚洲网站|
欧美日韩一区在线观看|
蜜臀av性久久久久av蜜臀妖精|
五月婷婷综合色|
一区二区三区资源|
蜜桃网站成人|
亚洲丝袜精品丝袜在线|
国产精品视频免费观看|
国产欧美一区二区三区网站|
91在线你懂得|
精品久久久久久无|
成人国产精品免费观看动漫|
日韩一区二区在线免费观看|
国产精品一区久久久久|
欧美高清视频一二三区|
九九**精品视频免费播放|
综合国产精品久久久|
午夜精品福利一区二区蜜股av
|
亚洲精品视频一区二区|
久久国产精品 国产精品|
国产精品视频在线看|
亚洲欧美综合色|
高清一区二区三区视频|
国产日韩欧美激情|
丁香五月网久久综合|
欧美激情一区三区|
国产欧美丝袜|
最新国产成人在线观看|
久久久精品国产一区二区三区|
亚洲欧洲成人av每日更新|
精品欧美日韩|
亚洲毛片av在线|
日韩av影视|
首页国产丝袜综合|
日本久久电影网|
精品亚洲国产成人av制服丝袜|
欧美精品黑人性xxxx|
国产高清亚洲一区|
欧美v日韩v国产v|
99久久精品免费看国产
|
色婷婷综合在线|
麻豆91精品91久久久的内涵|
欧美日韩在线观看一区二区
|
欧美私人免费视频|
国产一区二区不卡在线|
日韩久久精品一区|
91视视频在线观看入口直接观看www
|
youjizz久久|
日本一区二区三区免费乱视频|
国内精品**久久毛片app|
一区二区在线观看不卡|
在线成人性视频|
狠狠色综合播放一区二区|
91精品国产一区二区三区蜜臀
|
日韩电影免费在线观看网站|
欧美性极品少妇|
国产丶欧美丶日本不卡视频|
久久久久久久av麻豆果冻|
国产伦精品一区二区三区四区视频
|
不卡的av网站|
国产精品美女久久久久久久久|
欧美一区二区三区精美影视
|
欧美激情一区二区三区四区
|
一本色道**综合亚洲精品蜜桃冫|
看国产成人h片视频|
日韩一区二区三区电影在线观看|
91成人伦理在线电影|
**性色生活片久久毛片|
一区二区视频在线播放|
国产精品一二一区|
国产三级精品在线|
日本欧美精品久久久|
九九国产精品视频|
久久只精品国产|
欧美婷婷久久|
精久久久久久久久久久|
久久久天堂av|
日本视频精品一区|
国产最新精品精品你懂的|
国产午夜精品久久久久久免费视|
青娱乐国产91|
国产综合久久久久久鬼色|
国产欧美一区二区精品仙草咪|
日韩欧美手机在线|
狠狠色狠狠色综合系列|
国产网站一区二区|
亚洲国产欧美日韩|
国产一二三精品|
国产精品你懂的在线|
日本久久一区二区三区|
99久久精品国产观看|
樱花草国产18久久久久|
欧美日本一区二区|
国产 高清 精品 在线 a|
天天色综合天天|
欧美成人伊人久久综合网|
国内精品久久久久久久果冻传媒|
免费欧美在线视频|
国产日韩欧美a|
一本到不卡免费一区二区|
99视频有精品|
天堂影院一区二区|
精品日产卡一卡二卡麻豆|
欧洲av一区|
床上的激情91.|
一级女性全黄久久生活片免费|
91精品在线一区二区|
久久国产精品精品国产色婷婷|
国内精品国产成人|
一区在线观看视频|
欧美电影影音先锋|
你懂的视频在线一区二区|
国产精品中文字幕日韩精品|
亚洲女人小视频在线观看|
欧美久久久久久蜜桃|
蜜桃av噜噜一区二区三区|
国产成人精品综合在线观看
|
日本一区二区三区视频在线播放|
国产黑丝在线一区二区三区|
一区二区免费视频|
首頁-新聞中心-
