咨詢熱線：13313028229
售后：0312-6791400
售后：0312-6791126
網址：www.yiluzuche.cn
地址：保定朝陽大街國貿大廈8樓808室
搜索引擎的工作區域主要分為四大部分，下載系統、分析系統、檢索系統、查詢系統，這一篇文章就來講一下下載系統的那些事，希望看官能夠時常結合高手級SEO不告訴你的搜索原理的系列文章，對搜索引擎能有一個初步的看法，這樣就會避免掉很多錯誤觀念的影響。
蜘蛛下載過程與瀏覽器類似，不同點在于蜘蛛僅下載HTML文件，不對文件進行渲染，不加載圖片、Flash等內容，一般情況下不加載JS。
蜘蛛在采集網站信息時會考慮網站的網絡負載，根據網站的網絡帶寬來控制抓取量。一般情況下，負載是基于IP控制的。故而，增加網站的帶寬是有利于SEO的。當然，如果是共享IP的網站，這點很難控制。
下載過程大致可分為四個步驟：DNS解析、TCP連接、服務器計算、HTML下載。
DNS解析主要跟DNS服務器性能有關，另外與解析方式也有一定關系。對于SEO而言，可以通過測試選擇專業的DNS服務商。在這個步驟最容易出現的情況是運營部門屏蔽蜘蛛IP，因為蜘蛛爬取過程很類似DOS攻擊。
TCP連接速度主要取決于Web服務器能否快速接入請求，一般而言，當服務器同時接入大量請求信息時會產生擁堵甚至拒絕接入的情況，接入量越大TCP連接速度越慢。當然，也跟所選WEB服務器程序(如IIS、Apache、Nginx等)有關。針對大型網站，可通過增加配置解決問題。針對采用合租服務器方式的小型網站，要避免和論壇、下載站等訪問量大、消耗帶寬大的網站共享服務器。
服務器計算速度主要取決于網站程序構架、數據庫執行效率、程序語言效率等(針對動態內容)，同時與并行處理量等有關。在這一過程最常見的問題就是數據庫執行效率低下，因而會導致網站速度降低甚至出現頁面訪問出錯的情況。
楊子的網站服務器就經常因為同一時間訪問量過大而出現數據庫錯誤的情況，另人相當郁悶。針對該過程進行優化主要是運營的事情了，要么換好一點的程序要么換好一點的工程師。
HTML下載速度主要取決文件的大小及網絡帶寬(針對大型網站較明顯)，對于SEO而言，可對HTML代碼進行優化。很多網站HTML代碼都存在冗長的問題，甚至通篇代碼而文本內容僅占極小一部分。我曾經接手的網站使用過的頁面功能，在去除后仍保留代碼，或者某一“更多”按鈕下隱藏著該功能全部的鏈接(都體現在HTML里，內容甚至超過了頁面主體的內容量!)。針對HTML優化，看源碼是個好習慣。
