搜索引擎工作原理一個SEO從業(yè)者應(yīng)該了解的基礎(chǔ)課程，但是有人卻說搜索引擎工作原理對于新手來說是不容易理解的，因?yàn)楣ぷ髟硖橄螅宜阉饕娴淖兓療o常，無論誰都不能真正認(rèn)識搜索工作原理。那么一個頁面是如何被搜索引擎發(fā)現(xiàn)并收錄的呢？下面
安慶網(wǎng)站優(yōu)化的小編為您分析：
蜘蛛在整個互聯(lián)網(wǎng)上爬行遇見你網(wǎng)站的一個URL，首先把URL提取出來根據(jù)網(wǎng)站權(quán)重和相關(guān)性插入到URL隊(duì)列中，然后是判斷你網(wǎng)站的這條URL是否能夠解析成功，如果能解析成功，蜘蛛會爬到你網(wǎng)站，這里需要說一下，蜘蛛并不是直接去分析你網(wǎng)頁的內(nèi)容，而是去尋找你網(wǎng)站robots文件，根據(jù)你網(wǎng)站的robots規(guī)則判斷是否抓取你這個頁面，如果robots文件不存在，則會返回一個404錯誤，但是搜索引擎已經(jīng)會繼續(xù)抓取你的網(wǎng)站內(nèi)容。
搜索引擎抓取了網(wǎng)頁內(nèi)容之后會對網(wǎng)頁進(jìn)行一個簡單的判斷是否達(dá)到了收錄標(biāo)準(zhǔn)，如果不符合則繼續(xù)把URL加入到URL 隊(duì)列中，如果符合收錄就會下載網(wǎng)頁內(nèi)容。
當(dāng)搜索引擎拿到下載網(wǎng)頁內(nèi)容的時候，會提取出頁面上的URL，繼續(xù)插入到URL隊(duì)列中，然后把頁面上的數(shù)據(jù)，進(jìn)行進(jìn)一步分析，判斷網(wǎng)頁內(nèi)容是否達(dá)到收錄標(biāo)準(zhǔn)，如果達(dá)到收錄標(biāo)準(zhǔn)則把頁面存儲到硬盤中。
當(dāng)用戶搜索某個關(guān)鍵詞時，搜索引擎為了減少查詢時間，將一部分相關(guān)性比較高的內(nèi)容放到臨時緩存區(qū)，大家都知道從計算機(jī)的緩存中讀取數(shù)據(jù)，比在硬盤中讀取數(shù)據(jù)快很多。所以搜索引擎只將緩存中的一部分顯示給用戶。被存儲在硬盤中的頁面，搜索引擎會根據(jù)網(wǎng)站權(quán)重定時對其進(jìn)判斷是否有更新，是否達(dá)到了放入緩存區(qū)的標(biāo)準(zhǔn)，如果搜索引擎在判斷是否有更新的同時發(fā)現(xiàn)網(wǎng)站頁面被刪除或網(wǎng)頁達(dá)不到被收錄的標(biāo)準(zhǔn)也會被刪除。
以上就是搜索引擎的頁面收錄原理，希望每一位seo人員都應(yīng)掌握。
