CASES 案例
我們的作品，他們的故事
Our work, their stories
Our work, their stories
龍兵剖析搜索引擎結構
我們知道要想做好網站并且推廣出去，就要對搜索引擎有一定的認識，下面成都網站建設龍兵科技為您一一解析。
一、搜索引擎大致結構：用戶查詢、cache模塊、排序（內容和鏈接）、索引庫、蜘蛛去重、互聯網
二、搜索引擎的爬行策略：
①寬度優先：它發現新連接會放在最后的待抓取ulr
②非完全的pagerank：判斷鏈接重要性，去排序
③OCIP策略：改進的pagerank，抓取的10個URL的權重，就像花錢，相互鏈接，從鏈接導入判斷，看哪個重要，OCIP不需要計算過程，速度
④大站優化策略：以域為（www.xbjianzhan.com）單位，蜘蛛堅持待抓取url庫中的網頁，進行歸類。那一個域需要下載的頁面較多，就優先下載那個域
三、蜘蛛爬行過程
①下載種子頁面
②分析出里面的鏈接
③將分析出來的鏈接放入待抓取的數據庫中
④依次下載待抓取的URL，并分析里面的鏈接并放入已爬行庫中。
四、如果你網站頁面不更新，或者排名不好可參考，頁面更新策略
①歷史參考策略：主要根據網頁的歷史變化作為參考已經，來知道爬蟲對網站的更新時間。廣告變化、網站頭部、網站尾部、網站樣式、顏色等變化，對于蜘蛛來說，不屬于更新
②用戶體驗策略：主要根據用戶體驗作為參考的依據，來指導爬蟲對網站的更新時間。用戶前30名網站較多，判斷一個網頁是否需要更新，取決于網頁的變化所帶來的搜索質量的變化，影響越大，更新越快
③類聚抽樣策略：把抓取到的網頁根據屬性，放到不同的類中，然后根據類別的屬性，進行頁面的更新頻率和時間。 在不同的環境下，搜索引擎可能直接省略掉這個步驟，直接會以網站為類聚單位，對網站的內頁進行抽樣，計算更新頻率，作為參考周期
五、蜘蛛的類型
對等式分布爬蟲、主從分布式爬蟲
一、搜索引擎大致結構：用戶查詢、cache模塊、排序（內容和鏈接）、索引庫、蜘蛛去重、互聯網
二、搜索引擎的爬行策略：
①寬度優先：它發現新連接會放在最后的待抓取ulr
②非完全的pagerank：判斷鏈接重要性，去排序
③OCIP策略：改進的pagerank，抓取的10個URL的權重，就像花錢，相互鏈接，從鏈接導入判斷，看哪個重要，OCIP不需要計算過程，速度
④大站優化策略：以域為（www.xbjianzhan.com）單位，蜘蛛堅持待抓取url庫中的網頁，進行歸類。那一個域需要下載的頁面較多，就優先下載那個域
三、蜘蛛爬行過程
①下載種子頁面
②分析出里面的鏈接
③將分析出來的鏈接放入待抓取的數據庫中
④依次下載待抓取的URL，并分析里面的鏈接并放入已爬行庫中。
①歷史參考策略：主要根據網頁的歷史變化作為參考已經，來知道爬蟲對網站的更新時間。廣告變化、網站頭部、網站尾部、網站樣式、顏色等變化，對于蜘蛛來說，不屬于更新
②用戶體驗策略：主要根據用戶體驗作為參考的依據，來指導爬蟲對網站的更新時間。用戶前30名網站較多，判斷一個網頁是否需要更新，取決于網頁的變化所帶來的搜索質量的變化，影響越大，更新越快
③類聚抽樣策略：把抓取到的網頁根據屬性，放到不同的類中，然后根據類別的屬性，進行頁面的更新頻率和時間。 在不同的環境下，搜索引擎可能直接省略掉這個步驟，直接會以網站為類聚單位，對網站的內頁進行抽樣，計算更新頻率，作為參考周期
五、蜘蛛的類型
對等式分布爬蟲、主從分布式爬蟲
上一篇:上一篇：成都旅游網站建設策略
下一篇:下一篇：交友app開發商業計劃書
最新資訊
