發布時間:2021-09-15    所屬分類:SEO資訊   瀏覽:714

                          百度站長SEO問題答疑:網站抓取建設指南


                          1、百度爬蟲工作原理



                          抓取系統是站長服務器與百度搜索的一個橋梁,我們通常把抓取系統稱之為抓取環。

                          舉例:以首頁為例,“抓取器”與“網站服務器”交互抓取首頁,進行對頁面進行理解,包含類型、價值的計算,此外還會把頁面所有超鏈接提取出來,提取出來的鏈接叫“后鏈”,后鏈是下一輪抓取的鏈接集合。下一輪抓取會從上一輪的后鏈選擇需要抓取的數據去抓取,繼續和網站交互獲取頁面提取鏈接,反復不斷一層一層循環構成抓取環路。


                          2、抓取友好性優化

                          URL規范

                          url盡可能不要復雜,新站剛開始抓,蜘蛛并不知道URL里面的內容什么樣,url長短?是否規范?是不是被選出來(指抓?。┓浅jP鍵的。URL核心有兩點:主流和簡單。不要使用中文/中文編碼雖然百度能識別,蜘蛛支持256個字符,建議小于<100字符。偏長URL不占有優勢。


                          參數以及無效參數的問題?

                          url盡可能不要使用無效的參數“?”“&”會讓一條資源,在蜘蛛沒有抓取的情況下抓取多個相同內容,不同url導致重復抓取,浪費站點的權益。希望站長盡可能不適用參數,或者精簡參數,僅保留必要參數,不要使用- #等連接符


                          合理發現鏈路

                          蜘蛛要盡可能的抓取完整網站資源,就需要首頁到每一個資源(頁面)超鏈接關系都做好,這樣蜘蛛也會省力。從首頁到內容來的路徑是從首頁到欄目一再到這個內容,這個鏈路關系我就把它稱為一個發現鏈路。

                          舉例:feed流 和 僅有搜索首頁的頁面,這類站點建議增加索引頁,讓蜘蛛發現更多有價值的內容,索引頁要按照時間歷史順序排序,新資源要實時發布到索引頁上,目的是盡可能的曝光給蜘蛛,也不要做大量的泛濫的索引頁。后鏈的URL要在頁面源碼中直接露出,不要引入一些動作觸發。最好是使用百度資源平臺的資源提交工具。


                          Q:資源提交是不是越多越好?

                          A:收錄效果的核心永遠是內容質量,如果大量提交低質、泛濫資源會導致被算法別識別為低質,帶來懲罰性打壓。


                          Q:為什么提交了普通收錄但沒有抓?

                          A:資源提交只能加速資源發現,不保證短時間內抓取;同時技術大大在持續優化篩選算法,讓優質的資源更快得到抓取。普通收錄和sitemap 的作用不是提交后立馬抓取,具體什么時候抓還是依賴策略的一個計算和選取。

                          注:所以好多新站/低質量站點剛開始提交,看不到蜘蛛爬取。


                          訪問友好性

                          抓取器和網站要進行交互,要保證服務器穩定。


                          訪問速度優化

                          兩個建議,第一點 加載時間,建議控制在兩秒以內加載,會有一定程度的優待。第二點 避免非必要的跳轉,而且多級跳轉也會影響加載速度。


                          服務器負載穩定︰

                          特別在短時間內大量提交優質資源后,關注服務器穩定,真的很優質且量大的內容,蜘蛛爬取頻次會很高的。


                          抓取頻次的高低和網站收錄是否有聯系?

                          抓取頻次的高低其實和網站收錄的效果是沒有必然聯系。

                          抓取目的主要分成兩種:第一種 抓取網站上沒有抓過的頁面。第二種 抓取已經抓取過的頁面,看這個頁面是不是有更新。

                          注:第二種抓取目的很多站長都會忽略了,已經收錄抓取的頁面,在一次抓取,應該不是為了發現新頁面(猜測),而是看頁面是否“更新”內容。


                          問答環節


                          新站會不會有固定的抓取次數?

                          任何網站的抓取中沒有一個特別固定的次數。自己建了個新站,其實很長時間百度采取抓取問題,基于這個問題,我們也做了一些相對應的優化,對于我們能識別出來新站,相比已經抓了一段時間的站,我會做一些相對應的流量傾斜的扶持。先給你一些流量,使站長能夠在百度的系統里轉起來,再基于你的價值判斷來看,給予你流量是高還是低,是否需要去繼續去提升。

                          注:本節公開課是五月二十一號的,今年確實有好多已備案新站,上線抓取頻次很高,大概有1-2個月扶持。很多人借助百度給的扶持期,瘋狂填充低質內容, 這是一個錯誤的操作。


                          如何讓百度知道你是一個新建的站點?

                          1、在百度家平臺上去做提交。  2、做ICP備案。


                          每個站點蜘蛛的抓取配會不會有調整?大約多久會調整一次?有沒有固定時間?

                          有調整。對于新資源的抓取和站點的質量相關,對于舊資源的抓取和站點更新頻率相關。計算出來你的站點,質量有變化,新資源抓取的頻率就會發生變化。發現你的站長規模有變化,我們抓取頻次會有變化。站點有很大的變動或改版,被識別出來,更新頻率也會有相應變化。而整體上這些計算的,不是一個特別高的頻次。大概會到一個周級的變化,才能體現出來。

                          注:這塊說的四種可能會調整,更新變化頻率是周級的。


                          網站將網站降權能否恢復?

                          網站降權恢復的前提是要針對網站的內容進行全面的自查整改,按照搜索資源平臺發布的算法規范自查整改之后,要把相應的違規頁面提交死鏈,線上進行刪除之后搜索會對站點評評估。站點的內容都沒有違規會進行恢復。


                          新站點是否有考核期?

                          沒有一個嚴格的稱為考核期的這么一個東西,新站點會有一定一個周期,來進行流量的傾斜,讓新站在我們系統里轉起來,這個周期大概是月級別的。假設新站已經給你傾斜一到兩個月。發現你的價值還是不夠高,可能我們就不會去特別高的處理。但是我們依舊會去抓,當發現站點質量有明顯提升或優質規模有提升,也會相應去提升站點抓取頻次。

                          注:這塊是畫重點,已備案,新站扶持期并非固定。


                          百度對于國外服務器和國內的服務器是否會有區別對待?

                          沒有。從策略角度上來講,沒有一個特別硬性的策略來說,咱們對外網的要打壓,對國內的要扶持,沒有這樣的一個策略的。只不過國外服務器延遲高不穩定因素多。


                          如果新站用一個老域名,會不會比用新域名更有優勢?

                          這個不一定,在于老域名和新站是不是相同(相關)內容,如果在原來基礎包裝,起步階段是有優勢的,僅僅是起步階段有優勢。后期主要依賴內容。

                          老域名和新站內容領域不相符尤,非常不建議使用老域名,反而會影響價值評判,還不如做一個新站。     


                          蜘蛛是否有權重IP之分?

                          沒有。對于網站展現曝光依賴內容質量,結合用戶行為進行評價的。

                          注:很多人一直都認為有蜘蛛權重ip,蜘蛛每天爬取量非常大,最常見的蜘蛛只有兩段IP總共512個IP,百度這種出口IP肯定不止512組服務器,集群成千上萬的服務器,這512個IP是出口IP,給后方集群服務器進行代理的IP。即使真有權重服務器,但是這個權重服務器也說不準從哪一個Ip出來,下圖遠端端口。


                          網站最近不收錄有沒有建議?

                          那要結合站點的內容,你的站點發布的內容在線上已經有大量的同質的資源,就會不會再進行抓取和展現。


                          打賞支付寶打賞微信打賞

                          上一篇:【干貨】百度站長工具(資源平臺)使用教程、解讀

                          下一篇:馬賽克截圖怎么找出處?請看這里!



                          除非注明,本站所有文章皆為本人原創,可隨意轉載但請保留鏈接或名字,謝謝!



                          相關標簽: 百度資源平臺百度站長平臺百度站長工具株洲SEO資興SEO資陽SEO自貢SEO遵化SEO貴陽SEO貴州SEO海南SEO咸陽SEO湘潭SEO

                          發表評論:

                          • 最新文章

                          • 熱門文章

                          • 隨機文章

                          SEO姜東
                            SEO姜東微信二維碼

                            常州SEO姜東


                            從事互聯網行業多年,希望分享各類互聯網、SEO理念、跨境電商,掃碼與我交流SEO


                          與我詳談SEO

                          常州SEO木木qq


                          常州SEO木木qq

                          特別推薦
                          加我的微信:SEO-jiangd詳談網絡營銷
                          一级A片中文字幕免费