【蜘蛛陷阱】百度蜘蛛的常見陷阱是什么

發布時間:2019-12-12 15:55:00

當談到蜘蛛陷阱,許多新的搜索引擎優化用戶可能沒有聽說過。什么是蜘蛛?蜘蛛陷阱是阻止蜘蛛在網站上爬行的障礙或干擾。許多蜘蛛陷阱是人為的,許多是由于粗心大意造成的。由于蜘蛛陷阱是蜘蛛的陷阱,它們對用戶沒有影響,因此web界面看起來很正常,但其中可能有蜘蛛陷阱。如果你消除了這些蜘蛛陷阱,你可以讓蜘蛛在網站上爬得更好?,F在讓我們來看看一些蜘蛛陷阱SEOER必須知道!

【蜘蛛陷阱】百度蜘蛛的常見陷阱是什么

當談到蜘蛛陷阱,許多新的搜索引擎優化用戶可能沒有聽說過。什么是蜘蛛?蜘蛛陷阱是阻止蜘蛛在網站上爬行的障礙或干擾。許多蜘蛛陷阱是人為的,許多是由于粗心大意造成的。由于蜘蛛陷阱是蜘蛛的陷阱,它們對用戶沒有影響,因此web界面看起來很正常,但其中可能有蜘蛛陷阱。如果你消除了這些蜘蛛陷阱,你可以讓蜘蛛在網站上爬得更好?,F在讓我們來看看一些蜘蛛陷阱SEOER必須知道!

有些朋友會問為什么flash是一種蜘蛛陷阱。事實上,這個問題很簡單,因為蜘蛛無法識別閃光。許多網站喜歡在主頁上制作一個flash動畫,然后跳轉到HTML頁面。用戶可以訪問網站,并在觀看標題后轉到真正的HTML頁面。但是搜索引擎蜘蛛呢?蜘蛛無法通過這個flash跟蹤HTML頁面。如果需要flash效果,建議在主頁上為flash文件的HTML版本添加一個鏈接,這樣蜘蛛就可以按照鏈接抓取后面的HTML頁面。

JavaScript可以創造許多吸引人的視覺效果。有些網站喜歡使用JavaScript腳本來生成導航系統。這也是一個更嚴重的蜘蛛陷阱。蜘蛛也認不出JS。對于JS特效,他們可以加入網站或者把不需要爬網的鏈接放到JS中。但是需要爬網的鏈接不能放在JS中,這將導致蜘蛛無法繼續爬網。同時,JS不應該太多??梢詫iT構建JS文件。

我們說現在蜘蛛可以抓取一些URL鏈接,但是動態URL是由數據庫直接生成的,有些帶有問號和等號等多個參數。這種網站不僅不利于搜索引擎的蜘蛛爬行,而且可能導致蜘蛛的死循環,這是一個致命的蜘蛛陷阱。所以在大多數情況下,建議網站應該是靜態的。

一些網站使用sessionid跟蹤用戶的訪問。每個用戶在訪問網站時都將生成新的sessionid或ID。這個ID被添加到URL中。搜索引擎蜘蛛的每次訪問都將被視為新用戶,并在URL中添加不同的ID,這樣蜘蛛每次訪問時獲得的相同頁面將是不同的URL。因此,很明顯會生成重復的內容頁,從而導致高度重復的內容頁。

框架結構是flash和JS等蜘蛛的墻??蚣芙Y構也會阻礙蜘蛛爬行和抓取,使蜘蛛落入陷阱。

這很常見。有些網站內容只有在用戶登錄后才能看到,有些整個網站只有在用戶登錄后才能看到。當然,這對用戶來說毫無意義,但它為蜘蛛制造了一個陷阱。為什么?由于蜘蛛無法填寫用戶名、密碼,也無法注冊,自然蜘蛛也無法進來抓取你的內容,所以除了VIP內容或不需要蜘蛛抓取的內容外,其他內容都應該向蜘蛛公開以便抓取。

為了實現記住用戶登錄信息、跟蹤用戶訪問路徑、強制用戶使用cookie等功能,如果用戶瀏覽器不啟用cookie,頁面顯示異常。搜索引擎蜘蛛相當于禁用cookies并強制使用cookies的瀏覽器,這只能導致搜索引擎蜘蛛無法正常訪問

目前,推薦的站點跳轉是301、302重定向,而其他跳轉、蜘蛛則非常敏感。因為黑帽子喜歡以跳轉為手段,入侵別人的網站,然后在別人的網站上掛一個指向自己網站的跳轉。例如,不建議隨意使用JS跳轉和代碼跳轉,特別是在必須使用代碼跳轉來完成404頁的情況下,建議使用時間超過5秒。

對于蜘蛛,我們主要說的是網站的鏈接結構。其實,網站的鏈接結構等于一棟房子,鏈接就是門,蜘蛛就是我們邀請的朋友。網站鏈接結構的混亂等同于朋友在來到你家后無法區分東南、西北和出入口。連相應的環節都找不到,蜘蛛怎么能抓著爬呢?因此鏈接結構仍然需要是一個平面樹結構。

知道這些潛在的蜘蛛陷阱,我們應該注意不要在未來陷阱蜘蛛?,F在去你的網站,經??纯词欠裼兄┲胂葳?。


聯系我們,談您的需求

立即咨詢
青海十一选五走势图表