第一:孤島網頁是很難被搜索引擎抓取,孤島網頁指的是沒有任何反向鏈接的網頁,如果新站沒有任何被收錄的網站的鏈接指向新站,那么該新站實際上是互聯(lián)網的一個孤島,搜索引擎無從發(fā)現該網站的存在。
第二:該網站的服務器IP曾經被懲罰
這是一個很重要的方面,這是因為如果該IP下的網站多次作弊,導致該服務器IP被懲罰,那么,百度很可能不再爬出爬蟲來爬行這個服務器IP,那么,建立在該服務器IP下的網站就再也沒有見天日的機會。
第三:服務器不穩(wěn)定,或者經不起爬蟲采集的壓力
對于新站來說這是致命的,很容易導致蜘蛛放棄了該新站,不再進行爬行收錄。
第四:網站中的網頁性質及文件類型是搜索引擎無法識別的
很多人為了網站的美觀好看,采用了大量的如flash、JS跳轉、某些動態(tài)網頁、frame等,這些東西導致搜索引擎無法識別,自然也不再收錄。
第五:網站用robots協(xié)議拒絕搜索引擎抓取
有時候因為站長的粗心,設置了錯誤的robots協(xié)議,從而拒絕了搜索引擎的抓取。
第六:作弊和非法的網頁
使用關鍵詞作弊,網頁的關鍵詞和內容嚴重不匹配,或者非法內容的網頁;網頁的標題沒有實際含義的網站等等,也是搜索引擎拒絕的對象。