網站11月5日通過工信部備案成功后正式上線，訪問網址：草莓視頻在線下載:damaji.org,自上線以(yi)來(lai)，網(wang)站每天更新原創文章、每天有(you)規律的(de)(de)發外鏈(lian)，可是時間2個(ge)多星期(qi)過去了(le)，百度對(dui)網(wang)站依然沒收錄。在持續一段時間堅持還有(you)與同行(xing)朋友交(jiao)談之后，覺得(de)這個(ge)問題可能出在站內，所以(yi)我(wo)就一點點的(de)(de)來(lai)進行(xing)排查(cha)。

  首先，網(wang)(wang)站(zhan)(zhan)(zhan)(zhan)不(bu)(bu)(bu)(bu)收(shou)錄(lu)(lu)(lu)的(de)(de)原(yuan)因(yin)(yin)(yin)，總(zong)體下來大(da)概就(jiu)幾種(zhong)，①文章質量，如果全(quan)部抄(chao)襲，百(bai)度(du)(du)不(bu)(bu)(bu)(bu)收(shou)錄(lu)(lu)(lu)完全(quan)是(shi)(shi)(shi)正(zheng)常(chang)的(de)(de)；②外鏈，如果沒(mei)規律發(fa)布(bu)，百(bai)度(du)(du)認(ren)為你是(shi)(shi)(shi)作弊，或者(zhe)用機(ji)器發(fa)的(de)(de)，甚至(zhi)當做沒(mei)意(yi)義(yi)外鏈，這個(ge)(ge)(ge)(ge)不(bu)(bu)(bu)(bu)收(shou)錄(lu)(lu)(lu)也是(shi)(shi)(shi)正(zheng)常(chang)的(de)(de)；③還有(you)一個(ge)(ge)(ge)(ge)是(shi)(shi)(shi)robots.txt（以下簡稱(cheng)robots），這個(ge)(ge)(ge)(ge)robots是(shi)(shi)(shi)百(bai)度(du)(du)搜索引擎（下稱(cheng)蜘(zhi)(zhi)蛛(zhu)）進入網(wang)(wang)站(zhan)(zhan)(zhan)(zhan)第一個(ge)(ge)(ge)(ge)查看的(de)(de)東(dong)西(xi)，當你網(wang)(wang)站(zhan)(zhan)(zhan)(zhan)不(bu)(bu)(bu)(bu)存在這個(ge)(ge)(ge)(ge)協議的(de)(de)時(shi)候，蜘(zhi)(zhi)蛛(zhu)就(jiu)在你網(wang)(wang)站(zhan)(zhan)(zhan)(zhan)內(nei)(nei)(nei)徘徊，因(yin)(yin)(yin)為他(ta)(ta)看不(bu)(bu)(bu)(bu)到你的(de)(de)協議，他(ta)(ta)也不(bu)(bu)(bu)(bu)敢貿然去收(shou)錄(lu)(lu)(lu)你站(zhan)(zhan)(zhan)(zhan)內(nei)(nei)(nei)的(de)(de)東(dong)西(xi)，所以此時(shi)就(jiu)會出現了一個(ge)(ge)(ge)(ge)收(shou)錄(lu)(lu)(lu)審(shen)核期(qi)。蜘(zhi)(zhi)蛛(zhu)進去看到了robots之(zhi)后(hou)，讀懂了允許抓(zhua)取(qu)之(zhi)后(hou)，它(ta)是(shi)(shi)(shi)會對網(wang)(wang)站(zhan)(zhan)(zhan)(zhan)內(nei)(nei)(nei)的(de)(de)內(nei)(nei)(nei)容進行收(shou)錄(lu)(lu)(lu)。正(zheng)是(shi)(shi)(shi)因(yin)(yin)(yin)為這一點，我(wo)(wo)就(jiu)猜想，網(wang)(wang)站(zhan)(zhan)(zhan)(zhan)不(bu)(bu)(bu)(bu)收(shou)錄(lu)(lu)(lu)的(de)(de)原(yuan)因(yin)(yin)(yin)會不(bu)(bu)(bu)(bu)會是(shi)(shi)(shi)可能由于我(wo)(wo)設置(zhi)了404頁面，而沒(mei)設置(zhi)了robots，導(dao)致(zhi)蜘(zhi)(zhi)蛛(zhu)在讀取(qu)robots時(shi)自動(dong)轉去了404頁面，看不(bu)(bu)(bu)(bu)到我(wo)(wo)網(wang)(wang)站(zhan)(zhan)(zhan)(zhan)上是(shi)(shi)(shi)否允許蜘(zhi)(zhi)蛛(zhu)抓(zhua)取(qu)，所以導(dao)致(zhi)蜘(zhi)(zhi)蛛(zhu)在網(wang)(wang)站(zhan)(zhan)(zhan)(zhan)上不(bu)(bu)(bu)(bu)斷徘徊。

  為了驗證，在11月24日經過上傳了robots之后，網站在2小時后就開始收錄了第一個頁面，內頁http://damaji.org/html/jgshipin/91.html ，果斷(duan)證(zheng)明了在(zai)設置了404頁面的(de)(de)情況下的(de)(de)robots的(de)(de)重要性。因為(wei)網(wang)站上的(de)(de)404錯誤頁面，會起到(dao)自動引(yin)導蜘蛛返回(hui)的(de)(de)作用，使得蜘蛛在(zai)那里轉(zhuan)來轉(zhuan)去，所以導致網(wang)站長時間不收錄(lu)。同時建議各位(wei)網(wang)站在(zai)做(zuo)優化的(de)(de)過程中(zhong)一定要注意合(he)理適度(du)的(de)(de)優化，必(bi)須(xu)遵循搜索引(yin)擎規則(ze)。