知識(shí)|產(chǎn)品|資訊|職場(chǎng)| 資源五大版塊
國(guó)內(nèi)最專(zhuān)業(yè)的SEM學(xué)習(xí)交流社區(qū)
【本文主要內(nèi)容】
（1）查找是否有黑鏈出現(xiàn)——從日志分析，百度蜘蛛抓取了網(wǎng)站的哪些預(yù)期外的頁(yè)面，是否存在黑鏈。（這個(gè)可能要先賣(mài)個(gè)關(guān)子，因?yàn)檫@又是個(gè)大工程啦，本期專(zhuān)題會(huì)提到一些）
（2）百度站長(zhǎng)工具外鏈分析——查看是否有垃圾外鏈、黑鏈等，以及鏈向的站內(nèi)什么地方，如何處理。（本期里面也有所涉及）
（3）百度站長(zhǎng)工具鏈接分析——三大死鏈（內(nèi)鏈死鏈、鏈出死鏈、鏈入死鏈），批量下載數(shù)據(jù)，合并數(shù)據(jù)，excel操作，按邏輯分類(lèi)，定位問(wèn)題，處理問(wèn)題。（定位和處理，材料不夠，因?yàn)楹枚嘁呀?jīng)處理過(guò)了，沒(méi)有材料了= =|||||）
（4）從分析這些數(shù)據(jù)，得到的與SEO效果相關(guān)的其他信息（垃圾搜索引擎、垃圾外鏈帶來(lái)的無(wú)用抓取，浪費(fèi)資源配額，如何拒絕。）
（5）如何自動(dòng)化地使用shell腳本，定位到被百度蜘蛛抓取到的死鏈，并進(jìn)行復(fù)查，然后將確定為死鏈的URL進(jìn)行自動(dòng)化提交。（本期專(zhuān)題內(nèi)容太多，留作下期專(zhuān)題用）
（6）分析工具介紹（設(shè)置，插件，excel，命令提示符批處理）
【你也許會(huì)學(xué)到的新姿勢(shì)】
（1）批量下載百度站長(zhǎng)工具中的表格數(shù)據(jù)（活學(xué)活用地去下載其他網(wǎng)站的一些東西，只要你喜歡。比如5118什么的。5118的站長(zhǎng)會(huì)不會(huì)打我呀？）
（2）合并一些常見(jiàn)的文檔，比如txt、csv之類(lèi)的文本，方便數(shù)據(jù)分析和處理。
（3）分析死鏈數(shù)據(jù)、定位問(wèn)題的一點(diǎn)基本思路
【本文主要使用到的工具】
（只是結(jié)合例子中，如果有其他相似功能的工具，請(qǐng)結(jié)合自身習(xí)慣使用即可）
【瀏覽器】火狐（）瀏覽器，版本無(wú)所謂
【插件】：
功能：一鍵打開(kāi)剪切板中存在的URL。（注意URL中只能有英文數(shù)字標(biāo)點(diǎn)，如果有中文可能無(wú)法被識(shí)別）。快捷鍵：alt + shift +K（先復(fù)制好單個(gè)或者多個(gè)URL）
設(shè)置：打開(kāi)選項(xiàng)設(shè)置，選擇好下載文件自動(dòng)保存的位置（我這里選擇了桌面，你也可以單獨(dú)創(chuàng)建一個(gè)文件夾，好對(duì)批量下載的文件進(jìn)行歸類(lèi)）
【表格處理】： 2013 Excel
【文本處理】：++
【批量處理】：自帶命令提示符
【開(kāi)始講解啦】
來(lái)到百度站長(zhǎng)工具鏈接分析。我們看到有兩大板塊，死鏈分析與外鏈分析。
一、我們可以先看一下外鏈分析。
分析外鏈數(shù)據(jù)的主要目的是，找出垃圾外鏈，主動(dòng)去封堵垃圾外鏈可能對(duì)網(wǎng)站造成的惡劣影響。最終目標(biāo)：1、找到垃圾外鏈的域名，進(jìn)行防盜鏈處理（針對(duì)來(lái)源為垃圾域名的，直接返回404狀態(tài)碼）；2、處理站內(nèi)可能存在問(wèn)題的頁(yè)面。
這里，我會(huì)重點(diǎn)講解第一點(diǎn)；第二點(diǎn)比較簡(jiǎn)單，我會(huì)講解得比較粗略。
1、定位出垃圾域名。
圖注：可以看到這是一個(gè)明顯不正常的趨勢(shì)圖
我們可以下載外鏈數(shù)據(jù)，來(lái)進(jìn)行初步分析。
圖注：下載得到的表格文件（csv逗號(hào)分隔符）
但是這樣一份原始數(shù)據(jù)，是很難進(jìn)行分析的。因此我們需要按照一定邏輯對(duì)其進(jìn)行分析——就是按照【被鏈接的網(wǎng)頁(yè)url】進(jìn)行分類(lèi)。
首先，我們可以快速瀏覽一下，進(jìn)行直觀判斷，這些頁(yè)面大部分是什么頁(yè)面呢？
針對(duì)我們網(wǎng)站的情況來(lái)說(shuō)，外鏈數(shù)據(jù)分為兩類(lèi)，正常外鏈與垃圾外鏈。
而垃圾外鏈又分為兩種：站內(nèi)搜索結(jié)果頁(yè)面（垃圾搜索詞）以及被黑客入侵植入的黑鏈（已經(jīng)處理為死鏈）。
我們進(jìn)行數(shù)據(jù)處理的目的有兩個(gè)：識(shí)別出哪些是正常外鏈，哪些是垃圾外鏈，并根據(jù)垃圾外鏈的相關(guān)數(shù)據(jù)，進(jìn)行一些處理，保護(hù)好網(wǎng)站；并且需要使被垃圾鏈接指向的頁(yè)面，不被搜索引擎抓取（浪費(fèi)抓取資源配額）以及被收錄/索引（保證網(wǎng)站詞庫(kù)不受污染，不為網(wǎng)站帶來(lái)形象與關(guān)鍵詞方面的負(fù)面影響）。
第一步，篩選出網(wǎng)站的搜索結(jié)果頁(yè)面
圖注：篩選數(shù)據(jù)、復(fù)制到新的sheet中，刪除原始sheet中的篩選數(shù)據(jù)，來(lái)分類(lèi)數(shù)據(jù)
還有幾類(lèi)搜索鏈接格式，都以相同方式進(jìn)行處理。
然后把原始sheet中剩下的數(shù)據(jù)進(jìn)行去重（空白行），得到剩余的鏈接信息。
圖注：對(duì)剩余數(shù)據(jù)進(jìn)行簡(jiǎn)單的去重處理。
然后，我們需要對(duì)黑鏈進(jìn)行篩選。黑鏈的數(shù)據(jù)，一般需要先從網(wǎng)站日志中分析得到（這樣是最全面的，為了保證效率，會(huì)需要使用到shell腳本來(lái)自動(dòng)運(yùn)行，但是涉及篇幅過(guò)多，我將在以后的專(zhuān)題中進(jìn)行講解）。
當(dāng)然也可以對(duì)表格中【被鏈接的網(wǎng)頁(yè)url】這一列按照順序排序后，挨著分析得到（自己去打開(kāi)，同時(shí)黑客會(huì)使用一些特殊手段，妨礙我們?nèi)プR(shí)別真正的會(huì)被搜索引擎識(shí)別到的垃圾內(nèi)容，最常見(jiàn)的情況就是，使用js跳轉(zhuǎn)。這樣我們通過(guò)瀏覽器訪問(wèn)時(shí)，會(huì)看到完全不一樣的內(nèi)容，而搜索引擎抓取時(shí)，則下載到了垃圾內(nèi)容。）
這時(shí)，我們需要使用一款插件【No 】，旨在屏蔽網(wǎng)站上的js，看到與搜索引擎類(lèi)似的內(nèi)容。
圖注：屏蔽瀏覽器中java 的插件
另外還有一種不是很靠譜的甄選方法火狐打不開(kāi)網(wǎng)頁(yè)內(nèi)鏈接，在搜索引擎里面去搜：【site:域名 博彩】之類(lèi)的關(guān)鍵詞，把不符合網(wǎng)站預(yù)期的關(guān)鍵詞拿去搜，就可以得到很多鏈接了。（這里需要使用一些方法，把鏈接全都批量導(dǎo)出，在今后的專(zhuān)題中，我會(huì)繼續(xù)講解的）
篩選過(guò)程我就只能省略啦，可以結(jié)合視頻看一看。
圖注：篩選出來(lái)的網(wǎng)站黑鏈
我們之所以要這么辛苦地找出垃圾外鏈，目的就是要把這些垃圾外鏈的域名記錄下來(lái)，避免這些垃圾域名被黑客重復(fù)利用，拿去制作新的垃圾鏈接，從而在第一時(shí)間拒絕掉這些垃圾外鏈，使百度蜘蛛從垃圾外鏈訪問(wèn)我們網(wǎng)站上內(nèi)容時(shí)，無(wú)法獲取到任何信息（也就是返回404狀態(tài)碼，被識(shí)別成死鏈），久而久之，這些垃圾域名的權(quán)重就會(huì)越來(lái)越低（因?yàn)閷?dǎo)出了死鏈，影響搜索引擎的正常抓取工作），這樣我們不僅保護(hù)了自己，也懲罰了敵人。
具體方法是，把垃圾頁(yè)面找出來(lái)——從搜索結(jié)果頁(yè)面和黑鏈的兩個(gè)sheet中，把外鏈頁(yè)面整合到一起。如所示。
圖注：合并垃圾外鏈頁(yè)面
接下來(lái)的處理會(huì)使用到一款小工具，來(lái)快速獲取這些鏈接的主域名。
圖注：將鏈接復(fù)制到左邊紅框里，點(diǎn)擊本地提取，就會(huì)出現(xiàn)在右側(cè)紅框
如此一來(lái)，我們就得到了這些垃圾外鏈頁(yè)面的主域名，我們只需要在我們服務(wù)器上配置一下防盜鏈，禁止refer（來(lái)源）為這些域名的訪問(wèn)（返回狀態(tài)碼）即可。
2、從站內(nèi)對(duì)搜索結(jié)果頁(yè)面進(jìn)行處理（黑鏈處理我保留在下一次專(zhuān)題，因?yàn)橐罅拷Y(jié)合linux的shell腳本）：
權(quán)重比較高的網(wǎng)站的站內(nèi)搜索，一定要注意（反垃圾）。如果不加以防范的話，一旦被黑客利用，那么可能會(huì)造成大量搜索頁(yè)面被百度抓取，黑客利用高權(quán)重網(wǎng)站的資源，快速做好黃賭毒行業(yè)的關(guān)鍵詞排名。但是這對(duì)于我們網(wǎng)站來(lái)說(shuō)，則是噩夢(mèng)般的打擊。不作處理的話，可能會(huì)導(dǎo)致如下幾方面的問(wèn)題：浪費(fèi)大量的蜘蛛抓取配額，去抓取垃圾頁(yè)面；垃圾頁(yè)面被搜索引擎收錄，網(wǎng)站詞庫(kù)被黑客污染，使得網(wǎng)站的行業(yè)詞和品牌詞排名不理想；對(duì)網(wǎng)站形象造成損失……等。
在進(jìn)行這類(lèi)反垃圾策略的時(shí)候，我們需要關(guān)注四個(gè)方面：站內(nèi)用戶(hù)可以正常使用；不允許搜索引擎抓取這類(lèi)頁(yè)面；拒絕垃圾外鏈的訪問(wèn)；頁(yè)面上不得出現(xiàn)垃圾關(guān)鍵詞。
既然有了明確的目標(biāo)，那么相應(yīng)的應(yīng)對(duì)方案也就出來(lái)了，那就是：
A 限制來(lái)源，拒絕掉所有非站內(nèi)來(lái)源的搜索
B 頁(yè)面上的TKD等關(guān)鍵位置，不對(duì)搜索詞進(jìn)行調(diào)用
C 指定敏感詞庫(kù)過(guò)濾規(guī)則，將敏感詞全部替換為星號(hào)*（有一定技術(shù)開(kāi)發(fā)要求）
D 在.txt聲明，不允許抓取
E 在頁(yè)面源代碼head區(qū)間添加meta 信息，聲明該頁(yè)面不允許建立索引（）
進(jìn)行以上處理，可以解決掉大部分站內(nèi)搜索頁(yè)面（不局限于該類(lèi)頁(yè)面，甚至其他的頁(yè)面只要不希望搜索引擎抓取以及建立索引的話，都可以這樣處理）容易出現(xiàn)的問(wèn)題。
二、我們?cè)賮?lái)看一下死鏈分析。
死鏈，在站長(zhǎng)工具的死鏈提交工具的幫助文檔中已經(jīng)有詳盡的闡釋?zhuān)覂H僅進(jìn)行一些補(bǔ)充即可。
死鏈一般有如下幾種：內(nèi)部死鏈、外部死鏈。
內(nèi)部死鏈，就是我們網(wǎng)站上出現(xiàn)的，由于種種原因使得百度蜘蛛抓取鏈接時(shí)，無(wú)法獲取到內(nèi)容而被識(shí)別的死鏈。大部分情況下，對(duì)于我們來(lái)說(shuō)，這種死鏈?zhǔn)强梢酝ㄟ^(guò)一些方式進(jìn)行避免的，因此是可控的。同時(shí)，由于鏈向死鏈的頁(yè)面，都是我們網(wǎng)站上的頁(yè)面，并且鏈出了死鏈的頁(yè)面，對(duì)搜索引擎非常不友好，所以不及時(shí)處理的話，極有可能使搜索引擎無(wú)法順利地對(duì)網(wǎng)站上有價(jià)值頁(yè)面進(jìn)行抓取，從而間接導(dǎo)致“局部降權(quán)”（抓取一些頁(yè)面的周期變得越來(lái)越長(zhǎng)，快照更新緩慢，排名上不去之類(lèi)）。
內(nèi)部死鏈問(wèn)題比較嚴(yán)重，所以應(yīng)當(dāng)優(yōu)先處理內(nèi)部的死鏈。
而我們可以放慢地百度站長(zhǎng)工具中獲取死鏈數(shù)據(jù)，并按照一定邏輯方式進(jìn)行整理和劃分，定位問(wèn)題，接下來(lái)我將圍繞進(jìn)行死鏈數(shù)據(jù)分析進(jìn)行講解。
通過(guò)在頁(yè)面上對(duì)死鏈信息進(jìn)行預(yù)覽，誰(shuí)都會(huì)，我就不需要過(guò)多說(shuō)明了。而死鏈問(wèn)題，不需要每天都去下載表格進(jìn)行分析，而只需要每天大致看一下數(shù)據(jù)，是否有突然出現(xiàn)的死鏈，找到原因并處理（一般大范圍出現(xiàn)，比較容易被察覺(jué)到，也是需要緊急處理的）；其次我們需要定期進(jìn)行一次較為徹底的死鏈數(shù)據(jù)分析，看看是否有平時(shí)沒(méi)有關(guān)注到的死鏈問(wèn)題（一般出現(xiàn)范圍小，會(huì)比較難以察覺(jué)，但是任由其長(zhǎng)期發(fā)展下去的話，可能會(huì)造成大問(wèn)題）。
圖注：一般突然出現(xiàn)的大量死鏈，很容易被察覺(jué)，也比較好確定原因
圖注：這是早期定位到的問(wèn)題，雖然提交了處理建議，但被程序員忽視掉，然后在最近突然爆發(fā)出來(lái)，因此即使小問(wèn)題，也應(yīng)當(dāng)引起足夠重視（由于發(fā)生后處理及時(shí)，沒(méi)有出現(xiàn)過(guò)于嚴(yán)重的問(wèn)題）
接下來(lái)，我來(lái)簡(jiǎn)單說(shuō)一下，批量下載百度站長(zhǎng)工具中的死鏈數(shù)據(jù)，以及合并數(shù)據(jù)進(jìn)行統(tǒng)一處理。
內(nèi)鏈死鏈（子域名A指向子域名A）和鏈出死鏈（子域名A指向子域名BCD……），一般來(lái)說(shuō)比較容易分析，我們來(lái)針對(duì)鏈入死鏈（子域名BCD……指向子域名A）來(lái)進(jìn)行一些批量處理吧。
圖注：可以對(duì)數(shù)據(jù)進(jìn)行下載，格式為csv（逗號(hào)分隔符），可以方便地使用excel進(jìn)行處理；并且下方有官方的幫助文檔。
到這里，你可以試著點(diǎn)擊【下載數(shù)據(jù)】，這樣火狐瀏覽器就會(huì)自動(dòng)把文件下載到你設(shè)置好的位置。
這里告訴大家一個(gè)小技巧，可以點(diǎn)擊下載列表中的對(duì)應(yīng)文件，復(fù)制下載鏈接，然后粘貼出來(lái)。
:///&=1&type=3&day=2016-02-30&f=&key=
相信長(zhǎng)得帥的朋友已經(jīng)看出來(lái)了，site=就是指定你的網(wǎng)站域名，而day=2016-02-30就是指定你需要的日期了。type=3就是指定下載【鏈入死鏈】的數(shù)據(jù)，而type=2是鏈出死鏈，type=1是內(nèi)鏈死鏈。而其他參數(shù)不需要做過(guò)多了解。
腦洞大開(kāi)的朋友一定會(huì)想，如果我把日期參數(shù)做一下處理，是不是能夠批量地直接下載這些文件了呢？沒(méi)錯(cuò)，可以的。這里你需要借助一下excel強(qiáng)大的功能。
先手動(dòng)做好兩行URL，然后選中，左鍵按住從右下角，往下拉你就發(fā)現(xiàn)excel已經(jīng)自動(dòng)幫你對(duì)URL進(jìn)行了補(bǔ)完。非常方便。
松開(kāi)左鍵，就得到了想要的結(jié)果
然后，你就可以復(fù)制下這些URL，然后到火狐瀏覽器中，用我們之前安裝好的 插件，使用其快捷鍵alt + shift +K批量打開(kāi)上圖中的鏈接，然后我們的火狐瀏覽器就會(huì)自動(dòng)把這些文件下載存儲(chǔ)到我們指定好的位置。
來(lái)，我們看一看收獲的成果吧：
好像還可以的樣子哦？但是，這么多表格難道要我一個(gè)一個(gè)地打開(kāi)嗎？
當(dāng)然不。我們來(lái)看一看某一個(gè)表格長(zhǎng)什么樣子吧。看到了嗎？這里有記錄時(shí)間的。
也就是說(shuō)，如果我們能想辦法把這些文件都合并起來(lái)的話，也是有辦法區(qū)分日期的。
好吧，說(shuō)干就干。
（1）打開(kāi)你的命令提示符： + R，輸入cmd，回車(chē)
（2）在命令提示符中，輸入cd再敲入空格，再到保存csv文件的位置，去把文件夾整個(gè)拖拽到命令提示符中，即可自動(dòng)補(bǔ)完路徑。
如果不輸入cd空格的話，會(huì)報(bào)錯(cuò)，如下圖。（cd的意思是跳轉(zhuǎn)目錄到指定目錄）
當(dāng)成功后，你就可以把csv文件都合并起來(lái)啦，輸入命令：
copy *.csv..\ok.csv
意思是，拷貝出所有以后綴名為csv的文件，輸出到上一級(jí)目錄下的ok.csv文件中。
這樣就完成了合并。
我們打開(kāi)ok.csv看看？接下來(lái)就可以進(jìn)行簡(jiǎn)單的去重處理。
圖注：簡(jiǎn)單去重后，我們依然可以大致瀏覽一下。
我們發(fā)現(xiàn)，死鏈前鏈中，有許多來(lái)自于不同域名的相似目錄下的頁(yè)面。我們不妨把這些頁(yè)面單獨(dú)存起來(lái)。
圖注：篩選出所有子域名下包含目錄的頁(yè)面
然后我們發(fā)現(xiàn)，還有一些包含/的頁(yè)面，這些頁(yè)面一般是經(jīng)過(guò)推送數(shù)據(jù)來(lái)進(jìn)行抓取的，所以也暫時(shí)分類(lèi)到一邊。
圖注：百度的抓取數(shù)據(jù)
剩下的數(shù)據(jù)中，還剩下外部死鏈，而外部死鏈中還包含一些垃圾鏈接，我們需要把這些垃圾鏈接找出來(lái)。
圖注：按照死鏈鏈接排序
把垃圾死鏈也單獨(dú)歸為一類(lèi)，剩下的就是真正的外鏈死鏈了。
圖注：檢驗(yàn)成果的時(shí)候到啦。
我們把數(shù)據(jù)按照一定邏輯關(guān)系分成了四類(lèi)，分別是【外部死鏈】【垃圾鏈接】【百度】【子域名（也屬于內(nèi)部死鏈）】
我們需要重點(diǎn)關(guān)注的是，【子域名】出現(xiàn)的死鏈。因?yàn)樽佑蛎彩俏覀兊木W(wǎng)站的一部分啊，這些頁(yè)面上出現(xiàn)了死鏈，勢(shì)必對(duì)這些頁(yè)面的SEO效果不利，需要盡快明確原因。
經(jīng)過(guò)與技術(shù)部門(mén)溝通，我確認(rèn)到該類(lèi)問(wèn)題出現(xiàn)的原因，主要是我們網(wǎng)站的服務(wù)器之間同步數(shù)據(jù)時(shí)不成功，或者服務(wù)器之間連接偶然斷開(kāi)所致。這類(lèi)問(wèn)題暫時(shí)難以避免，因此只能讓技術(shù)人員將因?yàn)檫@種情況出現(xiàn)的404（永久不可訪問(wèn)）狀態(tài)碼改為返回503（臨時(shí)不可訪問(wèn)）狀態(tài)碼了。
而【百度】出現(xiàn)的死鏈，理由和上面的一致。只不過(guò)蜘蛛的抓取渠道，是來(lái)自于主動(dòng)推送方式。返回503狀態(tài)碼后，情況有所改善。
【垃圾鏈接】火狐打不開(kāi)網(wǎng)頁(yè)內(nèi)鏈接，我已經(jīng)在外鏈分析中做出過(guò)一定程度的說(shuō)明了，可以參考一下。
【外部死鏈】，這個(gè)其實(shí)可以不必過(guò)于關(guān)注，會(huì)受到死鏈影響的不是我們網(wǎng)站，而是導(dǎo)出了死鏈的網(wǎng)站。但是有時(shí)候分析看看，總能發(fā)現(xiàn)一些有趣的現(xiàn)象。
比方說(shuō)，我現(xiàn)在看到的數(shù)據(jù)的共性是，死鏈鏈接都不完整，要么中間用點(diǎn)號(hào)來(lái)省略了，要么尾部被強(qiáng)行截?cái)嗔恕Ｎ覀兇蜷_(kāi)死鏈前鏈，發(fā)現(xiàn)死鏈鏈接是作為明鏈接（無(wú)錨文本）出現(xiàn)在頁(yè)面上。而死鏈前鏈的頁(yè)面，大多數(shù)都類(lèi)似于搜索引擎結(jié)果頁(yè)面，并且這些結(jié)果頁(yè)面上對(duì)錨鏈接都以進(jìn)行了控制。
圖注：這些都是垃圾搜索引擎，目的是抓取其他網(wǎng)站的信息為己所用，制造垃圾站群
可以看出，【垃圾鏈接】和【外鏈死鏈】中的大部分，依然也是抱著惡意目的而來(lái)的。這時(shí)候我們可能就需要考慮，使用反爬蟲(chóng)策略，來(lái)禁止一些垃圾搜索引擎對(duì)我們網(wǎng)站進(jìn)行恣意妄為的抓取行為了。（關(guān)于反爬蟲(chóng)策略專(zhuān)題，我將來(lái)也打算嘗試一下）
好啦，這期的內(nèi)容差不多就是這樣，我們來(lái)總結(jié)一下吧。
（1）分析鏈接數(shù)據(jù)的目的：保證搜索引擎對(duì)網(wǎng)站正常抓取和索引；防止被惡意人士利用而受到損失。
（2）分析鏈接數(shù)據(jù)的手段：一些工具，再加上簡(jiǎn)單的邏輯。
（3）養(yǎng)成良好工作習(xí)慣與意識(shí)：每天大致關(guān)注一下這些數(shù)據(jù)，定期仔細(xì)分析一下數(shù)據(jù)，對(duì)這些環(huán)節(jié)有控制地進(jìn)行操作。