百度搜索關鍵詞:http://www.baidu.com
一.網站結構
1.網站截圖說明
使用批量關鍵詞,從百度檢索列表依次進入檢索結果頁,采集結果頁里的正文數據。
2.采集結果截圖
二.配置模板
1.新建任務
點擊【下一步】,需要采集全部檢索結果,所以此處需要勾選【鏈接列表】和【普通翻頁】,如圖:
2.配置關鍵詞
①內置瀏覽器顯示搜索頁面后,按照提示:ctrl+左鍵單擊搜索框,點擊右下角【完成】。點擊右上角【保存】,保存任務配置。
②關鍵詞列表處,填寫關鍵詞,并點擊保存。
③一般情況就配置完畢了,可以采集預覽看是否成功。如果有些網站仍然沒有結果,需要在【高級設置】中配置關鍵詞參數。
3.采集預覽
看關鍵詞檢索的鏈接是否能夠出來,如果沒有出來,應該使用腳本采集;如果可以出來,則繼續操作。
4.過濾鏈接列表
①用標題過濾鏈接,過濾關鍵詞檢索出的列表鏈接。
②采集預覽,看是否過濾成功。采集預覽出現鏈接均為網頁中關鍵詞檢索列表中的鏈接,過濾成功。
5.過濾翻頁鏈接
①用標題過濾翻頁鏈接。
②采集預覽看是否過濾成功。采集預覽出現鏈接均為翻頁的鏈接,過濾成功。
6.關聯模板
通過關聯模板,可以設置該鏈接將要跳轉的下一層級頁面。通過模板之間的關聯,可以將網站各層級頁面關聯起來,在軟件中形成與瀏覽器相同的跳轉結構,從而完整地采集數據。
如果沒有創建模板02,可以自行創建模板。
7.填寫示例地址
模板二是為了抽取正文數據,故勾選【抽取數據】,并填寫示例數據。
①選取任意一條檢索結果的網址,也就是模板一過濾得到的任意一條鏈接,作為模板二的示例地址。
②點擊【下一步】,自動生成數據抽取。
8.創建/選擇表結構
表結構創建后可以重復選擇使用,如果已有建好的表結構,選擇對應數據表結構即可。如果沒有,點擊創建表結構。
【創建表結構】
8.配置表結構
根據所需內容,配置表結構字段,此處配置了包括網頁標題、網頁地址、全部文本三個字段。
①id:主鍵字段,自動取值。
②title:通過字段定位取值,按ctrl+單擊標題,確認選取。
③content字段:
9.關聯數據表
先選擇對應表結構,然后再創建關聯數據表,如圖所示。
選擇所需的表結構,點擊【創建】按鈕。創建表名稱可隨意填寫,需注意開頭僅可使用英文字母,可加數字。中文名稱不能作為表名稱。
10.模板預覽
通過預覽,可以了解配置是否能夠正確地采集到所需數據。點擊【采集預覽】按鈕,可以從入口頁逐層預覽各個模板的數據。
點擊任意一條鏈接,看看是否可以得到和網頁對應的規整的數據。