1. 創建代理IP
如下圖所示創建代理IP。
【創建IP代理資源】
①名稱:自定義即可,可由文字、字母、其他符號等組成;
②類型:有靜態代理和動態代理,根據在爬蟲中的動靜態規則選擇合適的代理類型。
③請求頻率:是指ForeSpider運行時調用每個代理IP的頻率,爬蟲運行時,線程數目=請求頻率*代理IP數。
比如:接入了一個每秒請求10個IP的代理,設置的請求頻率為5。那么爬蟲運行時,每秒請求50次代理IP,這時候采集運行速度中的線程數目最佳為50。
2.選擇IP混用策略
代理IP混用策略有以下三種:
【本機IP混用策略】
①采集禁用本地IP:設置后采集只用代理IP,如果代理IP失效或未開啟,則會采集失敗。
②代理失敗使用本地IP:代理IP失效或者失敗后會直接使用本地IP進行采集。
③只使用本地IP:設置后采集時僅用本地IP。
3.配置靜態代理IP
【配置靜態代理】
需要填寫以下參數:
①IP地址:代理IP服務商提供。
②端口:代理IP服務商提供。
③類型:根據要采集網站類型來選擇,有http和https類型;
④有效時長:可理解為到期時長,非必填。當同時使用多個代理IP且到期時長不一致時可以根據實際情況填寫,有效期到則自動停止使用該代理IP;當有效時間在1天以內時,建議填寫,防止出現代理IP到期,爬蟲還在運行而導致采集失敗的情況。如果不填寫,需要在代理IP到期之前手動關閉,否則會導致采集失敗。如下圖所示:
⑤用戶名:代理IP服務商提供。
⑥密碼:代理IP服務商提供。
填寫完之后在需要使用的代理IP前打上對勾,打開代理IP按鈕,后保存。如下圖所示:
4.配置動態代理IP
①協議類型:默認http/https,兩種協議均支持。
②返回格式:是指返回IP格式,包括TXT和未知格式,選擇TXT格式即可返回TXT格式,TXT格式可以不用寫腳本獲取IP。
③刷新周期:請求調用API的頻率,單位是毫秒,根據實際購買情況來填寫即可。
④請求地址:填寫API鏈接即可。
填寫完以上信息后可點擊【測試】按鈕進行測試,測試結果會顯示在屏幕下方。測試成功后,確認勾選所用代理IP,點擊保存按鈕,如下圖所示: