運行時遇到因網絡異常而導致的請求失敗,系統會自動預警。
【網絡異常預警日志】
1.采集錯誤提示
可根據以下列表排查采集錯誤情況:
顏色 | 采集狀態 | 描述 |
綠色 | OK | 采集狀態正常。 |
紅色 | 網絡錯誤 | 鏈接地址錯誤或者本機網絡異常。 |
https網絡錯誤 | 使用http的代理IP采集https的網站,或其他參數錯誤 | |
代理授權錯誤 | 代理IP參數配置錯誤或服務商網絡錯誤,導致代理無法使用 | |
模板錯誤 | 由于模板配置不當,導致無法采集數據。 | |
黃色 | 數據入庫錯誤 | 數據路徑不正確,或者抽取到的數據和數據表結構不一致,或者唯一字段的數據已存在。 |
數據被過濾 | 該數據被用戶主動過濾,數據采集被取消了。 | |
紫色 | 未采集 | 數據鏈接已經進入任務隊列中,還沒有來得及進行采集。 |
2.設置采集策略
可以到【運行設置】界面,根據出現的異常情況,設置采集策略,重新采集。(詳見5.2采集策略)
3.選擇錯誤處理模板
將運行中錯誤的請求返回到指定模板中再次運行,大大提高采集效率。
①模板層:可選擇每個模板出現采集錯誤后的處理模板。
②網站層:在【高級配置-錯誤處理】中,可選擇整個任務出現采集錯誤后的處理模板。
【錯誤處理模板】