采集策略相關概念
15458瀏覽量
1評論
1.線程數目
是運行采集任務時,軟件啟用的線程資源數目。線程數目越大,采集速度越大。用戶可以根據自己的硬件配置調大線程數目,以加快采集速度。具體的數目設置可以參考任務管理器的CPU和內存占用率,不要一味求快導致資源耗盡,使軟件和計算機崩潰。
如果使用了頻道腳本,則線程數目無效,只能為單線程。
2.采集策略
采集策略是根據記錄的采集日志,選擇下次采集任務的采集策略。包括不重采數據頁、繼續上次采集、更新數據頁面、全部重采等。
3.歷史日志裝載策略
選擇裝載到日志列表的內容,即歷史數據。
4.超時
接收超時:當對方服務器繁忙時,可將接收超時的時間調大,否則軟件在超時后將不再接收該鏈接地址的數據。
發送超時:當采集的數據包過大時,可以將發送超時的時間調大。
5.重定向
重定向就是通過各種方法將各種網絡請求重新定個方向轉到其它位置。(如:網頁重定向、域名的重定向、路由選擇的變化也是對數據報文經由路徑的一種重定向。)
6.IP代理
代理可以代理網絡用戶去取得網絡信息。形象的說:它是網絡信息的中轉站??梢酝黄谱陨鞩P訪問限制。
- ·ForeSpider入門教程 26503
- ·ForeSpider數據采集系統功能說明 17194
- ·軟件用途 16611
- ·軟件功能 16471
- ·ForeSpider數據采集特點 15697
- ·創建表單的視頻教程 15610
- ·采集策略相關概念 15458
- ·頻道相關概念 15222
- ·表單相關概念 14860
- ·免費代理IP網址大全 14235
評論區
+ 寫評論