目錄
    6.3.1 多任務的采集順序
    視頻教程:模板下載:

    任務裝載順序是指在同時采集多個網站時,日志列表中各任務采集的優先順序。任務裝載順序有如下兩種方式:

    1.順序優先

    按照采集任務列表的順序,采集各列表任務的數據。先采完一個任務的所有鏈接再采集下一個。


    undefined 

    【順序優先采集】


    2.負載均衡

    打亂任務采集順序,同時采集各任務的數據鏈接。優點是可以降低被網站封鎖IP的風險,同時可以提高采集效率。如果不是對某些任務有優先采集完畢的需求,建議選擇“負載均衡”。

    如果在采集多個網址的情況下,用戶急需一個網站的采集數據內容,我們就用順序優先。否則一般就采用負載均衡的裝載順序,這樣打亂采集順序,每個網站在短時間內被連續采集的機會變少,降低被網站封鎖IP的風險。



    undefined 

    【負載均衡采集】


    女人个人私人电话联系杭州的|热久久久久香蕉无品码|爱情岛亚洲永久自拍品质|国产丶欧美丶日本不卡