目錄
    5.1.3 數據自動排重
    視頻教程:模板下載:

    ForeSpider的數據排重機制,有兩重保障。

    1.采集日志排重

    通過采集日志記錄的歷史采集任務,可以保證不重采相同的鏈接地址,從而達到排重的作用。

    2.數據入庫排重

    通過為數據表設置主鍵字段,根據網頁地址通過MD5算法排重,使得清除日志之后,重復數據即使采集了,也無法入庫。

    3.自定義排重字段

    通過設置“鍵值唯一”的字段屬性,指定需要排重的字段,根據字段內容進行排重存儲。

    undefined 

    自定義排重字段



    女人个人私人电话联系杭州的|热久久久久香蕉无品码|爱情岛亚洲永久自拍品质|国产丶欧美丶日本不卡