1.1.2 ForeSpider數據采集引擎介紹

ForeSpider數據采集分析引擎，是天津市前嗅網絡科技有限公司自主知識產權的，通用性互聯網數據采集軟件，且具備強大的文本挖掘、數據清洗、智能分析、可視化圖表等分析功能。

軟件內置了前嗅自主研發的瀏覽器內核，幾乎可以采集互聯網上所有公開的數據。通過可視化的操作流程，從建表、過濾、采集到入庫一步到位。軟件首創了面向對象的爬蟲腳本語言系統，如果有通過可視化采集不到的內容，可以通過簡單幾行代碼，實現強大的腳本采集。

臺式機單機采集能力可達4000-8000萬，日采集能力超過500萬。服務器單機集群環境的采集能力可達8億-16億，日采集能力超過4000萬。并行情況下可支撐百億以上規模數據鏈接。

1.強大：可以抓取互聯網上100 %的公開數據

內置強大數據挖掘功能。

支持Cookie、登錄、驗證碼識別采集。

支持POST請求、HTTPS安全協議、OAuth認證。

支持搜索欄的關鍵詞搜索采集。

支持JS動態生成頁面采集。

支持IP代理采集。

支持圖片、視頻、音頻、文件資源采集。

支持本地文件目錄采集。

內置面向對象的腳本語言系統，配置腳本可以采集幾乎100%的互聯網公開數據。

2.可視化+爬蟲腳本語言+正則表達式

ForeSpider是可視化的通用性采集軟件，同時內置了強大的爬蟲腳本語言。如果有通過可視化采集不到的內容，都可以通過簡單幾行代碼，實現強大的腳本采集。軟件同時支持正則表達式操作，可以通過可視化、正則、腳本任意方式，實現對數據的清洗、規范。

3.集成數據挖掘功能

軟件內部集成了數據挖掘功能，可以通過一個采集模板，精準挖掘全網的內容。在數據采集入庫的同時，可以完成分類、統計、自然語言處理等諸多功能。

軟件與公司的ForeAna數據分析系統對接，可以實現強大的數據分析功能，對數據進行深度的大數據分析。

獨立知識產權JS引擎，精準采集。

4.精準：精準采集所需數據

內部集成數據庫，數據直接采集入庫。

內部創建數據表結構，抓取數據后直接存入數據庫相應字段。

根據dom結構自動過濾無關信息。

通過模板配置鏈接抽取和數據抽取，目標網站的所有可見內容均可采集，智能過濾無關信息。

采集前數據可預覽采集，隨時調整模板配置，提升數據精度和質量。

字段的數據支持多種處理方式。

支持正則表達式，精準處理數據。

支持腳本配置，精確處理字段的數據。

5.高性能：千萬級的采集速度

C++編寫，具備絕佳采集性能。

支持多線程、多進程采集。

臺式機單機采集能力可達4000-8000萬，日采集能力超過500萬。

服務器單機采集能力可達8億-16億，日采集能力超過4000萬。

并行情況下可支撐百億以上規模數據鏈接，堪與百度等搜索引擎系統媲美。

軟件性能穩健，穩定性好。

6.簡易高效：節約70%的配置時間

完全可視化的配置界面，操作流程順暢簡易。

基本不需要計算機基礎，代碼薄弱人員也可快速上手，降低操作門檻，節省企業爬蟲工程師成本。

過濾采集入庫一步到位，集成表結構配置、鏈接過濾、字段取值、采集預覽、數據入庫。

數據智能排重。

內置瀏覽器，字段取值直接在瀏覽器上可視化定位。

7.數據管理：數據智能入庫

數據存儲在用戶本地計算機，不會上傳至前嗅服務器，保證數據獨有，更加安全。

內置數據庫，數據采集完畢直接存儲入庫。

在軟件內部創建數據表和數據字段，直接關聯數據庫。

采集數據時配置數據模板，網頁數據直接存入對應數據表的相應字段。

正式采集之前預覽采集結果，有問題及時修正配置。

數據表可導出為csv格式，在Excel工作表中瀏覽。

數據可智能排除，二次清洗過濾。

8.智能：智能模擬用戶和瀏覽器行為

智能模擬瀏覽器和用戶行為，突破反爬蟲限制。

自動抓取網頁的各類參數和下載過程的各類參數。

支持動態IP代理加速，智能過濾無效IP代理，提升代理的利用效率和采集質量。

支持動態調整數據抓取策略，多種策略讓您的數據無需重采，不再擔心漏采，數據采集更智能。

自動定時采集。

設置采集任務條數，自動停止采集。

設置文件大小閾值，自動過濾超大文件。

自由設置瀏覽器是否加速，自動過濾頁面的flash等無關內容。

智能定位字段取值區域。

可以根據字符串特征自動定位取值區域。

智能識別表格的多值，表格數據可以完美存入相應字段。

9.增值服務

VIP客服持續在線服務，解決各類技術難題，可以遠程幫助完成配置。

提供大量免費的采集模板，用戶可以下載導入。

軟件被防爬后，免費提供解決方案和軟件的針對性升級。

免費升級后續不斷開發的更多功能。

賬號不綁定計算機，可以任意更換使用的計算機。

為用戶提供各類高端定制化服務，全方位來滿足用戶的數據需求。