麥芽糖發表于2017年5月19日20:35最后回復于2017年5月19日20:35

ForeSpider數據采集系統功能說明

17193瀏覽量

1評論

序號

功能

詳細說明

1. 

采集、挖掘、分析、存儲、管理一步到位

集成前嗅自主研發的數據采集系統、數據挖掘系統、數據分析引擎、數據庫和服務器,實現數據從采集、挖掘、分析到入庫一步到位。

2. 

自帶免費的千萬級別數據庫

軟件自帶前嗅自主研發的ForeLib數據庫,免安裝免配置。同時也支持MySQL和ODBC數據庫。

3. 

能夠采集全網100%公開數據

獨創的可視化采集技術,內置自主研發的爬蟲腳本語言,可以采集100%的互聯網公開數據。將互聯網上各網站的數據,通過采集形成數據庫中結構化的數據。

4. 

通過搜索引擎采集全網數據

在百度等搜索引擎上,通過關鍵詞檢索,采集全網與關鍵詞相關的的信息。

5. 

挖掘全網關鍵信息

獨創通用的數據挖掘詞典,根據用戶需求,配置相關的關鍵詞信息??梢栽诓杉耐瑫r,精準挖掘全網的關鍵信息。

6. 

自動完成大數據分析和趨勢預測

軟件與前嗅的ForeAna數據分析系統對接,可以在采集的同時實現數據的自動分類、統計、輿情分析、聚類分析、預測分析、抽樣分析、對比分析、相似分析、關聯分析、時間序列分析、空間分析、貝葉斯分析、神經網絡分析等。

7. 

自動排重和數據清洗

數據入庫前,軟件自動進行兩次排重,確保數據更新不遺漏。同時可按照配置,在采集的同時完成數據清洗和格式規范。

8. 

搜索引擎級別的采集速度

臺式機單機日采集能力超過500萬,服務器單機日采集能力超過4000萬。并行情況下可支撐百億以上規模數據鏈接,堪與百度等搜索引擎系統媲美。

9. 

突破封鎖限制

智能模擬瀏覽器和用戶行為,自帶IP代理優化加速功能,突破封鎖限制。

10. 

全程關聯數據庫

在軟件內部創建數據表和數據字段,直接關聯數據庫,網頁數據直接存入對應數據表的相應字段。

11. 

自動過濾無關數據

根據網頁結構,自動過濾無關信息,保證數據精準。

12. 

數據智能導出

數據表可根據字段名稱、文件后綴、數據序號等多種方式,導出多種格式,csv、TXT等,可以在Excel工作表中瀏覽。

13. 

完全的配置和采集托管服務

前嗅可以根據客戶需求,為客戶定制數據解決方案,在客戶的設備上完成配置、采集、清洗、排重和入庫工作,保證客戶得到一手獨享數據。

?c?SAC?


私信

舉報

女人个人私人电话联系杭州的|热久久久久香蕉无品码|爱情岛亚洲永久自拍品质|国产丶欧美丶日本不卡