• 電商類網站

  • 點評類網站

  • 旅游類網站

電商網站采集場景

E-commerce website collection scene

采集電商類網站，均需要進行登錄操作，否則無法查看及獲取數據。

  • 場景一：采集商品信息
    • 通過關鍵詞搜索獲取商品列表
    • 通過行業分類獲取商品列表

    01判斷是否需要關鍵詞搜索

    關鍵詞即為在網站中搜索的搜索詞。如果需要通過關鍵詞搜索，則需由用戶準備好關鍵詞，如關鍵詞為“連衣裙”，通過ForeSpider的關鍵詞采集功能，采集相關商品信息，如圖所示：

    02判斷是否需要登錄

    在采集電商網站的過程中，需要登錄，否則無法看見信息

    03配置流程

    第一步：在軟件里面配置好關鍵詞及登陸采集商品信息，配置關鍵詞及登陸均需要寫腳本。下圖為采集到的關鍵詞為“連衣裙”鏈接。

    03配置流程

    第二步：由于采集列表頁需要翻頁，所以需要設置抽取翻頁鏈接，翻頁鏈接的抽取也需要腳本實現。翻頁鏈接如下圖所示：

    03配置流程

    第三步：鏈接獲取到之后需要獲取數據：

    04可以獲取到列表頁的信息

    可以獲取到的數據字段為圖中圈起來的字段

    01判斷是否需要登錄

    在采集電商網站的過程中，需要登錄，否則無法看見信息

    02配置流程

    通過行業列表點擊二級分類，進入列表頁采集相關商品信息。
    第一步：通過分類進入，需要先抽取分類鏈接，如下圖所示。

    02配置流程

    第二步：由于采集列表頁需要翻頁，所以需要設置抽取翻頁鏈接，翻頁鏈接的抽取也需要腳本實現。翻頁鏈接如下圖所示：

    02配置流程

    第三步：鏈接獲取到之后需要獲取數據：

    03可以獲取到列表頁的信息

    可以獲取到的數據字段為圖中圈起來的字段，一級、二級分類名也可以獲取。
  • 場景二:采集商品詳情信息及評論

    01采集注意事項

    采集電商網站的評論信息時，由于電商網站的防爬 機制，僅可以通過列表頁采集商品詳情，不可通過店鋪采集。

    02配置流程

    第一步：同樣需要先進行登錄，然后通過行業列表或關鍵詞進入商品列表頁如場景一所示。
    第二步：進行場景一的操作之后，可以通過抽取列表頁標題鏈接進入詳情頁采集數據，此時需要比場景一多建立一個鏈接抽取的模板。

    03可以獲取到詳情頁的信息及評論信息

    商品詳情頁可以采集到的數據如下：

    03可以獲取到詳情頁的信息及評論信息

    評論信息如下：
  • 場景三:采集買家信息

    01可以獲取評論中的買家信息如圖所示

    通過評論采集買家信息，可采集到的數據包括：買家等級、 頭像 、評論內容、評論時間、買家id（打碼部分無法采集）、具體注冊信息無法采集。如下圖所示： 機制，僅可以通過列表頁采集商品詳情，不可通過店鋪采集。
  • 場景四:采集賣家信息

    • 采集賣家電話

      賣家電話一般只有在電商APP上才可以看見，采集難度較大，如需采集，請聯系客服qq：2779623375或微信：qianxiu0106

    • 采集營業執照

      采集營業執照，采集難度較大，如需采集，請聯系客服qq：2779623375或微信：qianxiu0106

點評類網站采集場景

E-commerce website collection scene

采集點評類網站，均需要進行登錄操作，容易被封IP。

  • 通過關鍵詞搜索獲取店鋪列表

    01判斷是否需要關鍵詞搜索

    通過關鍵詞搜索，需由用戶準備好關鍵詞，關鍵詞即為在網站中搜索的搜索詞，如關鍵詞為“火鍋”，通過ForeSpider的關鍵詞采集功能，采集相關商品信息，如圖所示：

    02判斷是否需要登錄

    由于在采集后續信息的過程中，部分信息需要登錄查看。所以需要在軟件里面配置好關鍵詞及登陸才可以采集商品信息。

    03配置流程

    第一步：在軟件里面配置好關鍵詞及登陸，配置關鍵詞及登陸均需要寫腳本。下圖為采集到的關鍵詞為“火鍋”鏈接。

    03配置流程

    第二步：由于采集列表頁需要翻頁，所以需要設置抽取翻頁鏈接，翻頁鏈接的抽取也需要腳本實現。翻頁鏈接如下圖所示：

    03配置流程

    第三步：鏈接獲取到之后需要獲取數據：

    04可以獲取到詳情頁的信息

    可以獲取到的數據如圖：
  • 通過行業分類獲取商品列表

    01判斷是否需要登錄

    由于在采集后續信息的過程中，部分信息需要登錄查看。所以需要在軟件里面配置好關鍵詞及登陸才可以采集商品信息。

    02配置流程

    第一步：同樣需要先進行登錄，然后通過行業列表或關鍵詞進入商品列表頁如場景一所示。
    第二步：通過行業分類獲取，需由用戶選定好地區與行業，如選擇美食分類下，通過ForeSpider的鏈接抽取功能，采集相關店鋪信息，如圖所示：

    02配置流程

    第三步：在美食行業分類，我們繼續選擇菜式分類，獲取列表信息如下圖所示：

    02配置流程

    第四步：獲得菜式鏈接后，后續操作均與通過關鍵詞搜索后續操作一致，可參考上述操作繼續進行。

    03可以獲取到的信息

    可以獲取到的信息，如圖所示：

    03可以獲取到的信息

    在用戶評論處，還可以采集單一用戶的點評歷史、注冊時間、關注、粉絲、互動等數據。

旅游類網站采集場景

E-commerce website collection scene

一般對旅游類網站有采集需求的用戶，需求都是采集酒店信息，所以此處解決方案以采集酒店信息為例。

  • 采集酒店信息

    01配置流程

    第一步：需要確定采集的地區及城市。獲取城市鏈接

    01配置流程

    第二步：采集每個城市的列表頁及翻頁鏈接

    01配置流程

    第三步：圖為酒店名稱及聯系方式兩個字段的預覽：

    02可以獲取到詳情頁的信息

    可以采集到房源信息和酒店詳情，包括房型，可入住人數，房間均價，酒店開業時間，最后裝修時間，酒店簡介，酒店設施，酒店政策等信息以及酒店聯系。

    02可以獲取到詳情頁的信息

    用戶點評頁可以采集用戶名，評價，入住時間，入住房間，酒店回復等信息（用戶評論的翻頁數據是由js加密的，獲取比較困難，可以聯系客服qq：2779623375 或微信qianxiu0106）。

為什么選擇我們？

why us?

女人个人私人电话联系杭州的|热久久久久香蕉无品码|爱情岛亚洲永久自拍品质|国产丶欧美丶日本不卡