從“安居客”二手房進入各個區域的子欄目,跳轉各區域的房源列表,進入房源正文頁采集數據,如下圖:
①點擊官網,找到含“二手房”【子欄目】的網頁,此為第一層網頁結構:
【第一層網頁】
②點擊子欄目進入【列表頁】,如下圖所示,即為第二層網頁結構:
【第二層網頁】
③點擊列表鏈接,進入正文數據頁,此為第三層網頁結構:
【第三層網頁】
模板結構:
需要先抽取①欄目頁的子欄目鏈接,②進而抽取列表頁的翻頁鏈接、列表鏈接,③最后進入正文頁獲取房源信息。配置結構如下:(有幾層網頁結構,就創建幾層模板)
【模板結構】
解析:
需要先從欄目頁進入房源列表頁,從房源列表頁翻頁以獲取全部房源列表,并抽取列表鏈接以進入正文頁。因此需要三層模板:模板一對應欄目頁,模板二對應列表頁,創建翻頁的鏈接抽取和列表的鏈接抽取,模板三對應正文頁,抽取正文頁的數據。
模板一的子欄目鏈接抽取關聯模板二,以跳轉到列表頁。模板二的翻頁鏈接抽取關聯模板二,可以循環得到所有翻頁鏈接;列表鏈接抽取關聯模板三,可以由此跳轉鏈接進入正文頁。