Easy Scraper - 不用編程,可視化爬蟲,一鍵獲取網頁數據,可能是最簡單的網絡爬蟲了 [Chrome] - 小眾軟體#
#Omnivore
Easy Scraper 是一款非常簡單易用的網絡爬蟲工具,適用於 Chrome 瀏覽器,完全可視化操作,只需提交 url 列表,並選取任意一個頁面中的所需要的區域,就可以實現批量獲取數據、文本了,可導出 .csv、.json 格式。@Appinn
爬蟲是什麼?#
這裡的爬蟲,指的是網絡爬蟲,一般需要自己寫程式,比如 python 語言就經常用來寫爬蟲。主要功能是自動收集網頁信息,比如你想獲取電商所有的手機價格,一頁頁翻也不是不行。但會寫程式就很快。
Easy Scraper 是個 Chrome 擴展,使用超級簡單。
針對單個頁面#
比如小眾軟體主頁(https://www.appinn.com),想要獲取最新文章列表,只需要點擊擴展欄的 Easy Scraper 按鈕,彈出的新頁面裡,點擊 Change List 按鈕,然後將鼠標移動到你想要獲取的數據上,這裡是最新文章,Easy Scraper 就幫你獲得了所有相似的內容數據,還包括 URL、圖片鏈接、分類鏈接、時間、摘要等信息:
然後導出數據處理,是不是很贊。
針對多個頁面#
如果你想同時處理很多個網頁,那需要先獲得這些網站的鏈接(比如通過上面針對單個頁面的方法),然後就能批量處理了。
官方有一個示例視頻,非常形象的展示如何獲得 amazon 產品的標題、價格、評分:
就… 很容易。
特色功能#
- 一鍵爬取:對任何網站的任何列表都能一鍵爬取。
- 深度抓取:在獲取了一系列網頁鏈接後,可以對每個鏈接都進行進一步的抓取。
- 數據導出:你可以把抓取的數據保存為 CSV 或 JSON 格式,方便後續使用。
- 针對動態內容處理:對於使用 JavaScript 渲染的內容也能妥善處理,保證你從複雜的網站上也能抓取到數據。
青小蛙讓 AI 舉了一些例子:
如果你在進行一些市場研究,比如需要收集某個產品在各大電商平台的價格和評論,使用它就太方便了。
如果你需要寫一篇關於某一主題的文章,但又覺得手動搜索和排列資料很麻煩,那麼 Easy Scraper 來自動彙總相關網頁的內容。
獲取#
原文:https://www.appinn.com/easy-scraper/
下一期,我們來研究如何使用 GPT 處理 .csv .json 文件內容吧。