欧美成人精品手机在线观看_69视频国产_动漫精品第一页_日韩中文字幕网 - 日本欧美一区二区

前言

一站式社交平臺數據抓取利器，帶你玩轉小紅書、抖音、快手、B站和微博數據分析

不經意間，來查看MediaCrawler倉庫源碼，發現作者已經刪庫了。看來是領獎了。才幾天不到的時間Star數量已經直逼10K了，增長速度近乎瘋狂。
前兩天只是將代碼下載下來了，還沒認真的玩。還好代碼本地已經有了。如果有興趣的也可以來找我要，免費的喲。

作者在這里也明顯進行了標注使用了無頭瀏覽器

那到底什么事無頭瀏覽器呢？

無頭瀏覽器（Headless Browser）是一種瀏覽器程序，沒有圖形用戶界面（GUI），但能夠執行與普通瀏覽器相似的功能。無頭瀏覽器能夠加載和解析網頁，執行JavaScript代碼，處理網頁事件，并提供對DOM（文檔對象模型）的訪問和操作能力。
與傳統瀏覽器相比，無頭瀏覽器的主要區別在于其沒有可見的窗口或用戶界面。這使得它在后臺運行時，不會顯示實際的瀏覽器窗口，從而節省了系統資源，并且可以更高效地執行自動化任務。
常見的無頭瀏覽器包括Headless Chrome（Chrome的無頭模式）、PhantomJS、Puppeteer（基于Chrome的無頭瀏覽器庫）、playwright等。它們提供了編程接口，使開發者能夠通過代碼自動化控制和操作瀏覽器行為。

如果您比較Playwright和 Puppeteer的貢獻者頁面 ，您會注意到Puppeteer的前兩個貢獻者現在在 Playwright 上工作。Puppeteer 團隊實質上是從 Google 轉移到 Microsoft 并成為 Playwright 團隊。

因此，Playwright 在很多方面與 Puppeteer 非常相似。API 方法在大多數情況下是相同的，并且默認情況下 Playwright 還捆綁了兼容的瀏覽器。

Playwright 最大的區別在于跨瀏覽器支持。它可以驅動 Chromium、WebKit（Safari 的瀏覽器引擎）和 Firefox。

無頭瀏覽器其實就是看不見的瀏覽器，所有的操作都要通過代碼調用 API 來控制，所以瀏覽器能干的事兒，無頭瀏覽器都能干，而且很多事兒做起來比標準的瀏覽器更簡單。

能夠干什么呢？

我舉幾個常用的功能來說明一下無頭瀏覽器的主要使用場景

• 自動化測試： 無頭瀏覽器可以模擬用戶行為，執行自動化測試任務，例如對網頁進行加載、表單填寫、點擊按鈕、檢查頁面元素等。

• 數據抓?。?無頭瀏覽器可用于爬取網頁數據，自動訪問網站并提取所需的信息，用于數據分析、搜索引擎優化等。

• 屏幕截圖： 無頭瀏覽器可以加載網頁并生成網頁的截圖，用于生成快照、生成預覽圖像等。

• 服務器端渲染： 無頭瀏覽器可以用于服務器端渲染（Server-side Rendering），將動態生成的頁面渲染為靜態HTML，提供更好的性能和搜索引擎優化效果。

• 生成 PDF 文件：使用瀏覽器自帶的生成 PDF 功能，將目標頁面轉換成 PDF 。

這個倉庫如何使用呢

首先這是一個Python庫，當然要安裝必要的Python環境，這個我就不多說了，通過GPT或者在網上搜索都可以進行安裝好。
接下來就是拿到代碼后如何使用，這個其實作者也是非常的友好了，直接看README。

最后運行命令后，會出現一個二維碼，比如這里我測試的是小紅書，出現二維碼之后，我們用小紅書App來掃描，并進行確認身份，這樣無頭瀏覽器就能識別并記住我們的身份信息，后續就可以通過該身份進行抓取一些數據了。

這里我配置了一條小紅書的筆記ID,這里是個數據可以配置多個的。

好了，OK ,數據就被這么簡單的抓取下來了。

作者還特意對數據存儲做了封裝，如果數據量大的時候存儲起來可能就非常的方便了。
如果需求量很大，還可以對其源碼進行研究改造，好了今天的學習就到這里了。

轉自博客園，作者aehyok https://www.cnblogs.com/aehyok/p/18086730