GeneralNewsExtractor
GeneralNewsExtractor安裝教程
GeneralNewsExtractor(新聞網(wǎng)頁正文通用抽取器)是一個基于《基于文本及符號密度的網(wǎng)頁正文提取方法》論文用Python實(shí)現(xiàn)的正文抽取器，可以用來提取 HTML 中正文的內(nèi)容、作者、標(biāo)題。
開發(fā)介紹
項(xiàng)目起源
開發(fā)這個項(xiàng)目，源自于我在知網(wǎng)發(fā)現(xiàn)了一篇關(guān)于自動化抽取新聞類網(wǎng)站正文的算法論文——《基于文本及符號密度的網(wǎng)頁正文提取方法》）
這篇論文中描述的算法看起來簡潔清晰，并且符合邏輯。但由于論文中只講了算法原理，并沒有具體的語言實(shí)現(xiàn)，所以我使用 Python 根據(jù)論文實(shí)現(xiàn)了這個抽取器。并分別使用今日頭條、網(wǎng)易新聞、游民星空、觀察者網(wǎng)、鳳凰網(wǎng)、騰訊新聞、ReadHub、新浪新聞做了測試，發(fā)現(xiàn)提取效果非常出色，幾乎能夠達(dá)到100%的準(zhǔn)確率。
項(xiàng)目現(xiàn)狀
在論文中描述的正文提取基礎(chǔ)上，我增加了標(biāo)題、發(fā)布時間和文章作者的自動化探測與提取功能。
目前這個項(xiàng)目是一個非常非常早期的 Demo，發(fā)布出來是希望能夠盡快得到大家的使用反饋，從而能夠更好地有針對性地進(jìn)行開發(fā)。
本項(xiàng)目取名為抽取器，而不是爬蟲，是為了規(guī)避不必要的風(fēng)險，因此，本項(xiàng)目的輸入是 HTML，輸出是一個字典。請自行使用恰當(dāng)?shù)姆椒ǐ@取目標(biāo)網(wǎng)站的 HTML。
本項(xiàng)目現(xiàn)在不會，將來也不會提供主動請求網(wǎng)站 HTML 的功能。
下載地址
-
- 通用安全下載
-
- 移動安全下載
-
- 聯(lián)通安全下載
-
- 電信安全下載
-
- 移動網(wǎng)絡(luò)下載
-
- 聯(lián)通網(wǎng)絡(luò)下載
-
- 電信網(wǎng)絡(luò)下載
-
- 通用網(wǎng)絡(luò)下載
