精品为您呈现,快乐和您分享!
收藏本站
类型:网络工具 语言:简体
大小:15KB 更新时间:2021-04-26
推荐指数:
应用简介
GeneralNewsExtractor是基于论文《基于文本和符号密度的网页文本提取方法》用Python实现的文本提取器。它可用于提取HTML 文本的内容、作者和标题。
GeneralNewsExtractor(通用新闻网页文本通用提取器)是基于论文《基于文本和符号密度的网页文本提取方法》用Python实现的文本提取器。它可用于提取HTML 文本的内容、作者和标题。
发展介绍
项目起源
这个项目的开发源于我在CNKI上发现一篇关于新闻网站文本自动提取的算法论文——《基于文本和符号密度的网页文本提取方法》)
本文描述的算法看起来简洁、清晰、逻辑性强。但由于论文只讲了算法原理,没有具体的语言实现,所以我根据论文使用Python来实现这个提取器。分别使用今日头条、网易新闻、友民星空、观察者网、凤凰网、腾讯新闻、阅达网、新浪新闻进行测试,发现提取效果非常好,准确率几乎达到100%。
项目状况
在论文中描述的文本提取的基础上,我添加了标题、发表时间和文章作者的自动检测和提取功能。
目前这个项目是一个非常非常早期的demo。发布出来是希望尽快得到大家的反馈,以便更好、更有针对性的开发。
本项目命名为extractor而不是crawler,以避免不必要的风险。因此,这个项目的输入是HTML,输出是字典。请使用适当的方法获取目标网站的HTML。
该项目现在不会也不会提供主动请求网站HTML 的功能。
热门攻略
热门资讯