如何利用词频统计原理自动提取文章摘要？
我一直觉得要想做好SEO，要做大一个网站，需要的不光是我们的坚持，也更需要一个正确的SEO技术，一个可行的SEO方法，一个合理的SEO策略，这也就是我一直提倡是SEO思维。虽说搜索引擎有着自己很复杂的算法，可有的时候，一个很简单的数学方法，就可以完成很复杂的任务。比如前面我在马海祥博客上跟大家分享的依靠统计词频和余弦相似性，就能找出文章的关键词和判定相似文章。虽然它们在效果方面算不上最好的方法，但肯定是最简便易行的方法。
由于前面的两篇文章受到各位博友的好评，所以今天我要在马海祥博客上跟大家分享的依然是这个主题。那就是讨论如何通过词频统计分析，对文章进行提取自动摘要（Automatic summarization）？
（图1）
如果我们能从3000字的文章中，提炼出150字的摘要，也就可以为读者节省大量阅读时间。简单的说，由人完成的摘要叫"人工摘要"，由机器完成的也就叫"自动摘要"了。对于这一功能也已经被很多的网站使用了，比如论文网站、新闻网站、搜索引擎等等。
2007年，美国学者的一篇论文《A Survey on Automatic Text Summarization》（Dipanjan Das, Andre F.T. Martins, 2007）总结了目前的自动摘要算法。其中，很重要的一种就是词频统计。
这种方法最早出自1958年的IBM公司科学家H.P. Luhn的论文《The Automatic Creation of Literature Abstracts》。
Luhn博士认为，文章的信息都包含在句子中，有些句子包含的信息多，有些句子包含的信息少。“自动摘要”就是要找出那些包含信息最多的句子。
句子的信息量用“关键词”来衡量。如果包含的关键词越多，就说明这个句子越重要。当时Luhn提出用“簇”（cluster）表示关键词的聚集。所谓“簇”就是包含多个关键词的句子片段。
（图2）
上图2就是Luhn原始论文的插图，被框起来的部分就是一个“簇”。只要关键词之间的距离小于“门槛值”，它们就被认为处于同一个簇之中。Luhn建议的门槛值是4或5。也就是说，如果两个关键词之间有5个以上的其他词，就可以把这两个关键词分在两个簇。
下一步，对于每个簇，就需要计算它的重要性分值，如下图3所示：
（图3）
我们以图2为例，其中的簇一共有7个词，其中4个是关键词。因此，它的重要性分值等于 ( 4 x 4 ) / 7 = 2.3。
然后，找出包含分值最高的簇的句子（比如5句），把它们合在一起，就构成了这篇文章的自动摘要。
后来，Luhn的这种算法被简化，不再区分"簇"，只考虑句子包含的关键词。下面就是一个例子（采用伪码表示），只考虑关键词首先出现的句子。
Summarizer(originalText, maxSummarySize):
// 计算原始文本的词频，生成一个数组，比如[(10,'the'), (3,'language'), (8,'code')...]
wordFrequences = getWordCounts(originalText)// 过滤掉停用词，数组变成[(3, 'language'), (8, 'code')...]
contentWordFrequences = filtStopWords(wordFrequences)// 按照词频进行排序，数组变成['code', 'language'...]
contentWordsSortbyFreq = sortByFreqThenDropFreq(contentWordFrequences)// 将文章分成句子
sentences = getSentences(originalText)// 选择关键词首先出现的句子
setSummarySentences = {}
foreach word in contentWordsSortbyFreq:
firstMatchingSentence = search(sentences, word)
setSummarySentences.add(firstMatchingSentence)
if setSummarySentences.size() = maxSummarySize:
break// 将选中的句子按照出现顺序，组成摘要
summary = ""
foreach sentence in sentences:
if sentence in setSummarySentences:
summary = summary + " " + sentencereturn summary
其实，如上面类似的算法也早已被广泛使用了，有的也已经被写成了工具，比如基于Java的Classifier4J库的SimpleSummariser模块、基于C语言的OTS库、以及基于classifier4J的C#实现和python实现。
本文发布于马海祥博客文章，如想转载，请注明原文网址摘自于https://www.mahaixiang.cn/seoyjy/295.html，注明出处；否则，禁止转载；谢谢配合！
您可能还会对以下这些文章感兴趣！
-
反向链接是什么意思
反向链接又叫导入链接（Backlinks），外部链接，是指外部网站有你的网址指向你的网站，其实就是在目标文档（网页）内部进行声明，要求目标文档指向自己（网页）的链接，通俗点讲，网页A上有一个链接指向网页B，则网页A上的链接是网页B的反向链接，换言之，常规链接在文……【查看全文】
阅读：2048关键词： 反向链接 日期：2012-08-14 -
网站SEO优化的分析诊断报告包含了哪些内容
SEO优化是针对搜索引擎规则做出优化以提高网站排名为目的的优化手段。其所需时间往往是长久性的，包括从网站域名、服务器、程序选取、网站结构、行业分析、竞争分析而切入的优化过程。而SEO诊断，在时间的要求上恰与其截然相反，所求目的完全与优化过程一致：提高网站友……【查看全文】
-
Google搜索质量小组专业解答的25个SEO问题
2013年对于众多站长和SEO可以说是最为波折的一年，这一年百度出台了百度绿萝算法、百度石榴算法和百度绿萝算法2.0，而google也相继出台了谷歌EMD算法、熊猫算法、企鹅算法2.0和蜂鸟算法。作为一个站长或SEOer，你是否对这些算法还存在很多的疑惑，尤其对于靠做外贸产品……【查看全文】
-
揭秘搜索引擎中的反SEO作弊研究
从搜索引擎优化服务开始，分析了现在所存在的搜索引擎优化的作弊手段；然后提出了四种方法用来预防、破解作弊，并结合现实总结提出逐级分层审查刮度；最后结合Google搜索引擎，讨论并分析了Google搜索引擎的反作弊方法及其中的PR值算法……【查看全文】
-
百度最新调整后的算法规则
最近闹得沸沸扬扬的百度6.22和6.28的K站事件到目前已经告一段落了，K站的主要原因已经渐渐明朗，以及百度将会对哪些类型的网站会做降权处理，现在也已经明朗化。针对各大站长漫长的着急等待，以及愤恨的心情，百度目前已经给出了较为明确的答案，那么百度规则和算法调整……【查看全文】
-
SEO链轮是什么？
SEO链轮(SEO Link Wheels)是从国外引入国内的，一种比较新颖的SEO策略，是一种比较先进的网络营销方式。SEO链轮是指通过在互联网上建立大量的独立站点或是在各大门户网站上开设博客，这些独立站点或是博客群通过单向的、有策略、有计划紧密的链接，并都指向要优化的目标……【查看全文】
-
搜索引擎判定相似文章网页的原理
余弦相似性是指通过测量两个向量内积空间的夹角的余弦值来度量它们之间的相似性。0度角的余弦值是1，而其他任何角度的余弦值都不大于1;并且其最小值是 -1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时，余弦相似度的值……【查看全文】
-
落地页体验白皮书5.0解读：如何合理设置展开全文功能
本文解读文章深度剖析展开全文功能的设置要求。白皮书5.0提到”展开全文的设置必须具有文字标示，且功能实际可用；展开全文功能最多只能出现一次，但不可出现在落地页的首屏内容中（列表页除外）；展开全文与广告等引导性内容要设置一定距离间隔，避免干扰用户操作。”如何设置展开全文按钮才更符合用户的体验习惯呢？这篇文章将为你答疑解惑。百度搜索用户研究团队的用户调研发现，搜索用户进入落地页的诉求是浏览页面全部内容，展开……【查看全文】
-
百度索引量下降的原因及解决方法
作为一名专业的SEO人员，我们很多的时候都在研究站点中有多少页面可以作为搜索候选结果，也就是一个网站的索引量，所谓网站索引量，就是搜索引擎抓取你网站的数量，这能影响到网站收录率，是一个非常重要的SEO因素，索引量是流量的基础，索引量数据的每一个变动都拨动着……【查看全文】
-
百度移动搜索落地页体验白皮书4.0全文解读
进入移动互联网时代，百度搜索致力于提升搜索用户的浏览体验，营造健康的搜索生态。过去一年中，在百度搜索和全网资源提供者的共同努力下，移动搜索落地页广告问题已经得到了明显的改善。现在，百度搜索发布《百度移动搜索落地页体验白皮书4.0》，旨在继续与各内容生产……【查看全文】
-
百度快照更新是什么意思？
最近发现有很多刚入SEO行业的新手对网站seo的技巧有很多的误区，比如网站快照不更新就代表网站被惩罚。关于这个观点我们先看看什么是百度快照，百度快照的作用是什么？我们有该如何让百度快照持续更新呢？快照即为Web Cache，可以翻译为网页缓存，当搜索引擎派出蜘蛛去对网站……【查看全文】
-
2011-2012年百度历次大更新数据分析
本篇文章记录了百度从2011年到2012年中旬百度大更新记录的文章。以下数据分析以站长之家官方提供的网站监控分析数据为蓝本，结合优词网等站点观察数据和一些 优秀SEO站长工具和软件的收集，并佐以自己手上二十几个站点作参考进行综合分析，基于统计学分析原理，以大量站……【查看全文】
-
《百度搜索优质内容指南》全文解读
今日，《百度搜索优质内容指南》在百度搜索学院悄悄地上线了，这是百度近两年，再次重新深度定义什么是百度搜索优质内容，对于SEO人员而言，特别是对于新站长而言，具有非常积极的指导意义，以免造成过多的资源浪费，给予了明确的指导规范的建议。百度搜索2020年全新发布了面向全网内容生产者的《百度搜索优质内容指南》，详细讲述了优质内容的标准，希望给广大内容生产者在生产优质内容时提供参考。关于优质内容的详细标准，请查看以下……【查看全文】
-
百度排名算法规则及SEO优化要点总结
做SEO目的其实就是为访客服务，满足用户的需求，想方设法的为了用户提供他们想要看的内容，而不是一味的最求最大利益化，其实百度只是一个展示的平台，只要你有了用户的青睐，你想达到的目标，自然也就水到渠成了，做SEO的核心就是要挖掘用户的力量，只有挖掘用户的力量……【查看全文】
-
网站最新SEO优化公式解析
网站seo优化公式 SEO=Clock=C1+L2+K3+O4 1、是一个积分符号，C=content，L=link，K=keywords，O=others。SEO就是一个长期的对时间积分过程，内容是核心； 2、C1丰富的内容是第一位的要素，按照原创、伪原创、转载依次排列内容的重要性满足用户体验； 3、L2链接的合理与……【查看全文】
-
如何分析网站是否真的被降权惩罚及解决方法
对于混迹于国内站长圈的朋友来说，每天起早贪黑发外链的网站被百度惩罚似乎在这几年已经是司空见惯的事了，所以很多时候网站流量、排名或者是收录有小幅度波动时，站长都会认为网站又被惩罚了，有到处的去抱怨。其实，很多情况都只是站长自己太过于敏感了而已，网站被百……【查看全文】
-
404 Not Found错误页面的解决方法和注意事项
404页面就是当用户访问某网站时，点击了错误的链接时，所返回的页面。最常见的出错提示：404 Not Found。其目的就是告诉浏览者其所请求的页面不存在或链接错误，同时引导用户使用网站其他页面而不是关闭窗口离开。错误页面的文字可以自定义，有些网站没有设置404错误页面，或……【查看全文】
-
基于用户投票的六大排名算法研究
随着互联网的发展，网站的数量也在随着成倍的增加着，就中国的互联网来说，根据中国互联网信息中心的数据显示，目前中国的网站数量每半年都会以接近10%的数量增长。这些大量的网站涌现，也就意味着我们已进入了信息大爆炸的时代。 而如今用户担心的已不再是信息太少，而……【查看全文】
-
linux系统或windows+iis系统设置404页面方法
404页面通常是为用户访问了网站上不存在或已删除的页面，服务器返回404错误页面，告诉浏览者其所请求的页面不存在或链接错误，同时引导用户使用网站其他页面而不是关闭窗口离开，消除用户的疑虑。网站设置404页面后，如果网站出现死链接，搜索引擎蜘蛛爬行这类网址……【查看全文】
-
落地页体验白皮书5.0解读：什么样的顶部嵌入广告符合体验标准
《百度APP移动搜索落地页体验白皮书5.0》对页面广告的内容、形式、位置和面积的要求都做出了详细的说明，受到了全网开发者的广泛关注。关于白皮书5.0中最新提出的顶部嵌入广告标准”落地页首屏顶部允许嵌入不超过一屏面积10%的优质广告”，不少开发者对此提出疑问和反馈，本篇文章将对顶部嵌入优质广告要求做出具体解读：落地页首屏顶部允许嵌入优质广告的总体要求如下：面积：顶部嵌入广告面积必须小于首屏面积的10%。标识：广告位上有明……【查看全文】
分类目录
移动设备Web App开发与调试的相关知识要点
生活中的一些好点子教会你如何赚钱
知乎问答社区的运营机制
如何撰写一份产品体验报告？
APP消息推送的误区与真相
O2O营销模式的深入解析
产品经理该如何做好产品的架构和流程
传统行业该如何做电子商务？
中小站长常用的5种赚钱方法
运营数据中常见的数据陷阱互联网更多>>
互联网技术的50年发展回顾与分析
1998年至2008年是公认的互联网飞速发展的十年，无论是传输速率、网络规模、关键技术还是应用领域都经历了大幅的增……
云服务器的常规安全设置及基本安全策略
我们要保障云服务器数据安全，首先应树立正确的安全意识，从监控、入侵防御、数据备份等多方面做好安全措施，……
基于贝叶斯推断应用原理的过滤垃圾邮件研究
随着电子邮件的应用与普及，垃圾邮件的泛滥也越来越多地受到人们的关注。而目前正确识别垃圾邮件的技术难度非……
网站CSS代码优化的7个原则 
织梦dedecms列表页实现无限下拉加载效果的方法技巧 
交互设计的三要素：目标、任务和行为 SEO优化 更多>>
|
|
-
外贸企业网站常用的5个优化推广方法
做海外推广不同国内的网站推广，因为在文化、…… -
移动设备前端开发中viewport的理论及使
在移动设备上进行网页的重构或开发，首先得搞…… -
医疗行业开展品牌推广急需解决的1
如今医疗行业要想在互联网上占有一席之地，就…… -
未来的站内SEO优化需要做些什么？
SEO说难不难，说简单也不是那么简单，很多人问…… -
百度对站点Logo属性审核原则的具体要
自百度搜索资源平台后台的站点属性设置开通上…… -
预约未到诊患者的回访技巧及话术整
很多朋友问预约是否有技巧，个人认为技巧是沉…… -
百度公告：关于近期出现网站劫持用
近日，百度搜索技术团队发现，搜索结果中的部…… -
医疗行业该如何做免费营销推广
当前医疗网站越来越多，竞争也越来越激烈，各……