网站优化注意：网页正文提取算法细节问题

时间:2008-12-23

　
　　问题：一个标题和多个正文，如何用程序来判断这个标题属于这个正文的思路：把标题用中科院分词系统分词，然后去除停止词，然后根据词性标注把实词取出来，记为S，然后看每个正文里S里的每个词出现的次数，无论哪个词，取出现次数最多的那个正文就是这个标题的正文，我觉得这个思路比把标题和正文都切词后用编辑距离比较的算法更准一些，而且正文和标题切词后是两个字符串数组，两个字符串数组貌似没有现成的算法算他们之间的距离的。

　问题：有若干段儿html文本块，去掉大多数为超链接的文本块思路：先算出每个文本块中所有汉字的数量，再算出每个文本块中被<a>标签包围的汉字数量，如果这两个值的比例大于某个阈值，就删除这个文本块以上几个文本解决后，网页的正文提取就能做的差不多了，最起码有百分之七八十的正确率吧。大家有兴趣和我一起解决哦，呵呵呵。

网站优化注意：网页正文提取算法细节问题

推荐内容