网页爬虫富文本内容判重及余弦相似度判定

[原创] 网页爬虫富文本内容判重及余弦相似度判定

仧尐 2018/03/12 102 爬虫/ 网页/ 余弦相似性/ 文本

我们知道很多文章爬取下来有可能是转载的，很多用户只是在文章开头和结尾加上原文的出处，这样的内容会存在很多重复的文章。
   按理来说，文章与文章之间的相似度比较可以使用余弦定理来判断，但是爬虫，不可能将爬取到每一篇文章都在库中进行一次相似度比较。这就需要我们找到与库中有相同特点的文章再使用定理进行判定。
一般相同的文章或者相似度极高的文章，有如下特点之一：
```
1、文章的标题相同；
2、文章的内容相同；
3、文章的开头相同；
4、文章的结尾相同。
```
接下来需要做的工作：
1. 将文章标题进行md5值，加入布隆过滤器A，将标题的md5作为rowkey，文章id为列名存入hbase表：title_id；
2. 将文章内容进行md5值，加入布隆过滤器B；
3. 将文章开头100个字符进行md5值，加入布隆过滤器C，将md5值作为rowkey，文章id为列名存入hbase表start_id；
4.  将文章结尾100个字符进行md5值，加入布隆过滤器D，将md5值作为rowkey，文章id为列名存入hbase表end_id。

判断顺序：
1. B判断已存在，直接判为重复，程序终止；
2. C判断已存在，查询start_id，找到文章id进行相似度比较，大于0.9判为重复，程序终止；
3. D判断已存在，查询end_id，找到文章id进行相似度比较，大于0.9判为重复，程序终止；
4. A判断已存在，查询title_id，找到文章id进行相似度比较，大于0.9判为重复，程序终止。

注：一般标题和内容可以去掉除a-zA-Z0-9中文字符等其它字符再进行比较，标题还可以去掉“转摘”，“原创”，“置顶”等等词语。

附一：
假定A和B是两个n维向量即两篇文章的词频，A是 [A1, A2, ..., An] ，B是 [B1, B2, ..., Bn] ，则A与B的夹角θ的余弦等于：
余弦公式：
![](http://www.ruanyifeng.com/blogimg/asset/201303/bg2013032007.png)
eg:
![](http://www.ruanyifeng.com/blogimg/asset/201303/bg2013032008.png)

附二：
Java实现余弦相似度算法（本文所说的词频，中文字算一个词，连续的英文或数字算一个词）
```java
	public static double getSimilarity(String doc1, String doc2) throws Exception {
		if (doc1 != null && doc1.trim().length() > 0 && doc2 != null && doc2.trim().length() > 0) {
			Map AlgorithmMap = new HashMap();
			List doc1Words = WordUtils.getWords(doc1);
			// 将两个字符串中的出现的词的总数封装到AlgorithmMap中
			if(doc1Words != null && doc1Words.size() > 0) {
				for(String word : doc1Words) {
					int[] fq = AlgorithmMap.get(word);
					if (fq != null && fq.length == 2) {
						fq[0]++;
					} else {
						fq = new int[2];
						fq[0] = 1;
						fq[1] = 0;
						AlgorithmMap.put(word, fq);
					}
				}
			}
			
			List doc2Words = WordUtils.getWords(doc2);
			if(doc2Words != null && doc2Words.size() > 0) {
				for(String word : doc2Words) {
					int[] fq = AlgorithmMap.get(word);
					if (fq != null && fq.length == 2) {
						fq[1]++;
					} else {
						fq = new int[2];
						fq[0] = 0;
						fq[1] = 1;
						AlgorithmMap.put(word, fq);
					}
				}
			}

Iterator iterator = AlgorithmMap.keySet().iterator();
			double sqdoc1 = 0;
			double sqdoc2 = 0;
			double denominator = 0;
			while (iterator.hasNext()) {
				int[] c = AlgorithmMap.get(iterator.next());
				denominator += c[0] * c[1];
				sqdoc1 += c[0] * c[0];
				sqdoc2 += c[1] * c[1];
			}
			return denominator / Math.sqrt(sqdoc1 * sqdoc2);
		} else {
			throw new NullPointerException(" the Document is null or have not chars!!");
		}
	}
```

参考文章：http://www.ruanyifeng.com/blog/2013/03/cosine_similarity.html

智能推荐

注意！

本站用户原创文章，版权为本站用户，转摘请注明本文地址：http://www.silva-art.net/blog/2018/03/12/df56802b894eec90a4922a015c5808d0.html。

猜您在找

利用余弦相似度来实现文本间的相似度计算文本相似度的衡量之余弦相似度利用余弦相似度计算文本相似度使用余弦相似度算法计算文本相似度 Scala余弦相似度

智能推荐

[原创] 网页爬虫富文本内容判重及余弦相似度判定

注意！

赞助商广告