布隆过滤器，如何用布隆过滤器去重mysql

本文目录一览

1，如何用布隆过滤器去重mysql
2，布隆过滤器用的多少个hash函数
3，布隆过滤器的缺点
4，scrapy的dupefilter和bloomfilter有什么区别
5，布隆过滤器既然有错误率为什么还能应用在keyvalue系统中
6，myisam的索引也是使用的b树吗

1，如何用布隆过滤器去重mysql

在数据库中创建字段的UNIQUE属性在数据库中创建一个唯一的索引，在插入数据之前检查待插入的数据是否存在使用Set或HashSet保存数据，确保唯一

支持一下感觉挺不错的

如何用布隆过滤器去重mysql

2，布隆过滤器用的多少个hash函数

相比于其它的数据结构，布隆过滤器在空间和时间方面都有巨大的优势。布隆过滤器存储空间和插入/查询时间都是常数。另外, Hash函数相互之间没有关系，方便由硬件并行实现。布隆过滤器不需要存储元素本身，在某些对保密要求非常严格的场合有优势。

搜一下：布隆过滤器用的多少个hash函数

布隆过滤器用的多少个hash函数

3，布隆过滤器的缺点

但是布隆过滤器的缺点和优点一样明显。误算率是其中之一。随着存入的元素数量增加，误算率随之增加。但是如果元素数量太少，则使用散列表足矣。另外，一般情况下不能从布隆过滤器中删除元素。我们很容易想到把位列阵变成整数数组，每插入一个元素相应的计数器加1, 这样删除元素时将计数器减掉就可以了。然而要保证安全的删除元素并非如此简单。首先我们必须保证删除的元素的确在布隆过滤器里面. 这一点单凭这个过滤器是无法保证的。另外计数器回绕也会造成问题。在降低误算率方面，有不少工作，使得出现了很多布隆过滤器的变种。

布隆过滤器的缺点

4，scrapy的dupefilter和bloomfilter有什么区别

使用scrapy-redis后，过滤重复的request不能使用原来scrapy的过去组件，要scrapy-redis的，在settings.py上配置DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" 可以查看文档!

bloom filter的中文名称叫做布隆过滤器，因为他最早的提出者叫做布隆(bloom)，因而而得此名。布隆过滤器简单的说就是为了检索一个元素是否存在于某个集合当中，以此实现数据的过滤。也许你会想，这还不简单，判断元素是否存在某集合中，遍历集合...

5，布隆过滤器既然有错误率为什么还能应用在keyvalue系统中

bloom filter的特点是会出现误报，但不会漏报，也就是说对于bloom filter验证的一个数据文件，可能不包含你查找的数据项，但是包含你查找的数据项的数据文件它一定是会返回的，key-value系统中bloom filter返回的数据文件还是需要查看里面的内容才能知道是否存在所需的数据的，这就保证了执行结果的正确性和完整性。因此key-value系统不会因此而出错的，只是多访问一些数据文件而已。在数据量很大key-value系统中，建立统一的B+树索引的代价是非常大的，维护成本也很高，因此综合起来bloom filter的性能是最好的。

同问。。。

6，myisam的索引也是使用的b树吗

MyISAM:这个是默认类型,它是基于传统的ISAM类型,ISAM是Indexed Sequential Access Method (有索引的顺序访问方法) 的缩写,它是存储记录和文件的标准方法.与其他存储引擎比较,MyISAM具有检查和修复表格的大多数工具. MyISAM表格可以被压缩,而且它们支持全文搜索.它们不是事务安全的,而且也不支持外键。如果事物回滚将造成不完全回滚，不具有原子性。如果执行大量的SELECT，MyISAM是更好的选择。

bloom filter是一种空间效率很高的随机数据结构，它的原理是，当一个元素被加入集合时，通过k个hash函数将这个元素映射成一个位阵列（bit array）中的k个点，把它们置为1。检索时，我们只要看看这些点是不是都是1就（大约）知道集合中有没有它了：如果这些点有任何一个0，则被检索元素一定不在；如果都是1，则被检索元素很可能在。这就是布隆过滤器的基本思想。　　但bloom filter的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集合的元素误认为属于这个集合（false positive）。因此，bloom filter不适合那些“零错误”的应用场合。而在能容忍低错误率的应用场合下，bloom filter通过极少的错误换取了存储空间的极大节省。　　有人可能想知道它的中文叫法，倒是有被译作称布隆过滤器。该不该译，译的是否恰当，由诸君品之。下文之中，如果有诸多公式不慎理解，也无碍，只作稍稍了解即可。