二是多元化，这是区别于之前海量数据挖矿的最重要特征。它有两个意思，一个是数据多元化来源，系统数据，设备日志，传感器，文件系统等等。第二，数据结构多元化，这是最核心的特点！应该包括结构化数据和非结构化数据(包括所谓的半结构化数据)。第三是时效性，基本上至少要达到亿级 数据一秒查询，做的好的可以达到几千亿级 数据一秒。
4、10 亿级别的 数据库用什么比较好?mysql合适吗?10 亿级还有什么数据？如果关系很强，而且数据很有价值数据，比如客户交易的商品量是一个数列，那么这个很重要数据，推荐甲骨文，因为数据丢不起。如果关系比较强，但是数据不是很有价值数据，比如开市以来a股所有股票的每日、每小时、30分钟、15分钟、5分钟行情数据。然后就可以用Mysql了。反正丢了就重新导入。
5、如何优化mysql表 亿级条数1。首先可以考虑业务级优化，即垂直表拆分。竖表拆分是将一个数据数量较多的表拆分成多个表，可以根据一个字段的属性或者使用频率进行分类。如果有多种业务类型，每种业务类型都列在不同的表中，如表1、表2和表3。如果日常业务中不需要全部使用数据，可以按照时间来安排，比如月表。每张表只保留一个月的记录。2.结构优化，即横向分表。
如果按id划分表，则以09结尾的数据分别插入10个表中。也许你要问了，看起来和刚才说的立桌没什么区别。只是是否有业务意义是按照字段的值划分成表的。其实横向划分是最流行的实现方式，通过横向子库来实现。也就是刚才说的10个表分布在10个mysql 数据 libraries中。通过这种方式，可以集成多个低配置主机以实现高性能。
6、新手处理大量的 数据用什么 数据分析工具?Hadoop是一个可以分发大量数据的软件框架。但是Hadoop是以一种可靠、高效和可扩展的方式处理的。Hadoop之所以可靠，是因为它假设计算元素和存储会失效，所以它维护了数据的多个副本，以确保可以为失效的节点重新分配处理。Hadoop是高效的，因为它以并行方式工作，从而加快了处理速度。Hadoop也是可扩展的，可以处理PB 数据。
新手处理很多数据我推荐你用智能软件Smartbi 数据分析工具简单易用。SmartbiEagle软件围绕业务人员提供企业级数据分析工具和服务，满足不同类型的业务用户，可在Excel或浏览器中实现全自助数据提取、数据处理、数据分析和/123。
7、Hive 数据倾斜优化:两个 亿级表joinOriginal 查询:【现象】reduce相位一直卡在99%，推测可能有数据倾斜问题。【验证猜测】1。看看用户表中strmd5的数量，大概是6亿。分明后才4.5亿。大概有1.5亿次重复数据。2.查看filter_log表。strpiddownloadimgmd 5的数量在6亿左右。分明后才5亿。
3.如果一个键在user表和filter_log表中都出现了1k次，并且两个表是连接的，那么数据的总量就是1k*1k100w，也就是说这个键的结果是100w。这才1k倍，如果是10w呢？使用row_number消除重复。第一个孩子查询:第二个孩子查询:再次加入，[结果]:6小时内找不到的连接现在可以在25分钟内计算出来。
