关于大数量分布式处理的面试问题数据题目:生产系统每天生成一个日志文件F，数据的数量在5000W行的水平。文件F保存了两列数据，一列是源通道，另一列是源通道上的用户ID。文件F用于记录当天所有频道的所有访问用户，每次访问一条记录。如何快速统计每个渠道的新增用户？问题分析:首先，这个面试是关于分布式数据加工和数据分析岗位的，所以相关的面试问题可能会偏向于用分布式的思路来解决。
方案一:处理这个问题最直观的方法之一就是直接将历史访问用户与当天添加的5000W访问记录进行匹配。如果有历史访问记录，则忽略；如果没有访问记录，它将被保存为新记录。显然，如果历史用户有2亿条记录，就需要和2亿条记录数据进行5000W次的对比。对比的次数可想而知。因为我一直在做基于数据 library的数据的处理，所以很容易想到在数据 library的一个表中保存数据的历史，并为来源渠道和用户标识两个字段建立索引，然后遍历日志。
5、视图里面有笛卡尔积 数据量很大想问一下视图中有笛卡尔积数据怎么办？视图中有大量的笛卡尔积数据。处理方法如下:1。使用过滤条件:在笛卡尔积运算前，添加过滤条件限制参与运算的记录数，只选择必要的数据。2.数据分区和分页:根据具体的业务需求，可以将大的数据集划分成更小的分区和分页，以便更有效地处理和管理数据。3.使用连接操作:尝试使用适当的连接操作(如内连接、左连接、右连接等。)而不是笛卡尔积运算。
6、索引如何处理 数据量大的问题1。什么是指数？索引用于快速查找具有特定值的记录，所有MySQL索引都以B树的形式保存。如果没有索引，MySQL在执行查询时必须从第一条记录开始扫描整个表的所有记录，直到找到符合要求的记录。表中的记录越多，这个操作的代价就越高。如果已经在列上创建了索引作为搜索条件，MySQL可以快速找到目标记录的位置，而无需扫描任何记录。
假设我们创建一个名为people的表:create table people(people id smallint not null，name char(50)not null)；然后，我们在people表中随机插入1000个不同的名称值。下图是people表所在的文件数据的一小部分:可以看到，文件数据中的name列没有明确的顺序。
7、大 数据时代 数据中心布线系统发展趋势Da数据Times数据中央布线系统的发展趋势对我们现在的出现产生了影响数据在我们的日常生活中，在现有的3G和下一代4G网络上，包括未来大量物联网和三网融合的趋势，一切与生活密切相关的技术的发展必然会影响数据流量的产生。大数据和云计算有关系。今天我们讨论的不是如何分析big 数据，而是需要什么样的网络和系统来支撑big 数据。
我们可以看到每年基于IP通信协议的全球IP的增加。目前数据流量在电信、金融、政府等互联网行业的比重增长越来越快，尤其是目前互联网上的视频流量使得数据增长更快。整个世界数据数量，我们可以看到2015年和2010年的反差很大。随着外围网络和应用技术的发展，势必影响数据的增长速度远远超过以前的数据流量。
8、Mysql是否可以存储100万条的 数据,Mysql的存储量和他所在的文件盘符大小...storage 数据没有最大限制，但受磁盘空间限制。对于数据的更多查询，最好是建立索引。MongoDB是目前IT界非常流行的非关系数据库(NoSql)，其灵活的数据存储模式受到当前IT从业者的青睐。MongoDB很好的实现了面向对象的思想(OO思想)，MongoDB中的每一条记录都是一个文档对象。MongoDB最大的优点是所有数据持久化操作都不需要开发人员手动编写SQL语句。
9、大 数据量的 数据库表设计技巧large数据quantitative数据库表设计技巧即使是非常简单的数据库应用系统，其数据 volume也会在一定程度上引起一系列问题。如果在设计数据 library的时候就提前考虑到这些问题，就可以避免系统响应慢导致的用户投诉。技巧1:尽量不要使用代码。比如性别领域的通行做法:1代表男性，0代表女性。这意味着每个查询都需要一个关联的代码表。技巧2:history数据中的所有字段都不应该依赖于业务表。
技巧3:使用中间表。例如，员工的工资可以保存在一个中间表中，当员工的某个薪资项目发生变化时，中间表的数据也会随之更新。技巧4:使用统计学，需要经常使用的统计数据数据可以在生成后保存在专门的表格中。技巧五:批量保存历史数据，历史数据可以分段保存，例如2003 数据的历史保存在2003的表名中，而2004 数据的历史保存在2004的表名中。
