在某些方面使用别人成熟的框架相当于请别人帮你完成一些基础工作。你只需要专注于系统的业务逻辑设计。这样就不用每次开发都从零开始，而是可以在这个基础上开始构建。使用框架最大的好处是减少重复开发的工作量，缩短开发时间，降低开发成本。同时还有其他好处，比如让程序设计更合理，程序运行更稳定。基于这些原因，基本上会选择一些合适的开发框架来帮助快速高效的开发应用系统。
5、python有什么好的大 数据/并行处理 框架从GitHub 框架整理出来的15个最流行的Python开源。这些框架包括事件I/O、OLAP、Web开发、高性能网络通信、测试、爬虫等等。Django:PythonWeb应用开发框架Django应该是最著名的Python 框架，GAE甚至Erlang都受其影响。Django走的是大而全的方向，最出名的是全自动管理后台:只需要使用ORM，做简单的对象定义，就可以自动生成数据库结构和全功能管理后台。
支持TCP和UDP。Flask:用Python 框架Flask编写的轻量级Web应用是用Python 框架编写的轻量级Web应用。基于WerkzeugWSGI工具箱和Jinja2模板引擎。Flask又被称为“微框架”，因为它使用了一个简单的核心，并使用扩展来添加其他功能。Flask没有默认的数据库和表单验证工具。
6、传统大 数据存储的架构有哪些?各有什么特点?数据来源:所有大型数据架构都是从源代码开始的。这可以包括来自数据 library的数据来自物联网设备等实时源的数据以及从Windows日志等应用程序生成的静态文件。实时消息接收:如果有实时源，需要在架构中建立一个机制来摄取数据。数据存储:公司需要存储数据它将通过大数据架构进行处理。一般来说，数据会存储在数据 Lake中，这是一个很大的非结构化的数据库，很容易扩展。
这是因为批处理可以用来有效处理大批量数据，而实时数据需要即时处理才能带来价值。批处理涉及长时间运行的作业，用于筛选、聚合和制备/分析。分析数据存储:准备好要分析的数据后，需要把它们放在一个地方，方便对整个数据集的分析。分析数据 storage的必要性在于公司所有的数据都聚集在一个地方，所以它的分析会比较全面，针对分析而不是交易进行优化。
7、大 数据包括哪些?large 数据技术庞大复杂，基础技术包括数据采集、数据预处理、分布式存储、NoSQL 数据库、。大型数据主要技术组件:Hadoop、HBase、kafka、Hive、MongoDB、Redis、Spark、Storm、Flink等。大数据技术包括数据收购，数据管理，数据分析，数据可视化，-1。
8、 数据处理 框架分类都有哪些?目前无论是历史数据在系统中还是实时数据持续访问系统，只要数据是可访问的，我们都可以处理这些数据。根据数据的处理形式和获得结果的时效性，数据processing框架可以分为批处理系统和流处理系统两大类。数据Processing框架中的批处理是计算大规模数据 sets的方法。批处理的过程包括将任务分解成更小的任务，分别在每台计算机上运行，根据数据的分析结果重新组合数据，然后由计算机计算组合数据的最终结果。
流处理是计算由连续单数据 item组成的数据 stream，注意处理结果的时效性。1.批处理系统批处理系统在Da 数据中历史悠久。批处理系统主要操作大量的static 数据，只有在所有处理完成后才能得到返回的结果。批处理系统中的数据 set一般满足以下特征:1 .限量:数据集中式数据必须限量。2.由批处理系统处理的持久性:数据一般存储在存储器中。
/image-9 9、大 数据开发必用的分布式 框架有哪些
SparkSpark用较少的Scala代码实现，不同于Hadoop基于分布式文件的IO操作。Spark尽可能使用内存进行迭代计算，使用mesos管理机器资源分配。Hadoop是由Apache基金会开发的分布式系统基础设施。用户可以开发分布式程序，而无需了解发行版的底层细节。充分利用集群的力量进行高速操作和存储。
HDFS具有高容错性的特点，设计用于部署在低成本的硬件上。而且提供了访问数据 of应用的高吞吐量，适用于那些数据 dataset较大的应用。HDFS放松)POSIX POSIX的要求，以便您可以在文件系统中流式访问数据
10、大 数据平台架构有哪些?1。交易用途:实际指数据收款。你是怎么收集数据？互联网收藏数据比较简单，通过网页、app都可以收藏。比如现在很多银行都有自己的app。在更深层次上，我们还可以收集用户的行为数据，我们可以细分很多维度，做一个详细的分析。但是对于线下行业来说数据的收款需要各种交易系统的帮助。2.数据 Integration:实际上指的是ETL，即用户从源码中提取所需的数据，经过数据清洗，
这里的Kettle只是ETL中的一个。三，数据仓储:是指数据仓库的构建，分为事务数据层(DW)、指标层、维度层、汇总层(DWA)。4.数据共享层:表示在仓库和交易系统数据之间提供共享服务，WebService和WebAPI代表数据之间的一种连接方式，还有一些其他的连接方式可以根据自己的情况来确定。
