2.从批处理到实时数据处理实时数据通信和流式传输媒体函数的成本大大降低，为其主流使用铺平了道路。首先，作为一个大数据，得到很多数据，都是没有用的，简而言之，核心技术有三个:取数据，算数据，卖数据，首先给出一个通用的大数据处理框架，主要分为以下几个方面:数据采集与预处理，数据存储，数据清洗，数据清洗。
今天，我们有充分的理由寻找更多数据，因为分析推动数字创新。然而，将这些大的数据集合转化为可操作的见解仍然是一个挑战。拥有强大数据挑战解决方案的组织将更容易从数字创新的成果中受益。基于这个基本前提，以下是2020年组织应该关注的五大趋势:1。大数据有什么发展趋势数据管理还是比较难数据分析有一个相当清晰的思路:找
然而，将这些数据投入生产比看起来要困难得多。对于初学者来说，从不同的岛屿收集数据可能比较困难，因为这需要提取、转换和加载(ETL)和数据库的技巧。清洁和标记数据对于机器学习练习也需要大量的时间和金钱，尤其是在使用深度学习技术的时候。此外，以安全可靠的方式将这些系统投入大规模生产需要另一套技能。由于这些原因，数据管理仍然是一个巨大的挑战，数据工程师将继续是团队中最受欢迎的角色之一。
总之有三个核心技术:取数据，算数据，卖数据。首先，作为一个大数据，得到很多数据，都是没有用的。现在由于机器学习的兴起，万金油算法的兴起，算法的地位有所下降，数据有所提升。举个通俗的例子，就像教育的发展，导致个人智力的重要性降低，学历的重要性降低，因为大部分人按照标准流程看一本书就能比牛顿理解的更多。谷歌说:很多情况下，把牛逼的数据喂给通用算法，不如把傻的数据喂给牛逼的算法。
一般人连这个难点都不知道怎么处理数据很重要，巧妇难为无米之炊！那么为什么很多公司烧钱抢入口和用户，为了争夺数据 source！但是，运营和产品更注重这一点。我是程序员，不在乎第二种。如果数据直接有价值，那么公司就没有存在的必要，政府直接赚外快就可以了。苹果落地的时候可以看到。牛顿可以拉动整个重力，所以我要把它们捡起来吃掉。有差距。所以数据它就在那里，我能挖出什么就看我的能力了。
