谷银基金行业月度简报 | 大数据板块

政策/知识/技术总结

大数据是对海量数据存储、计算、统计、分析等一系列处理手段，处理的数据量是TB级，甚至是PB或EB级的数据，是传统数据处理手段无法完成的，大数据涉及分布式计算、高并发处理、高可用处理、集群、实时性计算等等，汇集的是IT最热门、最流行的IT技术，大数据是机器学习、深度学习、AI等尖端可以领域的基础架构。

大数据技术为决策提供依据，在政府、企业、科研项目等决策中扮演着重要的角色，在社会治理和企业管理中起到了不容忽视的作用，例如我国、美国以及欧盟等国家都已将大数据列入国家发展战略，微软、谷歌、百度以及亚马逊等大型企业也将大数据技术列为未来发展的关键筹码。

一. 大数据采集

大数据采集，即对各种来源（如RFID射频数据、传感器数据、移动互联网数据、社交网络数据等）的结构化和非结构化海量数据，所进行的采集。数据采集有线上和线下两种方式，线上一般通过爬虫、通过抓取，或者通过已有应用系统的采集，在这个阶段，我们可以做一个大数据采集平台，依托自动爬虫（使用python或者nodejs制作爬虫软件），ETL工具、或者自定义的抽取转换引擎，从文件中、数据库中、网页中专项爬取数据，如果这一步通过自动化系统来做的话，可以很方便的管理所有的原始数据，并且从数据的开始对数据进行标签采集，可以规范开发人员的工作。并且目标数据源可以更方便的管理。数据采集的难点在于多数据源，例如mysql、postgresql、sqlserver 、 mongodb 、sqllite。还有本地文件、excel统计文档、甚至是doc文件。如何将他们规整的、有方案的整理进我们的大数据流程中也是必不可缺的一环。

之所以称其为“大”，是因为数据采集过程中，常需要处理“成千上万用户并发访问和操作”的难题。这里列举出三个大数据采集的常用方法：

A. 数据库采集

Sqoop和ETL工具想必很多人比较熟悉。实际上，传统的关系型数据库MySQL和Oracle 依然充当着许多企业的数据存储方式。当然了，目前对于开源的Kettle和Talend本身，也集成了大数据集成内容，可实现hdfs，hbase和主流Nosq数据库之间的数据同步和集成。

B. 网络数据采集

一种借助网络爬虫或网站公开API，从网页获取非结构化或半结构化数据，并将其统一结构化为本地数据的，数据采集方式。

C. 文件采集

常被谈起的flume实时文件采集和处理，就是一种典型的文件采集形式。除此之外，基于ELK(Elasticsearch、Logstash、Kibana)的日志采集和增量采集，也涉及到“文件采集”这一数据采集形式。

二. 大数据预处理

数据预处理，指的是在进行数据分析之前，先对采集到的原始数据所进行的诸如“清洗、填补、平滑、合并、规格化、一致性检验”等一系列操作，旨在提高数据质量，为后期分析工作奠定基础。数据预处理主要包括四个部分：数据清理、数据集成、数据转换、数据规约。

A. 数据清理

数据清理，指利用ETL(Extraction/Transformation/Loading)和Potter’s Wheel等清洗工具，对有遗漏数据(缺少感兴趣的属性)、噪音数据(数据中存在着错误、或偏离期望值的数据)、不一致数据进行处理。

遗漏数据处理方法：用全局常量、属性均值、可能值填充；或直接忽略该数据;噪音数据处理方法：用分箱(分组原始数据，并分别对各组数据平滑处理)、聚类、计算机人工检查、回归等方法，去除噪音处理;不一致数据处理方法：手动更正。

B.数据集成

数据集成，指将不同数据源中的数据，合并存放到统一数据库的，存储方法。该过程着重解决三个问题：模式匹配、数据冗余、数据值冲突检测与处理。实体识别问题处理方法：针对“不同集合来源的数据，因命名差异导致的实体名称不一致”的问题，通过“利用元数据，匹配不同来源实体”的方法，进行实体识别。数据冗余处理方法：对于因“不同来源数据，属性命名方式不一致”所导致的数据冗余问题，利用皮尔逊积矩Ra,b，结合绝对值比较的方法，确定数据间的相关性。数据值冲突问题处理方法：对具有不同数值的各来源实体，进行数据值冲突检测与处理。

C.数据转换

数据转换，指对所抽取出来的数据中存在的不一致，进行处理的过程。它同时包含了数据清洗的工作，即根据业务规则对异常数据进行清洗，以保证后续分析结果准确性。数据名称及格式统一处理：即数据粒度转换、商务规则计算以及统一的命名、数据格式、计量单位等;数据仓库中较源数据库多出数据的处理：字段的组合、分割、计算。

D. 数据规约

数据归约，指在最大限度保持数据原貌（尽可能保持数据完整性）的基础上，最大限度精简数据量，以得到较小数据集的操作，包括：数据方聚集、维规约、数据压缩、数值规约、概念分层等。

三. 大数据存储

大数据存储，指用存储器，以数据库的形式，存储采集到的数据的过程。大数据存储技术的三种典型路线：

A. 基于MPP架构的新型数据库集群

采用Shared Nothing架构，结合MPP架构的高效分布式计算模式，通过列存储、粗粒度索引等多项大数据处理技术，重点面向行业大数据所展开的数据存储方式。具有低成本、高性能、高扩展性等特点，在企业分析类应用领域有着广泛的应用。较之传统数据库，其基于MPP产品的PB级数据分析能力，有着显著的优越性。自然，MPP数据库，也成为了企业新一代数据仓库的最佳选择。

B. 基于Hadoop的技术扩展和封装

基于Hadoop的技术扩展和封装，是针对传统关系型数据库难以处理的数据和场景（针对非结构化数据的存储和计算等），利用Hadoop开源优势及相关特性（善于处理非结构、半结构化数据、复杂的ETL流程、复杂的数据挖掘和计算模型等），衍生出相关大数据技术的过程。伴随着技术进步，其应用场景也将逐步扩大，目前最为典型的应用场景：通过扩展和封装 Hadoop来实现对互联网大数据存储、分析的支撑，其中涉及了几十种NoSQL技术。

C. 大数据一体机

这是一种专为大数据的分析处理而设计的软、硬件结合的产品。它由一组集成的服务器、存储设备、操作系统、数据库管理系统，以及为数据查询、处理、分析而预安装和优化的软件组成，具有良好的稳定性和纵向扩展性。

四. 大数据分析挖掘

从可视化分析、数据挖掘算法、预测性分析、语义引擎、数据质量管理等方面，对杂乱无章的数据，进行萃取、提炼和分析的过程。

A. 可视化分析

可视化分析，指借助图形化手段，清晰并有效传达与沟通信息的分析手段。主要应用于海量数据关联分析，即借助可视化数据分析平台，对分散异构数据进行关联分析，并做出完整分析图表的过程。具有简单明了、清晰直观、易于接受的特点。

B. 数据挖掘算法

数据挖掘算法，即通过创建数据挖掘模型，而对数据进行试探和计算的，数据分析手段。它是大数据分析的理论核心。数据挖掘算法多种多样，且不同算法因基于不同的数据类型和格式，会呈现出不同的数据特点。但一般来讲，创建模型的过程却是相似的，即首先分析用户提供的数据，然后针对特定类型的模式和趋势进行查找，并用分析结果定义创建挖掘模型的最佳参数，并将这些参数应用于整个数据集，以提取可行模式和详细统计信息。

C. 预测性分析

预测性分析，是大数据分析最重要的应用领域之一，通过结合多种高级分析功能（特别统计分析、预测建模、数据挖掘、文本分析、实体分析、优化、实时评分、机器学习等），达到预测不确定事件的目的。

它帮助分用户析结构化和非结构化数据中的趋势、模式和关系，并运用这些指标来预测将来事件，为采取措施提供依据。

D. 语义引擎

语义引擎，指通过为已有数据添加语义的操作，提高用户互联网搜索体验。

E. 数据质量管理

指对数据全生命周期的每个阶段（计划、获取、存储、共享、维护、应用、消亡等）中可能引发的各类数据质量问题，进行识别、度量、监控、预警等操作，以提高数据质量的一系列管理活动。

热点、趋势、动态

随着大数据应用越来越广泛，应用的行业也越来越低，每天都可以看到大数据的一些新奇的应用，从而帮助人们从中获取到真正有用的价值。大数据浪潮下，一些企业转而将目光投向了传统的小数据，并据此改善了相关产品。比如，相较于以往，现在的罐头和汽水瓶的盖子更容易打开，车门可以不费力地关上，而抽屉的开合也设计得更加顺滑。这缘于企业对一个细节的敏锐捕捉：随着科技发展导致的体力劳动减少、电脑和触摸屏导致的书写退化，人们的双手没有以前有力了。类似的小数据、小趋势，正在和大数据一起改变着我们的生活。

1.数据科学与大数据的学科边界

这一问题综合了两个问题，即大数据的基本内涵与数据的科学问题。前者关注的是大数据的基本定义和基本结构。迄今为止，什么是大数据，在产业界、学术界并没有形成一个公认的科学定义，大数据的内涵与外延也缺乏清晰的说明。大数据区别于其他数据的关键特性是什么？IBM提出了3V的说法，即volume（体量 大）、variety（模式多）和velocity（速度快）。尔后又有人提出了另一个V，即value（价值），表示大数据虽然价值总量高但其价值密度低。另外，大数据是否就意味着全数据，还有待进一步讨论与澄清。最后，还需要为动态、高维、复杂的大数据建立形式化、结构化的描述方法，进而在此基础上发 展大数据处理技术。后者关注的是数据界与物理界、人类社会之间的关联与差异，探讨是否存在独立于应用领域的数据科学。如果存在数据科学，其学科问题的分类 体系又是什么？目前已有的共识是，大数据的复杂性主要来自数据之间的复杂联系。另外，新型学习理论和认知理论等应当是数据科学的重要组成部分。

2.数据计算的基本模式与范式

大数据的诸多突出特性使得传统的数据分析、数据挖掘、数据处理的方式方法都不再适用。因此，面对大数据，我们需要有数据密集型计算的基本模式和新型的计算范式，需要提出数据计算的效率评估方法以及研究数据计算复杂性等基本理论。由于数据体量太大，甚至有的数据本身就以分布式的形式存在，难以集中起来处理，因此对于大数据的计算需要从中心化的、自顶向下的模式转为去中心化的、自底向上、自组织的计算模式。另外，面对大数据将形成基于数据的智能，我们可能需要寻 找类似“数据的体量+简单的逻辑”的方法去解决复杂问题。

3.大数据特性与数据态

这一问题综合了三个候选问题，即大数据的关系维复杂性、大数据的空间维复杂性和大数据的时间维复杂性问题。大数据往往由大量源头产生，而且常包含图像、视频、音频、数 据流、文本、网页等等不同的数据格式，因此其模态是多种多样的。主要来源于多模态的大数据之间存在着错综复杂的关联关系，这种异质的关联关系有时还动态变 化，互为因果，因此导致其关联模式也非常复杂。大数据的空间维问题主要关注人、机、物三元世界中大数据的产生、感知与采集，以及不同粒度下数据的传输、移 动、存储与计算。另外，还需研究大数据在空间与密度的非均衡态对其分析与处理所带来的理论与技术挑战。而大数据的时间维问题意图在时间维度上研究大数据的 生命周期、状态与特征，并探索大数据的流化分析、增量式的学习方法与在线推荐。最后，研究大数据的离线与在线处理对时效性要求。

4.大数据的数据变换与价值提炼

这一问题主要由“如何将大数据变小”与“如何进行大数据的价值提炼”两个问题组成，前者要在不改变数据基本属性的前提下对数据进行清洗，在尽量不损失价值的条件下减小数据规模。为此，需要研究大数据的抽样、去重、过滤、筛选、压缩、索引、提取元数据等数据变换方法，直接将大数据变小，这可以看作是大数据的 “物理变化”。后者可看作是大数据的“化学反应”，对大数据的探索式考察与可视化将发挥作用，人机的交互分析可以将人的智慧融入这一过程，通过群体智慧、 社会计算、认知计算对数据的价值进行发酵和提炼，实现从数据分析到数据价值判定和数据制造的价值飞跃。

5.大数据的安全和隐私问题

只要有数据，就必然存在安全与隐私的问题。随着数据的增多，大数据面临着重大的风险和威胁，需要遵守更多更合理的规定，传统的数据保护方法无法满足这一要求。因此，面对大数据的安全与隐私保护，有大量的挑战急需得到解决，具体包括：大数据计算伦理学、大数据密码学、分布式编程框架中的安全计算、远程数据计算的可信任度、数据存储和日志管理的安全性、基于隐私和商业利益保护的数据挖掘与分析、强制的访问控制和安全通信、多粒度访问控制以及数据来源和数据通道的可信等。

6.大数据对IT技术架构的挑战

这一问题是对热点问题“大数据对于系统的要求”的新解读。大数据对于系统，不管是存储系统、传输系统还是计算系统都提出了很多非常苛刻的要求，而现有的数据中心技术难以满足大数据的需求。譬如，存储能力的增长远远赶不上数据的增长，设计最合理的分层存储架构已成为信息系统的关键。分布式存储架构不仅需要scale-up式的可扩展性，也需要scale-out式的可扩展性。因此对整个IT架构进行革命性地重构势在必行。此外，大数据平台（包括计算平台、传输平台、存储平台等）是大数据技术链条中的瓶颈，特别是大数据的高速传输，需要革命性的新技术。

7.大数据的应用及产业链

大部分大数据专家委员会的委员都认为，大数据的研究与应用一定要与领域知识相结合，尤其在开展大数据研究的初期，计算机领域的科技工作者一定要虚心向各领域的科技人员请教，真正了解和熟悉各领域发生数据的特点。针对不同的领域环境和不同的应用需求，大数据的获取、分析、反馈的方式有所不同。为此，针对不同行业与领域业务需求，我们需要展开数据特征与业务特征的研究，进行大数据应用分类与技术需求分析，构建从需求分析与业务模型，到数据建模、数据采集和总结反馈，最后到数据分析 的全生命周期应用模型。其实，不同的应用环境和应用目标代表了不同的价值导向，这对于大数据的价值密度有很大的影响。

8.大数据的生态环境问题

大数据作为21世纪的“新石油”，是一种宝贵的战略资源，因此对大数据的共享与管理无疑是其生态环境的一部分。对于大数据的共享与管理，其中所有权是基础， 这既是技术问题，也是法理问题。对数据的权益需要进行具体认定并进行保护，进而在保护好多方利益的前提下解决数据共享问题。为此，可能会遇到不少的障碍， 包括人们对法律或信誉的顾虑，保护竞争力的需要，以及数据存储的位置和方式不利于数据的访问和传输等。此外，生态环境问题还涉及与政治、经济、社会、法律、科学等等的交叉影响问题。因为大数据将对国家治理模式、企业的决策、组织和业务流程、个人生活方式都将产生巨大的影响，所以这种影响模式值得深入研究。

上市公司/标杆企业分析

海康威视2001年成立。海康威视是全球领先的以视频为核心的物联网解决方案提供商，致力于不断提升视频处理技术和视频分析技术，面向全球提供领先的监控产品和技术解决方案。海康威视的营销及服务网络覆盖全球，目前在中国大陆34个城市已设立分公司，在中国香港、美国洛杉矶和印度也已设立了全资和合资子公司，并正在全球筹建更多的分支机构。

海康威视拥有业内领先的自主核心技术和可持续研发能力，提供摄像机/智能球机、光端机、DVR/DVS/板卡、BSV液晶拼接屏、网络存储、视频综合平台、中心管理软件等安防产品，并针对金融、公安、电讯、交通、司法、教育、电力、水利、军队等众多行业提供合适的细分产品与专业的行业解决方案。这些产品和方案面向全球100多个国家和地区，在北京奥运会、大运会、亚运会、上海世博会、60年国庆大阅兵、青藏铁路等重大安保项目中得到广泛应用。

公司的营销及服务网络覆盖全球，在中国大陆33个城市已设立分公司，在洛杉矶、香港、阿姆斯特丹、孟买、圣彼得堡和迪拜也已设立了全资或控股子公司，并将在南非、巴西等地设立分支机构。并在全国设立渠道代理商。

持续快速发展的海康威视，已获得了行业内外的普遍认可。公司连续五年(2007-2011)以中国安防第一位的身份入选《A&S》“全球安防50强” ；2011年名列IMS全球视频监控企业第4位，2012年名列IMS全球视频监控企业第1位。DVR企业第1位；连年入选“国家重点软件企业”、“中国软件收入前百家企业”。

海康威视，全球卓著的专业公司和安防行业的领跑者。

海康威视发布2018年度报告，报告期内实现营业总收入498.37亿元，同比增长18.93%；实现归属于上市公司股东的净利润113.53亿元，同比增长20.64%。2019年第一季度实现营业收入99.42亿元，同比增长6.17%；净利润15.36亿元，同比下降15.41%。行业整体承压之下，海康威视2018年整体业绩依然“拿得出手”。尽管Q1业绩略显失色，但业绩说明会上，海康也用商机改善和2季度收入增速回到20%以上的预期，印证了信心。以视频为核心的智能物联网解决方案和大数据服务提供商”，这也呼应了海康威视在智涌钱塘生态大会上的提出物信融合，发布大数据平台的动作。我们已经可以揣摩出未来海康及行业发展的清晰脉络。