何为大数据？大数据关键技术有哪些？

　　21世纪是数据信息大量发展的时代，移动互联，社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念。想要驾驭这庞大的数据，我们必须了解大数据的特征。
　　“大量化（Volume）、多样化（Variety）、快速化（Velocity）、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。

　　1、大数据的构成
　　大数据包括：交易数据和交互数据集在内的所有数据集。
　　1）海量交易数据
　　企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。
　　2）海量交互数据
　　源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备合传感器信息、GPS和地理位置映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Wendy文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。
　　3）海量数据处理
　　大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的Apache hadoop。
　　2、大数据与云计算
　　云计算的模式是业务模式、本质是数据处理技术。数据是资产，云为数据资产提供存储、访问、计算。当前云计算更偏重海量存储和计算，以及提供的云服务，运行和应用，但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析，为国家、企业、个人提供决策和服务，是大数据核心议题，也是云计算的最终方向。
　　3、大数据关键技术
　　大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。
　　大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。
　　1）大数据采集技术
　　数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化（或称之为弱结构化）及非结构化的海量数据，是大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术；突破高速数据解析、转换与装载等大数据整合技术；设计质量评估模型，开发数据质量技术。
　　大数据采集一般分为大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。基础支撑层：提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点攻克分布式虚拟存储技术，大数据获取、存储、组织、分析和决策操作的可视化接口技术，大数据的网络传输与压缩技术，大数据隐私保护技术等。
　　2）大数据预处理技术
　　主要完成对已接收数据的辨析、抽取、清洗等操作。（1）抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。（2）清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。
　　3）大数据存储及管理技术
　　大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文件系统（DFS）、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术；突破分布式非关系型大数据管理与处理技术，异构数据的数据融合技术，数据组织技术，研究大数据建模技术；突破大数据索引技术；突破大数据移动、备份、复制等技术；开发大数据可视化技术。
　　开发新型数据库技术，数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中，非关系型数据库主要指的是NoSQL数据库，分为：键值数据库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包含了传统关系数据库系统以及NewSQL数据库。
　　开发大数据安全技术。改进数据销毁、透明加解密、分布式访问控制、数据审计等技术；突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。
　　4）大数据分析及挖掘技术
　　大数据分析技术。改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。
　　数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘涉及的技术方法很多，有多种分类法。根据挖掘任务可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等；根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web；根据挖掘方法分，可粗分为:机器学习方法、统计方法、神经网络方法和数据库方法。机器学习中，可细分为:归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法等。统计方法中，可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。神经网络方法中，可细分为:前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是多维数据分析或OLAP方法，另外还有面向属性的归纳方法。
　　从挖掘任务和挖掘方法的角度，着重突破：（1）可视化分析。数据可视化无论对于普通用户或是数据分析专家，都是最基本的功能。数据图像化可以让数据自己说话，让用户直观的感受到结果。（2）数据挖掘算法。图像化是将机器语言翻译给人看，而数据挖掘就是机器的母语。分割、集群、孤立点分析还有各种各样五花八门的算法让我们精炼数据，挖掘价值。这些算法一定要能够应付大数据的量，同时还具有很高的处理速度。（3）预测性分析。预测性分析可以让分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断。（4）语义引擎。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。语言处理技术包括机器翻译、情感分析、舆情分析、智能输入、问答系统等。（5）数据质量和数据管理。数据质量与管理是管理的最佳实践，透过标准化流程和机器对数据进行处理可以确保获得一个预设质量的分析结果。
　　5）大数据展现与应用技术
　　大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。在我国，大数据将重点应用于以下三大领域：商业智能、政府决策、公共服务。例如：商业智能技术，政府决策技术，电信数据信息处理与挖掘技术，电网数据信息处理与挖掘技术，气象信息分析技术，环境监测技术，警务云应用系统（道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统），大规模基因序列分析比对技术，Web信息挖掘技术，多媒体数据并行化处理技术，影视制作渲染技术，其他各种行业的云计算和海量数据处理应用技术等。
　　4、大数据的机遇与挑战
　　随着移动互联网、物联网等新IT技术逐渐步入入主流，大数据不仅仅是企业需要面对的问题，个人消费者也将被大数据包围。大数据渗透至商业行为和个人生活的方方面面，无处不在的数据，使得信息安全越来越重要。
　　大数据使得数据价值极大提高，但数据保护意识十分欠缺，以及信息安全时间频率更高、损失更大，不容乐观的信息安全形势，对信息安全将提出了更高要求，目前使用的安全工具、安全信息与事件管理手段以及类似的不能解决这个问题的工具必须得到发展，大数据正在为安全分析提供新的可能性。这些都为信息安全发展带来了新的契机。
　　大数据时代，面对海量的数据收集、存储、管理、分析和共享，传统意义上的网络与信息安全面临新的问题，安全成为重中之重。这包含两方面的含义：一方面，大量的数据汇集囊括了大量的个人隐私，以及各种行为的细节记录。这些数据的不被滥用成为人身安全的一部分。另一方面，大数据给数据保存和防止破坏、丢失、盗取带来了技术上的难题，传统的安全工具不再像以前那么有用。大数据带来的信息安全挑战主要表现在以下几个方面：
　　1）数据窃取大数据处理的是海量数据，通常采用云端存储，对数据的管理比较分散，对用户进行数据处理的场所无法控制，合法用户与非法用户很难区分，容易导致非法用户入侵，窃取重要的数据信息。
　　2）数据非法添加和篡改和以前数据技术不一样，大数据技术是从海量非结构化数据获取“智慧”，大数据本身必须是可靠的。例如，黑客入侵大数据系统，添加非法数据，导致用户的大数据分析结果不可靠，有可能对企业或政府的决策造成重大破坏。如何保证大数据的可靠性及分析结果的可靠性是网络与信息安全领域面临的新课题。
　　3）个人信息泄露对大数据来说，个人隐私等信息安全问题不同于以往的信息安全问题，而是一种新的安全观。这种新安全观需要在大数据的利用时找到开放和保护的平衡点。例如涉及个人隐私的数据，既要能够探入挖掘其中给人类带来利益的智慧部分，又要充分保护隐私数据不被滥用，损害到个体的利益。国外的做法通常是设置安全机制，采用第三方信息安全审计，并对数据的使用作出明确规定。中国在个人信息保护方面的工作刚刚开始，如何应对即将来临的大数据时代的个人隐私信息保护将是巨大的挑站。
　　大数据时代正快速地走进了人们生活和工作，大数据是下一个社会发展阶段的金矿，谁能挖掘的好就会成为竞争的壁垒。