在众多学习中，文章也许不起眼，但是重要的下面我们就来讲解一下！！
什么是异常(outlier)?Hawkins(1980)给出了异常的本质性的定义：异常是在数据集中与众不同的数据，使人怀疑这些数据并非随机偏差，而是产生于完全不同的机制。聚类算法对异常的定义：异常是聚类嵌于其中的背景噪声。异常检测算法对异常的定义：异常是既不属于聚类也不属于背景噪声的点。它的行为与正常的行为有显著的不同。在某个季节里，某一天的气温很高或很低，这个温度数据就是一个异常。异常检测和分析是数据挖掘中一个重要方面，也是一个非常有趣的挖掘课题。它用来发现“小的模式”(相对于聚类)，即数据集中间显著不同于其它数据的对象。异常检测具有广泛的应用，如电信和信用卡欺骗、贷款审批、药物研究、医疗分析、消费者行为分析、气象预报、金融领域客户分类、网络入侵检测等 。
oracle教程
一、异常检测方法的分类
异常数据挖掘是一个非常有趣的研究课题，国内外关于这方面的已提出的算法文献非常多，这些方法大致分为四类：基于统计(statistical-based)的方法、基于距离(distance-based)的方法、基于偏差(deviation-based)的方法、基于密度(density-based)的方法。
(一)基于统计的方法
假设给定的数据集服从一个随机分布(如正态分布等)，用不一致性测试(discordancy test)识别异常。存在问题是，在许多情况下，用户并不知道这个数据分布;而且现实数据也往往不符合任何一种理想状态的数学分布;即使在低维(一维或二维)时的数据分布已知，在高维情况下，估计数据点的分布是极其困难的。
(二)基于距离的方法oracle视频教程
Knorr和Ng(VLDB’1998)提出一种基于距离的异常检测方法，基于距离的异常定义：数据集S中一个对象O称为DB(p,D)-outlier，如果它满足下列性质：数据集S中至少p*100%的对象与O的距离大于距离D。简单的说，基于距离的异常点就是那些没有“足够多”的邻居的对象。采取不同的参数p和D ， DB(p,D)-outlier可以表示所有的基于统计的异常。基于距离的异常检测的算法又分为三个基本类型：基于索引(index-based)的算法、嵌套循环(nested-loop)算法、基于单元(cell-based)的方法。
1.基于索引的算法
寻找所有的DB(p,D)-outlier可以通过对最近邻查询或以O为中心的范围查询的回答来实现。基于多维索引结构R-Tree或kd-Tree算法复杂度是O(kN2 )，其中k为维数，N为数据点数。缺点：需要建立多维索引结构，时间复杂度大。
2.嵌套循环算法NL
将内存缓冲区空间划分成相等的两部分，数据集分成几个大小和每部分缓冲区相等的逻辑块，通过认真选择调入每一部分缓冲区的次序，使I/O次数最小算法复杂度是O(kN2)其中k为维数，N为数据点数。 特点：不需要建立多维索引结构，时间复杂度较大。
3.基于单元的方法
数据空间被划分为边长为D/(2k1/2)的单元;每个单元有两个包围层第一层为1倍的单元厚，第二层为int(2k1/2 -1)+1倍的单元厚确定异常，
若cell_+_1_layer_count>M，单元中的对象都不是异常;
若cell_+_2_layer_count<=M，单元中的所有对象都是异常;
否则，单元中的一些对象可能为异常，逐个对象进行处理。算法复杂度是O(ck+N)。
由于索引建立的开销很大，简单索引算法没有竞争性当k<=4时，基于单元的算法在N越大时优越性越明显当k>=5之后，嵌套循环算法开始显现出优势。
4.基于距离的算法的改进
Knorr和Ng(VLDB’1998)基于距离的异常检测方法的缺陷输入参数p与D很难确定，并且对于不同参数，结果有很大不稳定性。这就需要用户反复输入p与D进行测试，以确定一个满意解;不能给定异常的程度;算法的复杂度较高。Rastogi和Ramaswamy(SIGMOD’2000)提出了一个新的基于距离异常定义
：Dnk 异常，用Dk(p)表示点p和它的第k个最近邻的距离，给定d维空间中包含N个点的数据集，参数n和k(自然数)，如果满足Dk(p’)>Dk(p)的点p’不超过n-1个，那么称p为Dnk 异常。如果对数据点根据它们的Dk(p)距离进行排序，那么前n个点就被看作异常。循环嵌套算法(Nested-loop Algorithm)，对每个点p，计算它的第k个最近邻的距离Dk(p)，把具有极大Dk值前n个点作为异常。上面的算法每次处理一个点p，那么需要扫描一遍数据库总共需要扫描N遍(N为数据点数)。 基于索引的算法(Index-based Algo?鄄rithm)，用如R*-树的空间索引结构存储。基于划分的算法(partition-based Algorithm) ，如果某个点的Dk(p)较小的话，那么不可能是Dnk 异常，可以先对数据集进行划分，然后估计每个划分的Dk(p)的上、下界，如果能判定某个划分不可能包含异常的话，那么就可以直接把它删除掉;然后再从剩下的划分(侯选划分)来计算异常。现有的许多聚类算法可以用来划分数据集，如BIRCH。
(三)基于偏差的方法
经李克强总理签批，2015年9月，国务院印发《促进大数据发展行动纲要》（以下简称《纲要》），系统部署大数据发展工作。
《纲要》明确，推动大数据发展和应用，在未来5至10年打造精准治理、多方协作的社会治理新模式，建立运行平稳、安全高效的经济运行新机制，构建以人为本、惠及全民的民生服务新体系，开启大众创业、万众创新的创新驱动新格局，培育高端智能、新兴繁荣的产业发展新生态。
《纲要》部署三方面主要任务。一要加快政府数据开放共享，推动资源整合，提升治理能力。大力推动政府部门数据共享，稳步推动公共数据资源开放，统筹规划大数据基础设施建设，支持宏观调控科学化，推动政府治理精准化，推进商事服务便捷化，促进安全保障高效化，加快民生服务普惠化。二要推动产业创新发展，培育新兴业态，助力经济转型。发展大数据在工业、新兴产业、农业农村等行业领域应用，推动大数据发展与科研创新有机结合，推进基础研究和核心技术攻关，形成大数据产品体系，完善大数据产业链。三要强化安全保障，提高管理水平，促进健康发展。健全大数据安全保障体系，强化安全支撑。[11]
2015年9月18日贵州省启动我国首个大数据综合试验区的建设工作，力争通过3至5年的努力，将贵州大数据综合试验区建设成为全国数据汇聚应用新高地、综合治理示范区、产业发展聚集区、创业创新首选地、政策创新先行区。
围绕这一目标，贵州省将重点构建“三大体系”，重点打造“七大平台”，实施“十大工程”。oracle数据库教程
“三大体系”是指构建先行先试的政策法规体系、跨界融合的产业生态体系、防控一体的安全保障体系；“七大平台”则是指打造大数据示范平台、大数据集聚平台、大数据应用平台、大数据交易平台、大数据金融服务平台、大数据交流合作平台和大数据创业创新平台；“十大工程”即实施数据资源汇聚工程、政府数据共享开放工程、综合治理示范提升工程、大数据便民惠民工程、大数据三大业态培育工程、传统产业改造升级工程、信息基础设施提升工程、人才培养引进工程、大数据安全保障工程和大数据区域试点统筹发展工程。
此外，贵州省将计划通过综合试验区建设，探索大数据应用的创新模式，培育大数据交易新的做法，开展数据交易的市场试点，鼓励产业链上下游之间的数据交换，规范数据资源的交易行为，促进形成新的业态。
国家发展改革委有关专家表示，大数据综合试验区建设不是简单的建产业园、建数据中心、建云平台等，而是要充分依托已有的设施资源，把现有的利用好，把新建的规划好，避免造成空间资源的浪费和损失。探索大数据应用新的模式，围绕有数据、用数据、管数据，开展先行先试，更好地服务国家大数据发展战略。
#p#分页标题#e#
Argrawal和Ragaran(KDD’1995)提出一种“序列异常”(sequential exception)的概念。算法介绍给定n个对象的集合S，建立一个子集序列{S1,S2,…,Sm},这里2≤m≤n,满足Sj-1
(四)基于密度的方法
距离异常的缺陷，基于密度的方法的有关概念对象p的k-距离(k-distance) 对任意的自然数k，定义p的k-距离(k-distance(p))，为p和某个对象o之间的距离，这里的o满足：
至少存在k个对象o’∈D\\\\{p}，使得d(p, o’) d(p, o)，并且至多存在k-1个对象o’ ∈D\\\\{p}，使得d(p, o’) < d(p, o)。 基于密度的方法的有关概念，
1.对象p的k-距离邻域(Nk-distance)， 给定p的k-距离k-distance(p)，p的k-距离邻域包含所有与p的距离不超过k-distance(p)的对象。
2.对象p相对于对象o的可达距离，给定自然数k，对象p相对于对象o的可达距离为：
3. 对象p的局部可达密度(Local Reachable Dis?鄄tance)，对象p的局部可达密度为对象p与它的MinPts-邻域的平均可达oracle视频距离的倒数。
4.对象p的局部异常因子(Local Outlier Factor)， 局部异常的性质对象p的局部异常因子表示p的异常程度，局部异常因子愈大，就认为它更可能异常;反之则可能性小。簇内靠近核心点的对象的LOF接近于1，那么不应该被认为是局部异常。而处于簇的边缘或是簇的外面的对象的LOF相对较大。
局部异常因子计算：第一步先产生所有点的MinPts-邻域(同时得到MinPts-距离)，并计算到其中每个点的距离; 对低维数据，可以利用网格(Grid)来作k-NN查询，整个计算时间为 O(n );对中维或中高维数据，必须采用索引结构如X-树等，使得作k-NN查询的时间为O(logn) ，整个计算时间为 O(n logn);对特高维数据，索引结构不再有效，时间复杂度提高到O(n2)。第二步计算每个点的局部异常因子。
二、算法小结
#p#分页标题#e#
基于统计的异常检测应用主要局限于科研计算，这主要是因为必须事先知道数据的分布特征这就限制了它的应用范围。 序列异常检测算法提出的序列异常的概念并没有得到普遍的认同。这是因为序列异常在概念上仍然有一定缺陷，遗漏了不少的异常数据。基于距离的算法跟基于统计的算法相比，不需要用户拥有任何领域知识。与“序列异常”相比，在概念上更加直观。更重要的是，距离异常更接近Hawkins的异常本质定义。基于密度的异常观点比基于距离的异常观点更贴近Hawkins的异常定义，因此能够检测出基于距离异常算法所不能识别的一类异常数据———局部异常。局部异常观点摈弃了以前所有的异常定义中非此即彼的绝对异常观念，更加符合现实生活中的应用。
上述的异常检测算法是以静态数据集为研究对象，需要对数据集进行多次扫描，才能得到输出结果。在现实生活中，对动态的数据集，即流数据的在线处理的需求更为迫切，因此，只需进行一次扫描便得到结果的数据流异常检测算法，成为当前的研究热点。
更多视频课程文章的课程，可到课课家官网查看。我在等你哟！！！
