大数据安全的六大挑战 恍惚恍惚又来到了文章的学习，想必大家又有很多问题吧! 大数据的价值为大家公认。业界通常以4个“V”来概括大数据的基本特征——Volume(数据体量巨大)、Variety(数据类型繁多)、Value(价值密度低)、Velocity(处理速度快)。当你准备对大数据所带来的各种光鲜机遇大加利用的同时，请别忘记大数据也会引入新的安全威胁，存在于大数据时代“潘多拉魔盒”中的魔鬼可能... 继续阅读大数据安全的六大挑战

Hadoop集群系列7：WordCount运行详解 在众多学习中，文章也许不起眼，但是重要的下面我们就来讲解一下！！ 1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用”分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是”任务的分解与结果的汇... 继续阅读Hadoop集群系列7：WordCount运行详解

社会化大量数据采集爬虫框架的建造 在众多学习中，文章也许不起眼，但是重要的下面我们就来讲解一下！！ BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。 我们来看一下作为人是怎么获取网页数据的呢？ 打开... 继续阅读社会化大量数据采集爬虫框架的建造

在众多学习中，文章也许不起眼，但是重要的下面我们就来讲解一下！！ 1、HDFS简介 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为... 继续阅读Hadoop集群系列9:HDFS初探之旅

恍惚恍惚又来到了文章的学习，想必大家又有很多问题吧! 大数据处理是一个头疼的问题，特别当达不到专业DBA的技术水准时，对一些数据库方面的问题感到无奈。所以还是有必要了解一些数据库方面的技巧，当然，每个人都有自己的数据库方面的技巧，只是八仙过海，所用的武功不同而已。我把我最常用的几种方式总结来与大家分享，大家还有更多的数据库设计和优化的技巧，尽量的追加到评论中，有时一篇完整的博客评论比主题更为精彩。... 继续阅读教你怎样玩转千万级别的数据

深入讲解曼彻斯特编码与解码 　　曼彻斯特编码（ManchesterEncoding），也叫做相位编码（PhaseEncode，简写PE），是一个同步时钟编码技术，被物理层使用来编码一个同步位流的时钟和数据。它在以太网媒介系统中的应用属于数据通信中的两种位同步方法里的自同步法（另一种是外同步法），即接收方利用包含有同步信号的特殊编码从信号自身提取同步信号来锁定自己的时钟脉冲频率，达到同步目的。 ... 继续阅读深入讲解曼彻斯特编码与解码

浅谈数据集成以及数据集成的方式       继系统集成、应用集成、业务集成之后，数据集成（Data Integration，简称DI）已逐渐被各大企业或政府机关纷纷触及。DI就是将不同来源、格式和特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。即把客户端的data source与实际的数据系统（数据库、XML文件、LDAP等）绑定，从而进行数据的持久化操作。集成后的数据... 继续阅读浅谈数据集成以及数据集成的方式

雅虎 没有能阻止互联网媒体业务价值缩水   　　雅虎公司 　　课课家科技讯 北京时间1月6日消息，据路透社报道，数家大股东担心雅虎核心互联网业务价值会进一步缩水，因此他们希望雅虎尽可能早地出售互联网业务。 　　这些股东称，他们宁愿雅虎尽可能早地出售核心互联网业务，也不愿意等待雅虎实施免税剥离核心业务的计划。他们认为，现在承担税金也比持有未来可能大幅缩水的剥离公司股票要好。过去一年雅虎股价缩... 继续阅读雅虎 没有能阻止互联网媒体业务价值缩水

大数据 | 可穿戴设备引发的科技伦理讨论 　　可穿戴设备伦理问题随着设备的普及也正在发酵，其核心就在于可穿戴设备将人的生命体态特征进行了数据化。 　　在人类历史上，每一次真正意义上的技术革新都会引发新的伦理讨论，出现新的道德准则。显然目前基于大数据所引发的隐私伦理也处于讨论的风口，随之而来的可穿戴设备伦理问题随着设备的普及也正在发酵，其核心就在于可穿戴设备将人的生命体态特征进行了数据化。 　... 继续阅读大数据 | 可穿戴设备引发的科技伦理讨论

数据分析发挥了什么作用？ 　　很多人都拥有很强的商业分析能力，而这个很强的商业分析能力之所以强大是因为他们拥有足够强大的数据分析能力，学会分析数据不仅有助于增强商业领域的分析能力，也将有助于其它领域的分析能力。那数据分析到底拥有哪些作用呢? 　　一、可以提高工作效率 　　当在工作中碰到几千个甚至几万个数据的时候，不仅需要耗费大量的时间以及精力对其进行分类归纳，还需要分类归纳的数据中找出数据与... 继续阅读数据分析发挥了什么作用？