DIY Hadoop大数据五大注意点
欢迎大家阅读本文章，本文章是一篇Hadoop大数据熟知5大陷阱的文章。这篇文章会给大家带来一些关于Hadoop和大数据的相关知识详解，希望本篇文章能帮助到你，对你有所收获，让我们开始学习吧，课课家提醒您：大家仔细阅读文章。课课家教育提醒您：要认真好好阅读哦~~
虽然Hadoop可以运行在廉价的商品计算机硬件，且用户很容易添加节点，但是它有一些细节是很昂贵的，尤其是你在生产环境中运行Hadoop。
甲骨文公司大数据产品经理Jean-Pierre Dijck称：“IT部门认为‘我已经有服务器，我还可以买到便宜的服务器，我也有人员，所以我们不用花多少钱就可以构建自己的Hadoop集群’，这当然是一件好事，但是IT部门在部署时会发现这里会有很多他们没有预料到的额外开销。”
Dijcks列举了IT领导在DIY Hadoop集群时的5个常见错误：
1.他们试图以廉价的方式构建Hadoop
很多IT部门不清楚Hadoop集群应该完成什么使命(除了分析某些类型的数据)，所以他们会购买尽可能便宜的服务器。
“Hadoop被认为是可自愈的，所以当服务器的一个节点出现故障，构不成大问题，”Dijcks称，“但如果你购买廉价的服务器，很多节点出现故障那么你就要花更多时间来修复硬件，如果一大堆节点都不运行了，这就会造成大问题。”
如果你的Hadoop集群只是实验，那么以上这些可能不是问题。然而，很多实验性项目通常最后都会进入生产环境。IT部门认为，“我们已经投入了大量的时间，我们已经做了很多工作，现在我们需要将其投入生产，”Dijcks说道，“在实验期间，如果环境出现问题，只要重新启动即可，但在生产环境，集群需要能够抵御硬件故障、人为交互故障以及任何可能发生的事情。”
Forrester公司在其2016年第二季度报告“大数据Hadoop优化系统”中指出，我们需要大量时间和精力用于安装、配置、调试、升级和监控通用Hadoop平台的基础设施，而预配置Hadoop优化系统可提供更快的时间价值、降低成本、最小化管理工作以及模块化扩展功能。
2.太多“厨师”
大多数IT部门将自己分为软件、硬件和网络组，而Hadoop集群跨越了这些分组，所以DIY Hadoop集群最终会成为很多有说服力的“厨师”的产物。
Dijcks称：“在这种情况中，你有一个食谱来参考，但负责不同领域的人并不会完全遵循食谱，因为他们喜欢与食谱要求略有不同的做法。“所以最终，Hadoop集群不会按照预期那样运行。
在进行故障排除后，系统应该能够启动以及让IT运营人员在生产环境中运行，但Dijcks称：“这是另一个学习曲线开始的地方，他们可能不熟悉Hadoop集群，你会看到很多人为错误、停机时间等一系列问题。”
3.他们没有意识到Hadoop DIY项目是特洛伊木马
在Hadoop集群转移到生产环境后，企业通常会发现他们需要安排专门的工作人员来保持其运行。Dijcks称：“当然，这个工作人员的大部分时间花费在维护上，而不是创新。”此外，这名工作人员还需要了解Hadoop系统。
他警告道：“你不能期望人们在很短时间内变成Hadoop专家。”即使你雇佣经验丰富的工作人员，但IT环境差异性很大–DIY Hadoop集群组件也是如此。因此，在你特定环境中的所有配置、连接和相互关系都需要花时间来了解。
4. 他们低估了更新的复杂性和频率
新版Hadoop(例如来自Cloudera和Hortonworks)每三个月发布一次，这些通常包含新特性、新功能、更新、漏洞修复等。
“除了保持Hadoop集群运行所需的所有人类操作外，每三个月都会有新的升级版本，”Dijcks称，“你完成升级的那一刻，你必须开始规划下一次升级。这相当复杂，所以有些人开始跳过更新。”即使你跳过几次更新，最终你还是会需要更新，例如从5.4升级到5.7。
虽然Cloudera和Hortonworks会尝试测试尽可能多的场景，“他们不能测试你特定操作系统版本或者对特定工作操作的影响，”Dijcks称，“你的环境可能有思科路由器或者Red Hat操作系统或者IBM硬件，同时，如果这个集群正用于大数据生产项目，而你需要更新时，就有可能会制造出明显的停机时间。”
#p#分页标题#e#
5. 他们没有准备好应对安全挑战
在Hadoop早期，安全没有被视为一个大问题，因为集群仍位于防火墙后面。而现在，安全已经成为最大的问题。
目前Kerberos身份验证已经内置到Hadoop来解决这些问题，但有些IT企业不知道如何处理此协议，“整合Kerberos到企业的Active Directory非常复杂，”他表示，“你需要在Active Directory和一系列组件之间进行非常多集成工作。且这方面的文档非常少，最要命的是这涉及到安全管理员和IT其他团队，这些人员几乎是使用完全不同的语言。”
有些IT部门最终会与Cloudera、Hortonworks或其他第三方签署合同以保护他们的DIY Hadoop集群。“这需要一些时间才能完成设置、测试等工作，”Dijcks称，“然后每过三个月，你都需要重新做一次，以确保应用和配置等一切的正常运行。
大数据小知识：
容量问题
这里所说的“大容量”通常可达到PB级的数据规模，因此，海量数据存储系统也一定要有相应等级的扩展能力。与此同时，存储系统的扩展一定要简便，可以通过增加模块或磁盘柜来增加容量，甚至不需要停机。在解决容量问题上，不得不提LSI公司的全新Nytro™智能化闪存解决方案，采用Nytro产品，客户可以将数据库事务处理性能提高30倍，并且超过每秒4.0GB的持续吞吐能力，非常适用于大数据分析。
延迟问题
“大数据”应用还存在实时性的问题。特别是涉及到与网上交易或者金融类相关的应用。有很多“大数据”应用环境需要较高的IOPS性能，比如HPC高性能计算。此外，服务器虚拟化的普及也导致了对高IOPS的需求，正如它改变了传统IT环境一样。为了迎接这些挑战，各种模式的固态存储设备应运而生，小到简单的在服务器内部做高速缓存，大到全固态介质可扩展存储系统通过高性能闪存存储，自动、智能地对热点数据进行读/写高速缓存的LSI Nytro系列产品等等都在蓬勃发展。
安全问题
某些特殊行业的应用，比如金融数据、医疗信息以及政府情报等都有自己的安全标准和保密性需求。虽然对于IT管理者来说这些并没有什么不同，而且都是必须遵从的，但是，大数据分析往往需要多类数据相互参考，而在过去并不会有这种数据混合访问的情况，大数据应用催生出一些新的、需要考虑的安全性问题，这就充分体现出利用基于DuraClass™ 技术的LSI SandForce®闪存处理器的优势了，实现了企业级闪存性能和可靠性，实现简单、透明的应用加速，既安全又方便。
大数据应用领域成本问题
对于那些正在使用大数据环境的企业来说，成本控制是关键的问题。想控制成本，就意味着我们要让每一台设备都实现更高的“效率”，同时还要减少那些昂贵的部件。重复数据删除等技术已经进入到主存储市场，而且还可以处理更多的数据类型，这都可以为大数据存储应用带来更多的价值，提升存储效率。在数据量不断增长的环境中，通过减少后端存储的消耗，哪怕只是降低几个百分点，这种锱铢必较的服务器也只有LSI推出的Syncro™ MX-B机架服务器启动盘设备都能够获得明显的投资回报，当今，数据中心使用的传统引导驱动器不仅故障率高，而且具有较高的维修和更换成本。如果用它替换数据中心的独立服务器引导驱动器，则能将可靠性提升多达100倍。并且对主机系统是透明的，能为每一个附加服务器提供唯一的引导镜像，可简化系统管理，提升可靠性，并且节电率高达60%，真正做到了节省成本的问题。
数据的积累
许多大数据应用都会涉及到法规遵从问题，这些法规通常要求数据要保存几年或者几十年。比如医疗信息通常是为了保证患者的生命安全，而财务信息通常要保存7年。而有些使用大数据存储的用户却希望数据能够保存更长的时间，因为任何数据都是历史记录的一部分，而且数据的分析大都是基于时间段进行的。要实现长期的数据保存，就要求存储厂商开发出能够持续进行数据一致性检测的功能以及其他保证长期高可用的特性。同时还要实现数据直接在原位更新的功能需求。
灵活性
#p#分页标题#e#
大数据存储系统的基础设施规模通常都很大，因此必须经过仔细设计，才能保证存储系统的灵活性，使其能够随着应用分析软件一起扩容及扩展。在大数据存储环境中，已经没有必要再做数据迁移了，因为数据会同时保存在多个部署站点。一个大型的数据存储基础设施一旦开始投入使用，就很难再调整了，因此它必须能够适应各种不同的应用类型和数据场景。
应用感知
最早一批使用大数据的用户已经开发出了一些针对应用的定制的基础设施，比如针对政府项目开发的系统，还有大型互联网服务商创造的专用服务器等。在主流存储系统领域，应用感知技术的使用越来越普遍，它也是改善系统效率和性能的重要手段，所以，应用感知技术也应该用在大数据存储环境里。
总结：大家都会了呢~相信大家对Hadoop也有些了解了呢~也一定知道了大数据的相关知识的详细介绍，要是您还有什么问题，课课家平台，随时为您服务，关于更多的知识，后面还有很多关于类似的文章，期待大家的到来。
