Hadoop 2.0.2和Hive 0.10.0单机伪集群配置及应用
当前位置：以往代写 > 大数据教程 >Hadoop 2.0.2和Hive 0.10.0单机伪集群配置及应用

Hadoop 2.0.2和Hive 0.10.0单机伪集群配置及应用

2019-06-14

Hadoop 2.0.2和Hive 0.10.0单机伪集群配置及应用

Hadoop 2.0.2和Hive 0.10.0单机伪集群配置及应用

在众多学习中，文章也许不起眼，但是重要的下面我们就来讲解一下！！

Hadoop:
1.安装JDK 1.6以上
2.下载Hadoop包
3.添加环境变量：oracle教程

  1. export JavaHOME=/usr/lib/jvm/java-7-sun 
  2. export JRE_HOME=$JAVA_HOME/jre 
  3. export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH 
  4. export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 
  5. export HADOOP_PREFIX=/home/nachuang/Hadoop/hadoop-2.0.2-alpha 

4.修改配置文件：
1).core-site.xml:
Hadoop 2.0.2和Hive 0.10.0单机伪集群配置及应用oracle视频教程

经李克强总理签批，2015年9月，国务院印发《促进大数据发展行动纲要》（以下简称《纲要》），系统部署大数据发展工作。
《纲要》明确，推动大数据发展和应用，在未来5至10年打造精准治理、多方协作的社会治理新模式，建立运行平稳、安全高效的经济运行新机制，构建以人为本、惠及全民的民生服务新体系，开启大众创业、万众创新的创新驱动新格局，培育高端智能、新兴繁荣的产业发展新生态。
《纲要》部署三方面主要任务。一要加快政府数据开放共享，推动资源整合，提升治理能力。大力推动政府部门数据共享，稳步推动公共数据资源开放，统筹规划大数据基础设施建设，支持宏观调控科学化，推动政府治理精准化，推进商事服务便捷化，促进安全保障高效化，加快民生服务普惠化。二要推动产业创新发展，培育新兴业态，助力经济转型。发展大数据在工业、新兴产业、农业农村等行业领域应用，推动大数据发展与科研创新有机结合，推进基础研究和核心技术攻关，形成大数据产品体系，完善大数据产业链。三要强化安全保障，提高管理水平，促进健康发展。健全大数据安全保障体系，强化安全支撑。[11] 
2015年9月18日贵州省启动我国首个大数据综合试验区的建设工作，力争通过3至5年的努力，将贵州大数据综合试验区建设成为全国数据汇聚应用新高地、综合治理示范区、产业发展聚集区、创业创新首选地、政策创新先行区。
围绕这一目标，贵州省将重点构建“三大体系”，重点打造“七大平台”，实施“十大工程”。
“三大体系”是指构建先行先试的政策法规体系、跨界融合的产业生态体系、防控一体的安全保障体系；“七大平台”则是指打造大数据示范平台、大数据集聚平台、大数据应用平台、大数据交易平台、大数据金融服务平台、大数据交流合作平台和大数据创业创新平台；“十大工程”即实施数据资源汇聚工程、政府数据共享开放工程、综合治理示范提升工程、大数据便民惠民工程、大数据三大业态培育工程、传统产业改造升级工程、信息基础设施提升工程、人才培养引进工程、大数据安全保障工程和大数据区域试点统筹发展工程。
此外，贵州省将计划通过综合试验区建设，探索大数据应用的创新模式，培育大数据交易新的做法，开展数据交易的市场试点，鼓励产业链上下游之间的数据交换，规范数据资源的交易行为，促进形成新的业态。
国家发展改革委有关专家表示，大数据综合试验区建设不是简单的建产业园、建数据中心、建云平台等，而是要充分依托已有的设施资源，把现有的利用好，把新建的规划好，避免造成空间资源的浪费和损失。探索大数据应用新的模式，围绕有数据、用数据、管数据，开展先行先试，更好地服务国家大数据发展战略。

  1.    
  2.    
  3. fs.default.name   oracle视频
  4. hdfs://localhost:9000   
  5.    
  6.    
  7. hadoop.tmp.dir   
  8. /home/nachuang/Hadoop/hadoop-2.0.2-alpha/tmp   
  9.    
  10.    

2).hdfs-site.xml:

  1.    
  2.      
  3. dfs.name.dir     
  4. /home/nachuang/Hadoop/hadoop-2.0.2-alpha/datalog1,   
  5.                /home/nachuang/Hadoop/hadoop-2.0.2-alpha/datalog2     
  6.      
  7.      
  8. dfs.data.dir     
  9. /home/nachuang/Hadoop/hadoop-2.0.2-alpha/data1,   
  10.                /home/nachuang/Hadoop/hadoop-2.0.2-alpha/data2   
  11.      
  12.      oracle数据库教程
  13. dfs.replication     
  14. 1     
  15.    
  16.    

Hive:
只需添加两个环境变量：

  1. export HADOOP_HOME=$HADOOP_PREFIX 
  2. port HIVE_HOME=/home/nachuang/hive-0.10.0-bin   

#p#分页标题#e#

在hdfs 启动以后，启动hive 的cli 。
默认的配置使用的是derby数据库，
创建的表可以在hdfs上看到。
更多视频课程文章的课程，可到课课家官网查看。我在等你哟！！！

    关键字：

在线提交作业