Hadoop安装

听了这么久的Hadoop,终于要开始玩了,好幸福的说。不水了,Hadoop到底能怎么用我还没研究,只是安装了下。这里大概介绍下Hadoop,它是一组项目,在下面有好多个开源的牛逼组件。HDFS是下面的一个分布式存储项目,主要是文件存储,它设计就是来存储大文件,整个HDFS就是一套文件系统,但是它的Block特别大,默认是64M,HDFS会有自己的Backup。HDFS主要分成两部分,一部分是管理中心,叫做NameData,这类似linux文件系统的super blocks,用来管理所有的DataNode,DataNode就是真正用来存储实际的数据内容的。而NameData会管理好文件的索引,存储,还有backup。

Hadoop安装


网络拓扑规划
修改本地hosts和每台机器的hostname,因为Hadoop都是通过hosts来通信的。
vim /etc/hosts

198.15.145.213 master.hadoop
198.15.145.214 slave1.hadoop
198.15.145.215 slave2.hadoop

安装java环境和hadoop包下载(需要在三台都搭建环境)
yum install -y java-1.6.0*
wget -c http://archive.apache.org/dist/hadoop/core/hadoop-1.1.2/hadoop-1.1.2-bin.tar.gz
tar -zxvf hadoop-1.1.2-bin.tar.gz
cd hadoop-1.1.2

配置java环境
vim conf/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0/

免登入配置(下面的都在master.hadoop上配置)
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys slave1.hadoop:~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys slave2.hadoop:~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

Hadoop配置
 vim conf/masters
 master.hadoop
 
 vim conf/slaves
 slave1.hadoop
 slave2.hadoop
 
 vim conf/core-site.xml
 <configuration>
 <property>
 <name>fs.default.name</name>
 <value>hdfs://master.hadoop:9000</value>
 </property>
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/tmp/hadoop</value>
 </property>
 </configuration>
 
 vim conf/hdfs-site.xml
 <configuration>
 <property>
 <name>dfs.name.dir</name>
 <value>/home/dev/hdfs/name</value>
 </property>
 <property>
 <name>dfs.data.dir</name>
 <value>/home/dev/hdfs/data</value>
 </property>
 </configuration>
 
 mkdir -p /home/dev/hdfs/name
 mkdir -p /home/dev/hdfs/data
 
 vim conf/mapred-site.xml
 <configuration>
 <property>
 <name>mapred.job.tracker</name>
 <value>master.hadoop:9001</value>
 </property>
 </configuration>
 
 scp hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml masters slaves slave2.hadoop:~/hadoop-1.1.2/conf/
 scp hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml masters slaves slave1.hadoop:~/hadoop-1.1.2/conf/
 
 cd hadoop-1.1.2
 bin/hadoop namenode -format
启动Hadoop
运行hadoop
bin/start-all.sh
停止hadoop
bin/stop-all.sh

查看hadoop系统信息是50070端口

NameNode ==>> ip:50070
hadoop-datanode

标签:none

评论已关闭