HPDFS on Docker

Hadoop伪分布式文件系统

HPDFS:Hadoop Pseudo Distributed File System，是我自己构建的Docker HDFS镜像，可以快速搭建一个Hadoop伪分布式文件系统，适合初学者和探索学习、或者测试，不能用于生产环境。

GitHub地址：Dockerq/docker(https://github.com/dockerq/docker-hdfs) by adolphlwq(https://github.com/adolphlwq)

Step

1. 安装必备软件，并配置好Java环境变量

• openssh-server
• openssh-client
• rsync
• openjdk-8-jre
• curl
• sudo

2. 下载解压hadoop 2.6.0

3. 修改SSH配置

• 允许root登录：sed -i "28s/.*/PermitRootLogin yes/g" /etc/ssh/sshd_config（Dockerfile中）
• 修改sshd的端口（容器net模式为host时，并且主机也运行sshd时会冲突）
• 取消主机验证：sed -i "35s/.*/ StrictHostKeyChecking no/g" /etc/ssh/ssh_config（entrypoint.sh中）
• ssh无密码登录到localhost

4. 下面就可以构建/运行镜像了

Usage

1. quick start

docker run -d --net host --name hdfs dockerq/docker-hdfs

浏览器浏览 localhost:50070查看HDFS的WebUI界面

2. 挂载数据卷

容器中hdfs的datanode和namenode默认文件夹是/hdfsdata

docker run -d --name --net host -v host_data_path:/hdfsdata dockerq/docker-hdfs

3. 修改sshd默认端口

docker run -d --net host -e SSH_PORT=2222 --name hdfs dockerq/docker-hdfs