ceph 安装

规划

操作系统 CentOS 7.4

主机名解释

在3台主机上添加 hosts

vi /etc/hosts

192.168.31.207 node-1
192.168.31.159 node-2
192.168.31.198 node-3

# 每台主机设置 hostname，这里以 node-1 为例子
hostnamectl set-hostname node-1

关闭 firewalld 和 selinux

在3台主机上操作

systemctl disable firewalld
systemctl stop firewalld

# 修改配置
vi /etc/selinux/config
SELINUX=disabled


setenforce 0

设置时间同步

在3台主机上操作

curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum install epel-release -y 
yum install ntp -y 

vi /etc/ntp.conf 
# 注释下面4行，添加阿里云时间同步服务器
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server ntp.aliyun.com iburst

service ntpd start
chkconfig ntpd on
ntpq -pn

添加 ceph 源并进行安装

在3台主机上操作

vi /etc/yum.repos.d/ceph.repo
[norch]
name=norch
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch/
enabled=1
gpgcheck=0

[x86_64]
name=x86_64
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/x86_64/
enabled=1
gpgcheck=0

yum install ceph ceph-mon ceph-mgr ceph-radosgw ceph-mds -y 

配置密钥基于ssh的认证

在 node-1上操作

# 不输入密码
ssh-keygen 

ssh-copy-id -i ~/.ssh/id_rsa.pub node-2
ssh-copy-id -i ~/.ssh/id_rsa.pub node-3
ssh-copy-id -i ~/.ssh/id_rsa.pub node-1

# 测试
ssh node-2
ssh node-3
ssh node-1

在管理节点 node-1 安装 ceph-deploy

yum install ceph-deploy python-setuptools

# 生成初始化配置
mkdir /data/ceph-deploy -p 
cd /data/ceph-deploy/

# 初始化第一个 MON 节点，若你的集群中有专门的网络可供 ceph 传输内部数据，可以指定 --cluster-network 网络
ceph-deploy new --public-network 192.168.31.0/24 node-1


#初始monitor、并收集所有密钥

ceph-deploy mon create-initial

# 把配置文件和admin密钥拷贝到Ceph集群各节点，以免得每次执行"ceph"命令行时不得不明确指定MON节点地址和ceph.client，admin.keyring
ceph-deploy admin node-1 node-2 node-3


第二次推的时候需要加参数（--overwrite-conf）：
ceph-deploy --overwrite-conf admin node-1 node-2 node-3


# 配置Manager节点，启动ceph-mgr进程(仅Luminious+版本)︰
ceph-deploy mgr create node-1

# 查看集群状态
ceph -s

把 node-1, node-2 和 node-3 上的设备 vdb 添加为 OSD

lsblk 
blkid 

ceph-deploy osd create node-1 --data /dev/sdb
ceph-deploy osd create node-2 --data /dev/sdb
ceph-deploy osd create node-3 --data /dev/sdb

# 列出指定节点上的 OSD：
ceph-deploy osd list node-1 

ceph osd tree

把 node-2,node-3 设置为监视器节点

ceph-deploy mon add node-2 
ceph-deploy mon add node-3

# 查看集群状态
ceph -s

# 查看监视器及法定人数的相关状态
ceph quorum_status --format json-pretty
ceph mon stat

扩展Manager节点

Ceph Manager 守护进程以 "Active/Standby" 模式运行，部署其它 ceph-mgr 守护程序可确保在 Active 节点或其上的 ceph-mgr 守护进程故障时，其中的一个Standby实例可以在不中断服务的情况下接管其任务。

ceph-deploy mgr create node-2 node-3