好看的课外书,将夜猫腻小说

#### 說明

##### 推薦配置

* 系統(tǒng)：CentOS 7.0+ 標(biāo)準(zhǔn)版

* CPU：4核

* 內(nèi)存：8G

* 網(wǎng)卡：雙千兆

* 系統(tǒng)盤：40G

* 帶寬：1000M

* 可建實(shí)例數(shù)：5個(gè)

* 實(shí)例帶寬最大值：200M

* 數(shù)據(jù)盤：50G，可以使用共享存儲(chǔ)作為數(shù)據(jù)盤

**注意：**

最少5臺(tái)服務(wù)器，4臺(tái)存儲(chǔ)，1臺(tái)實(shí)例服務(wù)器，需要在同一節(jié)點(diǎn)下

##### 架構(gòu)圖

![](https://upload.apayun.com/2020/04/5eaa39d3bf4f5.png?token=FkkyPZ85iOyxosPBbzSMhw&expires=1731679106)

##### 架構(gòu)思維導(dǎo)圖

![](https://upload.apayun.com/2020/01/5e16fab9d79d1.png?token=_bZicb1gHlMYEPy-poHn7g&expires=1731679106)

#### glusterfs共享存儲(chǔ)部署

#####  1.1 存儲(chǔ)規(guī)劃

**注意：**

最少4臺(tái)內(nèi)網(wǎng)互通的存儲(chǔ)節(jié)點(diǎn)的服務(wù)器，節(jié)點(diǎn)IP根據(jù)實(shí)際情況更改，最低配置建議如下

| 節(jié)點(diǎn)序號(hào) | 節(jié)點(diǎn)名稱       | 節(jié)點(diǎn)IP(內(nèi)網(wǎng)) | 帶寬（內(nèi)網(wǎng)） | CPU  | 內(nèi)存 | 存儲(chǔ)容量 | 數(shù)據(jù)目錄 |
| -------- | -------------- | ------------ | ------------ | ---- | ---- | -------- | -------- |
| 1        | slb-storage-01 | 10.23.10.224 | 千兆以上     | 2核  | 2GB  | 50GB     | /data    |
| 2        | slb-storage-02 | 10.23.10.225 | 千兆以上     | 2核  | 2GB  | 50GB     | /data    |
| 3        | slb-storage-03 | 10.23.10.226 | 千兆以上     | 2核  | 2GB  | 50GB     | /data    |
| 4        | slb-storage-04 | 10.23.10.227 | 千兆以上     | 2核  | 2GB  | 50GB     | /data    |

數(shù)據(jù)副本：RP2/Distributed Replicated Volumes

##### 1.2 部署過程

以下操作如無特殊說明，均在所有節(jié)點(diǎn)執(zhí)行。

**配置主機(jī)名解析**

主機(jī)名寫入hosts文件

```shell
cat >> /etc/hosts << EOF
10.23.10.224 slb-storage-01
10.23.10.225 slb-storage-02
10.23.10.226 slb-storage-03
10.23.10.227 slb-storage-04
EOF
 ```

**配置yum源**

添加glusterfs軟件包安裝源

```shell
cat > /etc/yum.repos.d/CentOS-Gluster-3.12.repo << EOF
[centos-gluster312]
name=CentOS-$releasever - Gluster 3.12
baseurl=http://mirrors.aliyun.com/centos/\$releasever/storage/\$basearch/gluster-3.12/
enabled=1
gpgcheck=0
EOF
yum clean all;yum makecache
 ```

**系統(tǒng)時(shí)間校準(zhǔn)**

依次輸入以下命令

```shell
yum erase ntp ntpdate -y
yum install chrony -y
rm -f /etc/ntp.*
systemctl start chronyd.service
```

**安裝 glusterfs軟件包**

```shell
# 安裝glusterfs
yum install -y glusterfs-server 
yum install -y glusterfs-geo-replication
# 添加到開機(jī)啟用、啟動(dòng)服務(wù)
systemctl enable glusterd;systemctl start glusterd
```

**防火墻端口開放**

```shell
# 開放端口
# 也可指定ip加端口訪問 firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="你的ip" port protocol="tcp" port="開放的端口" accept"
firewall-cmd --zone=public --add-port=24007/tcp --permanent
# 重新載入策略
firewall-cmd --reload
```

**配置主機(jī)池**

在其中一臺(tái)上操作將其余三臺(tái)加入主機(jī)池

```shell
gluster peer probe slb-storage-01
gluster peer probe slb-storage-02
gluster peer probe slb-storage-03
gluster peer probe slb-storage-04
```

查看主機(jī)池中主機(jī)狀態(tài)

```shell
gluster peer status
```

![](https://upload.apayun.com/2019/05/5cebc38f5b017.png?token=zPgsFpvzIyHjKPfIKbPx1Q&expires=1731679106)

**創(chuàng)建glusterfs卷**

將用來做分布式存儲(chǔ)的數(shù)據(jù)盤格式化為xfs文件系統(tǒng)，并掛載到/data

```shell
# 格式化為xfs
mkfs.xfs -f /dev/sdb1
# 如果默認(rèn)已經(jīng)掛載，只需修改即可
echo "/dev/sdb1	/data xfs defaults 0 0" >> /etc/fstab
# 掛載
mkdir /data && mount /dev/sdb1 /data
```

**GlusterFS 五種類型的卷：**

- Distributed 分布式卷
 * Replicated 復(fù)制式卷
 * Striped 條帶式卷
 * Distributed Striped 分布式的條帶卷
 * Distributed Replicated 分布式的復(fù)制卷

負(fù)載均衡業(yè)務(wù)主要使用來存儲(chǔ)配置，日志等數(shù)據(jù)文件，選擇Distributed Replicated 卷類型。
在其中一臺(tái)上操作創(chuàng)建分布式卷

```shell
gluster volume create slb-volume slb-storage-01:/data slb-storage-03:/data force
```

啟動(dòng)卷，并查看卷信息

```shell
gluster volume start slb-volume
gluster volume info slb-volume
 ```

![](https://upload.apayun.com/2019/05/5cebc3a25b9ef.png?token=nUhsxMc7YP67Y1j7qJIB-w&expires=1731679106)

創(chuàng)建分布式復(fù)制卷

```shell
gluster volume stop slb-volume
gluster volume add-brick slb-volume replica 2 slb-storage-02:/data slb-storage-04:/data force
gluster volume start slb-volume
gluster volume info slb-volume
 ```

![](https://upload.apayun.com/2019/05/5cebc3af458c0.png?token=tGiGM7OElguaz1fhWWxKTg&expires=1731679106)

**檢測分布式存儲(chǔ)**

查看端口
	
```shell
ss -tpl|grep glusterfsd
```

![](https://upload.apayun.com/2020/08/5f2cff1199683.png?token=DeF544l-YrwxBbqz3DkdfQ&expires=1731679106)

```shell
# 開放端口，根據(jù)自己所使用的端口開放。開放端口每個(gè)節(jié)點(diǎn)都需要操作
firewall-cmd --zone=public --add-port=49152/tcp --permanent
# 重新載入策略
firewall-cmd --reload
```

在任意節(jié)點(diǎn)操作-創(chuàng)建實(shí)例目錄
	 
```shell
mount.glusterfs slb-storage-01:/slb-volume /mnt/
mkdir -p /mnt/group01
mkdir -p /mnt/group02
ls -l /mnt/
注意：這里需要按照虛擬組數(shù)量來創(chuàng)建(當(dāng)前虛擬組規(guī)劃有2個(gè))
```

#### 負(fù)載均衡部署

安裝負(fù)載均衡受控的服務(wù)器必須需要配置內(nèi)網(wǎng)，且網(wǎng)卡名稱必須為eth0(外網(wǎng))、eth1(內(nèi)網(wǎng))

**配置主機(jī)名解析**

主機(jī)名寫入hosts文件
	 
```shell
cat >> /etc/hosts << EOF
172.23.10.224 slb-storage-01
172.23.10.225 slb-storage-02
172.23.10.226 slb-storage-03
172.23.10.227 slb-storage-04
EOF
```

**配置yum源**

添加glusterfs軟件包安裝源
	 
```shell
cat > /etc/yum.repos.d/CentOS-Gluster-3.12.repo << EOF
[centos-gluster312]
name=CentOS-$releasever - Gluster 3.12
baseurl=http://mirrors.aliyun.com/centos/\$releasever/storage/\$basearch/gluster-3.12/
enabled=1
gpgcheck=0
EOF
yum clean all;yum makecache
```

**系統(tǒng)時(shí)間校準(zhǔn)**

依次輸入以下命令

```shell
yum erase ntp ntpdate -y
yum install chrony -y
rm -f /etc/ntp.*
systemctl start chronyd.service
# 安裝 glusterfs 軟件包
yum -y install glusterfs-fuse.x86_64
```

**使用共享存儲(chǔ)**

負(fù)載均衡節(jié)點(diǎn)可以使用任意一個(gè)存儲(chǔ)節(jié)點(diǎn)名稱來掛載存儲(chǔ)，也可以使用代理網(wǎng)關(guān)或配置VIP的方式為應(yīng)用提供接入。

```shell
mkdir -p /data/nyslb
# mount 掛載到slb-storage-01節(jié)點(diǎn)的本地目錄/data/nyslb下
mount -t glusterfs slb-storage-01:/slb-volume/group01 /data/nyslb
```

##### 2.1 Nginx部署

**軟件包**

軟件包可在 shsolar88.cn 的：產(chǎn)品->軟件列表->管理->下載系統(tǒng)中下載

**安裝**

輸入以下命令

```shell
mkdir /data/app
tar -xzvf nynginx.tar.gz -C /data/app  
ln -s /data/app/nginx-1.12.1/ /data/app/nginx
ll /data/app
```

![](https://upload.apayun.com/2019/05/5ce3a95c6fde8.png?token=tacA00l8j7KTHx8z4qPxQw&expires=1731679106)

輸入命令：

```shell
useradd nginx
```

#####  2.2 被控部署

**被控配置說明**

產(chǎn)品序列號(hào)需登錄阿帕云用戶中心，進(jìn)入產(chǎn)品-阿帕云負(fù)載均衡受控端-管理，進(jìn)行獲取
	
  配置路徑：`/usr/local/nyslbd/conf/config.ini`

| 變量名        | 說明                                                         |
| ------------- | ------------------------------------------------------------ |
| number        | 產(chǎn)品序列號(hào)                                                   |
| vip           | 被控監(jiān)聽的外網(wǎng)ip，與平臺(tái)通訊，由keepalived啟動(dòng)和管理         |
| port          | 被控監(jiān)聽的端口，默認(rèn)8675                                     |
| thread_count  | 被控http處理線程數(shù)，默認(rèn)20                                   |
| type          | keepalived角色，取值master（主）或backup（備）               |
| local_host    | 本端機(jī)器hostname，cat /etc/hostname可查看                    |
| remote_host   | 對(duì)端機(jī)器hostname，cat /etc/hostname可查看                    |
| m_priority    | keepalived主節(jié)點(diǎn)優(yōu)先級(jí)參數(shù)，必須填150。主備機(jī)器填寫相同      |
| b_priority    | keepalived備節(jié)點(diǎn)優(yōu)先級(jí)參數(shù)，必須填100。主備機(jī)器填寫相同      |
| group_id      | keepalived組id，第一組（主和備）填寫1，第二組（主和備）填寫2 ... 以此類推 |
| gateway       | vip的網(wǎng)關(guān)                                                    |
| card          | keepalived檢查機(jī)制使用的網(wǎng)卡，必須填寫eth1                   |
| mask          | vip的掩碼，必須填寫24                                        |
| path          | 被控?cái)?shù)據(jù)庫文件路徑，必須填寫/data/nyslb/sqlite/slb.db        |
| cpu           | cpu峰值，表示達(dá)到此峰值，本機(jī)器禁止創(chuàng)建實(shí)例                  |
| mem           | 內(nèi)存峰值，表示達(dá)到此峰值，本機(jī)器禁止創(chuàng)建實(shí)例                 |
| load          | 系統(tǒng)負(fù)載峰值，表示達(dá)到此峰值，本機(jī)器禁止創(chuàng)建實(shí)例             |
| net_bandwidth | 系統(tǒng)當(dāng)前帶寬峰值，表示當(dāng)前系統(tǒng)帶寬達(dá)到此峰值，本機(jī)器禁止創(chuàng)建 |
| instance_num  | 表示本系統(tǒng)可承載實(shí)例數(shù)                                       |
| bandwidth     | 填寫本機(jī)器外網(wǎng)網(wǎng)卡的最大帶寬值                               |

一鍵安裝，復(fù)制以下代碼粘貼到終端運(yùn)行即可：

```shell
Install_Path=/data bash -c "$(curl -L -k https://download.apayun.com/zkeys/loadbalance/nyslb_install.sh)"
```

![](https://upload.apayun.com/2019/10/5daec064b34d4.png?token=41ym0N5-6kPqOZlZ9yUccw&expires=1731679106)

**資源監(jiān)控**

**配置說明**

配置文件路徑：`/usr/local/nyslb_collectd/conf/nyslb_collect.ini`

| 變量名 | 說明                                                 |
| ------ | ---------------------------------------------------- |
| number | 產(chǎn)品序列號(hào)                                           |
| vip    | 被控監(jiān)聽的外網(wǎng)ip，與平臺(tái)通訊，由keepalived啟動(dòng)和管理 |
| mask   | vip的掩碼                                            |

一鍵安裝，復(fù)制以下代碼粘貼到終端運(yùn)行即可：

```shell
Install_Path=/data bash -c "$(curl -L -k https://download.apayun.com/zkeys/loadbalance/Nyslb_collect_install.sh)"
```

![](https://upload.apayun.com/2020/01/5e16ef887d00e.png?token=vGgRXg0NzL6sBrzqCCCkww&expires=1731679106)

**數(shù)據(jù)目錄說明**

```
/data/nyslb/firewalld：防火墻配置文件備份
/data/nyslb/keepalived/{master|backup}：keepalived配置文件
/data/nyslb/keepalived/backup/	keepalived備份配置文件目錄
/data/nyslb/sqlite/：sqlite文件
/data/nyslb/tc_history：tc操作歷史記錄
/data/nyslb/user_ceritficate：用戶https證書
/data/nyslb/user_instance：用戶實(shí)例配置文件
```

![](https://upload.apayun.com/2019/05/5cebc3f87ac51.png?token=gYVS9xoQksgM-z-2Djh7OA&expires=1731679106)

#### 維護(hù)指南

##### 3.1 被控程序檢查

```shell
ps -aux | grep /usr/local/nyslbd/nyslb
```

示例圖

![](https://upload.apayun.com/2019/10/5daec3a00512c.png?token=u16JmTCcbPYqsoZK0jMeQQ&expires=1731679106)

##### 3.2 keepalived程序檢查

```shell
ps -aux | grep keepalived
```

示例圖

![](https://upload.apayun.com/2019/10/5daec42ca4de2.png?token=m7MrPfwWU9Avhe7JGucwaA&expires=1731679106)

##### 3.3 被控vip檢查

```shell
ip a | grep {vip}
```

示例圖

![](https://upload.apayun.com/2019/10/5daec4cd616b2.png?token=z6WpyDWAV1IE2uxnyuODOQ&expires=1731679106)

##### 3.4 資源監(jiān)控程序檢查

```shell
ps -aux | grep /usr/local/nyslb_collectd/nyslb_collect
```

示例圖

![](https://upload.apayun.com/2019/10/5daec4ff0a516.png?token=XlCysGoleb2IA4XYGvueug&expires=1731679106)

阿帕云引擎

云引擎受控端

云引擎控制器

云引擎開放API

文檔首頁

負(fù)載均衡受控端

負(fù)載均衡部署指南

18+

1000+

30+

5+