LVS负载均衡及LVS-NAT部署

一、集群概述

1.1 集群的背景

集群定义：为解决某个特定问题将多个计算机组合起来形成一个单系统

集群目的：为了解决系统的性能瓶颈

集群发展历史：
垂直扩展：向上扩展，增加单个机器的性能，即升级硬件
水平扩展：向外扩展，增加设备。并行的运行多个服务，通过网络和算法来调度服务分配的问题

1.2 集群的类型

负载均衡集群：LB(loab blance)，由多个主机组成，每个主机只承担一部分访问请求。主要靠负载均衡算法来实现
高可用集群：HA(high availiablity)，避免SPOF(single point of failure)单点故障。系统当中有一部分组件出现故障，可以保障整个系统继续运行
高性能集群：HPC(hish-performance computing)，快速转发,快速响应

1.3 集群的可靠性指标

MTBF：mean time between failure，系统在正常运行期间无故障的平均时间，一般用小时或者天数来表示。MTBF值越高，系统的可靠性越高，出现故障的概率也越小
MTTR：系统从发生故障到恢复正常运行的平均时间，一般用小时或者天数表示，MTTR值越小，说明系统恢复故障的能力越强
A：系统的可靠性指标，A值越高越好

三者关系：A=MTBF/(MTBF+MTTR)

停机时间：

计划内停机：指预定时间内的维护或者检修时间

计划外停机：运维人员主要关注

1.4 设计集群的原则

1、可扩展性：集群要有随时可以添加或者删除设备的能力以及动态地扩缩容
2、可靠性：集群中如果有节点发生故障，可以快速检测并且自动切换
3、负载均衡：合理地分配负载，避免单个节点过载，影响整体性能
4、可维护性：能够方便地进行配置、维护、监控，降低成本
5、安全性：防止恶意攻击以及数据泄露、丢失
6、易用性：相关的工作人员可以方便地进入集群，能够快速地开发、部署、测试等等

二、LVS虚拟服务器

2.1 LVS概述

Linux Virtual Server：是一个部署在Linux系统通过内核层面实现负载均衡的软件

主要作用：多个后端服务器组成一个高可用、高性能、负载均衡的高性能集群。通过负载均衡的算法将客户端请求发送到后端服务器

LVS集群当中的术语：

vs(virtual server)：lvs服务的逻辑名字，外部访问lvs集群时提供的一个虚拟ip地址和端口
DS(Directop server)：lvs集群当中的主服务器，也叫调度器，是整个lvs集群的核心，接受客户端的请求转发到后端RS
RS(real server)：lvs的后端的真实服务器的ip，接收到了DS的请求之后返回响应结果
CIP(client ip)：客户端的ip地址
VIP(virtual ip)：对外提供访问的同一虚拟IP地址
DIP(Director ip)：调度器在lvs内部使用的ip地址，用于和真实服务器进行通信
RIP：后端真实服务器的ip地址

2.2 LVS访问流程

客户端访问都是访问vip
DS接收到请求，根据调度算法选择好后端服务器(rs)
RS处理请求并将响应发送到DS
DS把RS的响应包装成自己响应，发送到客户端

这种情况下，客户端既不知道请求的真实服务器，也不知道响应的服务器

2.3 LVS的负载均衡方式

NAT（Network Address Translation）：地址转换，访问的是vip，进入集群，调度器来选择一台后端的真实服务器，然后转发到真实服务器；响应过程是先到调度器，调度器做地址转换，再把响应发送到客户端。
DR（Direct Routing）：直接路由模式，在LVS集群和后端服务器之间建立一个虚拟接口，将客户端请求直接发送到后端服务器，并将后端服务器返回的响应包通过LVS集群进行转发。
TUN（Tunneling）：隧道协议，将客户端请求通过LVS集群中的一个IP地址和端口号发送到后端服务器，同时在LVS集群和后端服务器之间建立一个隧道进行数据传输。

其中NAT和DR是最常用的方式

2.4 LVS集群的设置

ipvasdm工具：管理ipvs内核模块的命令行工具，可用于配置和管理lvs集群

ipvasdm工具常用选项:

-A：添加虚拟服务器

-D：删除整个虚拟服务器

-s：指定负载调度的算法

rr：轮询
wrr：加权轮询
dh：目的地址hash，根据ip地址查找静态hash表，获取需要真实的RS的地址
sh：源地址hash
lc：最小连接数调度
wlc：加权最小连接数调度，权重高的，转发的就多，为了避免性能瓶颈，再跟上最小连接数分配，可以把请求往连接数量较小的服务器继续转发
lblc：基于地址的最小连接数调度，将来自同一个目的地址的请求分配给RS，如果这台服务器尚未满负荷，就会把请求分配给连接数最小的RS，而且在下一次转发时会优先考虑这台RS

-a：添加真实服务器

-d：删除真实服务器

-t：指定VIP地址的端口号

-r：指定RIP的端口号

-m：表示使用nat模式

-g：表示使用DR模式

-i：表示使用TUN模式

-w：设置真实服务器的权重

-p 60：设置连接保持的时间60s

三、LVS-NAT部署实操

实验配置：
20.0.0.10：调度器内网网卡
12.0.0.1：调度器外网网卡
20.0.0.40：nfs共享存储
20.0.0.61：web集群1
20.0.0.62：web集群2
20.0.0.20：访问客户端

配置nfs服务器

40、61、62：
yum -y install nfs-utils rpcbind
40：
[root@pup4 ~]# cd /opt
[root@pup4 opt]# mkdir pup benet
[root@pup4 opt]# chmod 777 /opt/kgc/ /opt/benet/
[root@pup4 opt]# echo "this is pup" > /opt/pup/index.html
[root@pup4 opt]# echo "this is benet" > /opt/benet/index.html
[root@pup4 opt]# vim /etc/exports
--添加--
/opt/pup 20.0.0.0/24(rw,sync)
/opt/benet 20.0.0.0/24(rw,sync)

[root@pup4 opt]# systemctl restart rpcbind
[root@pup4 opt]# systemctl restart nfs
[root@pup4 opt]# exportfs -rv
exporting 20.0.0.0/24:/opt/benet
exporting 20.0.0.0/24:/opt/pup

配置web服务器

61：
[root@nginx1 ~]# systemctl restart rpcbind
[root@nginx1 ~]# systemctl restart nfs
[root@nginx1 ~]# showmount -e 20.0.0.40
Export list for 20.0.0.40:
/opt/benet 20.0.0.0/24
/opt/pup   20.0.0.0/24
[root@nginx1 ~]# mount 20.0.0.40:/opt/pup /usr/local/nginx/html
[root@nginx1 ~]# systemctl restart nginx
62：
[root@nginx2 ~]# systemctl restart rpcbind
[root@nginx2 ~]# systemctl restart nfs
[root@nginx2 ~]# showmount -e 20.0.0.40
Export list for 20.0.0.40:
/opt/benet 20.0.0.0/24
/opt/pup   20.0.0.0/24
[root@nginx2 ~]# mount 20.0.0.40:/opt/benet /usr/local/nginx/html
[root@nginx2 ~]# systemctl restart nginx

61、62相同操作：
[root@nginx1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
--修改--
GATEWAY=20.0.0.10
#DNS1=218.2.135.1

[root@nginx1 ~]# systemctl restart network

配置调度器

[root@pup1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
--修改--
#GATEWAY=20.0.0.2
#DNS1=218.2.135.1

[root@pup1 network-scripts]# cp ifcfg-ens33 ifcfg-ens36
[root@pup1 network-scripts]# vim ifcfg-ens36

[root@pup1 network-scripts]# systemctl restart network
[root@pup1 network-scripts]# iptables -t nat -A POSTROUTING -s 20.0.0.0/24 -o ens36 -j SNAT --to 12.0.0.1

[root@pup1 network-scripts]# yum install ipvsadm* -y
[root@pup1 yum.repos.d]# ipvsadm -A -t 12.0.0.1:80 -s rr
[root@pup1 yum.repos.d]# ipvsadm -a -t 12.0.0.1:80 -r 20.0.0.61:80 -m
[root@pup1 yum.repos.d]# ipvsadm -a -t 12.0.0.1:80 -r 20.0.0.62:80 -m
[root@pup1 yum.repos.d]# ipvsadm-save>/etc/sysconfig/ipvsadm
[root@pup1 yum.repos.d]# systemctl restart ipvsadm.service

[root@pup1 yum.repos.d]# vim /etc/sysctl.conf
--添加--
net.ipv4.ip_forward = 1

[root@pup1 yum.repos.d]# sysctl -p
net.ipv4.ip_forward = 1

验证

20.0.0.20客户端网卡配置：