proxmox简介

官网地址：https://www.proxmox.com/en/

Proxmox Virtual Environment（Proxmox 虚拟环境）是一个完整的企业虚拟化开源平台。它带有内置的网页界面，通过这个单一的解决方案，用户可以轻松管理虚拟机和容器、软件定义的存储和网络、高可用性集群以及多种开箱即用的工具。

计算、网络、存储在一个解决方案中。

Proxmox VE（以下简称PVE）基于简洁又稳定的debian。安装好PVE以后，就拥有了集群、高可用HA、SDN等组件。除却分布式ceph组件需要额外安装，该有的功能均被默认集成，省去大量的安装与配置时间。

和其他的虚拟化平台相比，如开源的Zstack、Openstack，如闭源的深信服、青云、CNware等等。它不支持k8s，不支持FCSAN，没有DPDK/SPDK，没有计费系统、没有高级的通知告警等等。但是它又拥有集群、备份、高可用和vGPU等最基础又很重要的功能。

如：

• 备份，PVE不仅原生支持备份还原虚拟机，Proxmox公司还开源了一个专门的备份系统Proxmox Backup Server，能支持精简备份PVE，或者物理机，数据库等。
• 集群，PVE是去中心化集群，任意节点可以管理其他的节点，没有vCenter概念也不用做管理端的冗余。
• vGPU功能，PVE支持Nvidia-vGPU和摩尔线程vGPU，支持GPU直通，可极大的提高虚拟机的图形能力。

Proxmox VE第一个stable版本诞生于09年，现在已经有16个年头，能活这么多年，不仅靠用户支持，还有自身的实力够硬。

下图是Proxmox VE官方提供的组件图

我们可以看到5个重要服务

• pveproxy

web服务和api服务

• pvedaemon

pve服务核心服务

• pvestatd

pve状态监控服务，如存储集群虚拟机的状态监控。

• pve-ha-lrm

高可用本地监控服务，对应还有个crm，集群高可用监测。

• pve-cluster

集群通信服务，基于corosync。

开源介绍

PVE使用AGPL V3开源许可证，允许作为商业用途。其源代码托管在https://git.proxmox.com，用户可以自己根据源代码精简或增加功能。

开源可以自己编译代码软件，获得最新的开源软件和功能，在此前提下，也完全不存在进出口管理限制的问题，同样如果觉得功能不满意，也可以组件开发团队进行二次开发，自己修复漏洞。

PVE的源代码主要有4种语言。后端使用perl，现在开始逐渐使用rust了，前端使用extjs，集群和其他少数的服务使用c语言构成。

已经有厂商在官方原版的基础上完成了对Arm64和龙芯的适配。项目开源在github，地址为

https://github.com/jiangcuo/Proxmox-Port

重要的是Proxmox VE 免费可商用。0软件的成本，可以为企业节省成本或者创造巨大的利润空间。

在国际形势严峻的今天，使用开源的Proxmox VE配合国产硬件是一种具有性价比的方案。

一些特性限制

集群节点数量限制

集群内节点最大的数量

Proxmox VE使用corosync进行节点通讯。corosync建议最多为32个节点，在实际生产中，有人超过了32个节点也不存在问题。高于6.0的proxmox ve使用Kronosnet单播，在节点数量多的情况下，可能会出现单播泛洪，随后导致集群异常。因此如果节点数量太多，建议使用多集群统一管理，而不是全部在一个集群下面。

集群的存活节点最少数量

Proxmox VE使用quorum投票机制，简单来说存活的节点要比离线的节点数量多，才能满足集群健康的要求。

节点一个集群有3个节点，那么最少2个节点存活，才能满足节点健康，有个简单的公式。

集群总数=2*离线节点+1

如果集群总数为20，那么21/2=10.5，因为没有0.5个节点，所以可离线节点为10个，最少存活数量为11个。如果存活节点少于11个，则集群会处于只读状态。期间不可创建新的任务。

磁盘数量限制

Proxmox VE在x86_64上使用i440fx和q35作为机型，在非x86_64上是用virt作为机型，不同的机型具有不同的磁盘数量限制。见下表

此限制可以参考下面链接

https://github.com/proxmox/qemu-server/blob/812d22ee2119686fab6214a2cbaa696afadb906f/PVE/QemuServer/Drive.pm#L34

PS:

1. 磁盘编号是从0开始的。ide3是最后一个ide。
2. 如果使用cloud-init,可能会占用一个IDE的位置。
3. 在非x86_64平台上，IDE已经被弃用了，所以虚拟机是无法使用IDE设备的。如果光驱、cloud-init被配置成ide，则虚拟机无法开机。

ZFS的内存限制

默认情况下ZFS会使用主机内存一半的容量作为ARC缓存。很多新手同学总是掉这个坑，发现虚拟机开着开着内存就爆了。

要立即限制可以使用以下命令，将限制为最多使用10G内存。

echo "$[10 * 1024*1024*1024]" >/sys/module/zfs/parameters/zfs_arc_max
#  这是一次性的解决方法

将配置写进/etc/modprobe.d中,根解的方法

echo "options zfs zfs_arc_max="$[10 * 1024*1024*1024]"" >/etc/modprobe.d/zfs.conf
update-initramfs -u -k all

执行如下命令回收内存

echo 3 > /proc/sys/vm/drop_caches

网卡、PCI和USB数量限制

这里USB有2种情况，当机型版本>=7.1，ostype为l26或者>win7时和开启 usb3时，支持14个，否则只能是5个。此功能在qemu-server >=7.2-7时支持。

参考链接：

https://github.com/proxmox/qemu-server/blob/989b718a4578633c06b6ac453d1a5a124b680935/debian/changelog

tpm快照支持

管TPM是位于文件存储还是块存储，TPM始终是块设备，在文件存储上格式就是RAW，因此如果TPM位于文件存储上，那么带有TPM的设备是无法快照的。

如下图我们配置了一个TPM，R5是一个文件存储，他的格式是raw，进行快照时提示该虚拟机不支持快照。

所以如果要使用TPM且需要快照，请把tpm放置到可快照的后端，如LVM-thin,ceph-rbd,zfs-zvol。