AIO：0. PVE
本系列为我的 J4125 搭建 ALL IN BOOM 的摸索笔记。
自用备份，不是什么详尽的教程。
更换企业源
付费订阅才能使用企业源，否则需要更换非订阅源才能正常更新 PVE。
PVE -> 更新 -> 存储库
禁用 https://enterprise.proxmox.com/debian/pve
添加 No-Subscription
关闭 KSM
在内存冗余的情况下，关闭 KSM （内存去重）以节省 CPU 开销。
systemctl disable ksmtuned
systemctl stop ksmtuned
删除 local-lvm 并把空间合并至 local
PVE 系统盘是傲腾，所以磁盘性能根本不在考虑范围，为了方便管理索性直接合二为一。
数据中心 -> 存储 -> local-lvm：删除；
数据中心 -> 存储 -> local -> 编辑 -> 内容：勾选所有内容；
lvremove /dev/pve/data
lvextend -rl +100%FREE /dev/pve/root
开启 PCI 直通
对于使用 GRUB 引导的系统（安装磁盘格式使用 ext4）
- 修改 grub
vi /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"
- 添加内核模块
vi /etc/modules
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd
update-grub
update-initramfs -u -k all
- 重启
对于使用systemd-boot引导的系统（安装磁盘格式使用 ZFS）
- 修改
kernel commandline
vi /etc/kernel/cmdline
root=ZFS=rpool/ROOT/pve-1 boot=zfs intel_iommu=on
/etc/kernel/postinst.d/zz-proxmox-boot
update-initramfs -u -k all
- 重启
给垃圾 RTL 8125B 网卡更换官方驱动
默认的驱动是r8169，有断流情况。
建议使用此仓库中的驱动，该驱动启用了TX多队列及RSS并禁用ASPM。
确保 PVE 的软件源没问题。
apt update && apt upgrade # 更新 PVE
reboot # 重启以进入最新内核
安装内核头
headers=$(dpkg -l | awk '/^ii.+kernel-[0-9]+\.[0-9]+\.[0-9]/{gsub(/-signed/, ""); gsub(/kernel/, "headers"); print $2}' | tr "\n" " ")
eval apt install -y $headers
之后把仓库中的软件包安装上去，安装过程略。
可通过ethtool -i enp3s0查看当前驱动，其中enp3s0为网口。
应该还是r8169，这样的话还需要屏蔽r8169，更新引导。
echo 'blacklist r8169' >> /etc/modprobe.d/blacklist-r8169.conf
update-grub # 非 GRUB 启动参考上面操作即可
update-initramfs -u -k all
reboot
重启后可再次通过ethtool -i enp3s0确认驱动；
及通过cat /proc/interrupts | grep -P 'enp3s0|CPU0'查看中断数。
此时可在虚拟机的VirtIO网卡中设置Multiqueue了。
在虚拟机中可使用ethtool -l eth0来验证开启网卡多队列。
创建虚拟机
全虚拟化是很吃性能的，尽量使用 Virtio（半虚拟化）。
Windows 需要安装驱动，下载地址。
各 SCSI 控制器：VirtIO SCSI single
系统 -> 机型：q35
磁盘 -> 格式：raw，缓存：Write back（不安全）
CPU -> 类别：host / Host，启用NUMA
对于磁盘格式，raw固然是性能最好的，但qcow2也不错，性能不比raw差多少，而且支持快照等功能。
对于磁盘缓存，Write through优化了读取性能，Write back优化了读写两者。
建议：Windows/OS X 使用raw+Write back；Linux等系统使用qcow2+Write through。
给虚拟机开启 virtio-gl
virtio-gl，通常称为 VirGL，是一种用于虚拟机内部的虚拟 3D GPU，可以将工作负载卸载到主机 GPU，而无需特定的驱动程序，也不会完全绑定主机 GPU，从而允许在多个客户机和或主机之间重用。
需要给 PVE 宿主机安装额外的软件包。
apt install libgl1 libegl1
然后在虚拟机的硬件 -> 显示选择VirGL GPU。
允许外部 VNC 访问虚拟机画面
允许外部的 VNC Viewer 远程连接 VM ID 为 100 的虚拟机，IP 为 PVE 物理机所在 IP，端口为5901。
qm set 101 -args "-vnc :1"
RDM 裸磁盘映射
不能直通控制器的情况下使用 RDM 裸磁盘映射，缺点是虚拟机内查看不了硬盘的 smart 信息。
查看需要映射的磁盘的 ID。
ls -la /dev/disk/by-id/|grep -v dm|grep -v lvm|grep -v part
输出例如：
drwxr-xr-x 2 root root 300 Aug 10 23:03 .
drwxr-xr-x 7 root root 140 Aug 10 23:03 ..
lrwxrwxrwx 1 root root 13 Aug 10 23:02 nvme-eui.5cd2e4bf63af0100 -> ../../nvme0n1
lrwxrwxrwx 1 root root 13 Aug 10 23:02 nvme-INTEL_SSDPEK1A118GA_BTOC14120WMP118B -> ../../nvme0n1
修改此命令：
qm set <vmid> --scsiX /dev/disk/by-id/xxxxxxx
例如：
qm set <vmid> --scsi2 /dev/disk/by-id/nvme-eui.5cd2e4bf63af0100
备份/还原虚拟机
直接在对应虚拟机的备份页面中进行备份，备份文件在/var/lib/vz/dump/，还原时在此处导入文件即可。
参考
Proxmox VEで無償版リポジトリを設定する ProxmoxVE 合并local和local-lvm分区 PVE开启硬件直通功能 Enabling IOMMU on PVE6 (zfs) compared to PVE5.4 (ext4)? PVE 8 安装 ReakTEK RTL8125B 2.5G网卡驱动 Proxmox VE开启网卡多队列 Display Proxmox VE与VNC Proxmox VE pve硬盘直通