1.
硬件选型:为CN2环境打好基础
- 选择合适CPU:Intel Xeon E5/E3或AMD EPYC,根据负载选择核心与频率。
- 内存与缓存:生产环境建议64GB起步,数据库或缓存节点建议128GB以上。
- 存储类型:优先NVMe/PCIe3/4,随机IO关键场景IOPS>200k时选择企业级NVMe。
- 网络接口:至少1Gbps物理口,推荐10Gbps或以上;注意支持SR-IOV和多队列(RSS)。
- 实例举例:Xeon E5-2650 v4, 12C/24T, 64GB DDR4, NVMe 1TB, 1Gbps保证带宽(CN2直连)。
2.
操作系统与内核调优(具体参数示例)
- 采用稳定内核:推荐使用4.14以上或5.x(生产可选长期支持内核)。
- 激活BBR拥塞控制:echo "tcp_bbr" > /etc/modules-load.d/bbr.conf 并设置 net.ipv4.tcp_congestion_control=bbr。
- 网络缓冲区与并发连接:
sysctl -w net.core.rmem_max=16777216
sysctl -w net.core.wmem_max=16777216
sysctl -w net.ipv4.tcp_rmem="4096 87380 16777216"
sysctl -w net.ipv4.tcp_wmem="4096 65536 16777216"
- 连接队列与SYN参数:
sysctl -w net.core.somaxconn=65535
sysctl -w net.ipv4.tcp_max_syn_backlog=40960
echo 1 > /proc/sys/net/ipv4/tcp_syncookies
- 文件句柄与服务优化:ulimit -n 200000;nginx worker_connections 65536,keepalive_timeout 15。
3.
网络路径与CN2优化策略
- 了解CN2特性:CN2(China Telecom Next Carrying Network)GIA专线通常提供更稳定低抖动的跨境路线。
- 路由选择:通过BGP多线或策略路由优先走CN2:配置BGP邻居并在上游要求CN2出口。
- MTU与MSS调整:若链路支持,可启用9000 MTU(jumbo frames)提高吞吐;否则保持1500并启用MSS clamping。
- 延迟优化示例数据:案例A(游戏服)从常规线路RTT 68ms -> CN2直连RTT 22ms,丢包率<0.1%。
- 带宽测试:使用iperf3,单线程在1Gbps口典型可达930-950Mbps;调优后并发双向测试可达1.8Gbps(双向聚合)。
4.
CDN、缓存与负载分担实务
- CDN边缘与回源策略:将静态资源放到台湾/香港/中国内地多个节点,回源使用HTTP缓存头或Etag。
- 缓存层级:本地Cache(Redis/Memcached)+反向代理(Nginx/HAProxy)+全球CDN。
- 缓存命中率影响带宽:案例B(电商)接入CDN后origin带宽峰值下降60%,CPU利用率下降40%。
- 负载均衡配置:四层LB处理TCP(保持源IP),七层LB做HTTP路由、限速和熔断。
- 静态加速建议:开启gzip/ brotli,利用缓存策略延长Cache-Control到7天对静态资源。
5.
DDoS防御与可用性方案
- 防护分级:边界防护(上游清洗+CDN)、主机防护(iptables/nftables)和应用层限流。
- 常用策略:启用SYN cookies、限制新连接速率(xt_recent/limit)、黑白名单。
- 专业清洗与云防护:在高风险场景使用上游清洗(按峰值计费),并与CDN供应商协作。
- 自动化检测:部署FastNetMon或自研流量分析,通过sFlow/NetFlow触发策略切换到清洗线路。
- 案例C:遭受UDP放大攻击峰值120Gbps,上游清洗后回落至正常流量,并对涉事源IP实施黑洞/封锁。
6.
实战数据与对比表(配置与效果)
- 下表展示一个
台湾CN2实例在调优前后的关键性能对比(以真实测试为准,仅做示例)。
- 表格中包含CPU/内存/带宽/RTT/iperf吞吐等指标的变化。
- 调优前后说明:内核参数、BBR与缓存策略为主要改进点。
- 结果说明:通过网路与内核合力优化可在多数场景显著提升并发与延迟体验。
- 表格下方我会给出关键配置片段以便复制使用。
| 项目 |
调优前 |
调优后 |
| 服务器配置 |
Xeon E5-2650 v4, 64GB, NVMe 1TB, 1Gbps |
同上(开启SR-IOV,10G上行可选) |
| 平均RTT(台湾->上海) |
68 ms |
22 ms |
| iperf3 单流吞吐 |
680 Mbps |
940 Mbps |
| 并发HTTP连接(稳定) |
2,000 用户 |
6,500 用户 |
| Origin带宽峰值 |
1.2 Gbps |
0.48 Gbps(接入CDN后) |
7.
关键配置片段与落地建议
- BBR启用片段:
echo "net.core.default_qdisc=fq" >> /etc/sysctl.conf
echo "net.ipv4.tcp_congestion_control=bbr" >> /etc/sysctl.conf
sysctl -p
- nginx高并发示例:
worker_processes auto;
worker_connections 65536;
keepalive_timeout 15;
- iptables防护示例(IPv4):
iptables -N SYNPROTECT
iptables -A INPUT -p tcp --syn -m limit --limit 25/s --limit-burst 100 -j ACCEPT
iptables -A INPUT -p tcp --syn -j DROP
- 日常监控与回归测试:使用Prometheus+Grafana监控CPU/IO/Net,定期用iperf3/ab/wrk回归测试。
- 总结建议:先做硬件与带宽评估,再分阶段内核->网络->应用调优,最后加上CDN与清洗方案以确保稳定高可用。
来源:从硬件到网络 台湾cn2服务器 性能优化实战手册