一、云服务器故障的常见表现与初步诊断

云服务器”坏了”的典型表现包括：无法通过SSH/RDP连接、服务响应超时、资源使用率异常（CPU/内存/磁盘100%）、网络中断或丢包率过高。当遇到这类问题时，建议按以下步骤进行初步诊断：

1. 控制台基础检查
   登录云服务商控制台，查看实例状态是否为”运行中”。若显示”已停止”，需确认是否因欠费、安全组规则或手动操作导致。例如阿里云ECS实例可能因”账户余额不足”触发自动停机保护。

2. 网络连通性测试
   使用ping命令测试基础网络连通性，若完全丢包可能涉及：

   • 安全组/ACL规则拦截（检查入站规则是否放行ICMP）
   • VPC路由表配置错误
   • 本地网络到云服务商的骨干网故障
     通过traceroute（Linux）或tracert（Windows）定位网络跳数异常点。

3. 服务端口监听检查
   使用netstat -tulnp | grep <端口>（Linux）或Get-NetTCPConnection -State Listen（PowerShell）确认服务是否正常监听。例如Nginx服务未启动时，80/443端口将无监听记录。

二、系统级故障深度排查

1. 磁盘空间与inode耗尽

当出现No space left on device错误时，需区分两种情况：

# 检查磁盘使用率
df -h
# 检查inode使用率
df -i

• 磁盘空间不足：通过du -sh * | sort -h定位大文件，临时解决方案可删除/var/log/下旧日志（需先停止相关服务）
• inode耗尽：常见于小文件密集型应用（如缓存目录），需清理无用文件或扩容云盘

2. 内存溢出与OOM Killer

当系统频繁重启或服务无响应时，检查：

# 查看系统日志中的OOM记录
dmesg | grep -i "out of memory"
# 实时监控内存使用
free -h
top -o %MEM

解决方案包括：

• 优化应用内存使用（如调整JVM堆大小）
• 增加实例规格（垂直扩容）
• 配置cgroup限制问题进程的内存

3. 文件系统损坏修复

当出现Input/output error或EXT4-fs error时：

1. 立即停止写入操作
2. 通过云服务商控制台进入”救援模式”
3. 执行fsck -y /dev/vdX（X为磁盘分区标识）
4. 修复后重启实例

三、应用层故障专项处理

1. Web服务异常

Nginx 502错误：

• 检查后端服务（如PHP-FPM）是否运行：systemctl status php-fpm
• 查看错误日志：tail -f /var/log/nginx/error.log
• 调整worker进程数：worker_processes auto;

数据库连接失败：

-- MySQL连接超时排查
SHOW VARIABLES LIKE 'wait_timeout';
SHOW PROCESSLIST;  -- 查看阻塞查询

• 调整wait_timeout参数（默认8小时）
• 检查max_connections是否达到上限

2. 容器化服务故障

Docker容器无法启动：

# 查看容器日志
docker logs <container_id>
# 检查资源限制
docker stats
# 常见原因：
# - 端口冲突（使用`docker port <id>`确认）
# - 镜像损坏（尝试`docker pull`重新拉取）
# - 存储驱动问题（overlay2需内核>4.0）

Kubernetes Pod CrashLoopBackOff：

kubectl describe pod <pod_name>
kubectl logs <pod_name> --previous
# 检查资源请求/限制
kubectl get pod <pod_name> -o yaml | grep -A5 resources

四、云服务商特定问题处理

1. 存储卷故障

• EBS卷卡在”attaching”状态：通过控制台强制分离后重新挂载
• OSS访问403错误：检查Bucket策略、RAM子账号权限、Endpoint配置
• NAS挂载失败：确认VPC安全组放行NFS协议（默认2049端口）

2. 网络问题

• VPC对等连接不通：检查路由表是否包含对端CIDR
• ELB健康检查失败：确认后端实例安全组放行健康检查端口
• CDN回源502：检查源站SSL证书是否过期

五、应急处理与灾难恢复

1. 快照与镜像恢复

1. 通过控制台创建实例快照（建议设置自动快照策略）
2. 从快照创建新磁盘并挂载到问题实例
3. 或直接使用快照创建新实例（适用于系统盘损坏场景）

2. 多可用区部署

对于核心业务，建议：

• 跨可用区部署负载均衡后端实例
• 配置RDS多可用区主从架构
• 使用OSS跨区域复制功能

3. 自动化监控告警

配置CloudWatch（AWS）/CloudMonitor（阿里云）指标：

# 示例告警规则（Terraform语法）
resource "alicloud_cms_alarm" "cpu_alarm" {
  alarm_name      = "HighCPUUsage"
  dimension_map   = {
    instanceId = "i-123456789"
  }
  metric_name     = "CPUUtilization"
  period          = 60
  statistics      = "Average"
  threshold       = 90
  comparison_operator = ">="
  evaluation_count = 2
  contact_groups  = ["Default"]
}

六、预防性维护建议

1. 定期巡检：每周执行yum update/apt upgrade，检查/var/log/下异常日志
2. 资源监控：设置CPU/内存/磁盘使用率超过85%的告警
3. 混沌工程：定期模拟网络分区、实例重启等故障场景
4. 文档管理：维护详细的架构图、变更记录、应急联系人列表

当云服务器出现故障时，遵循”先诊断后修复、先备份后操作、先隔离后恢复”的原则。对于生产环境，建议通过蓝绿部署、金丝雀发布等策略降低故障影响范围。云服务商提供的工单系统（如阿里云”提交工单”功能）也是获取专业支持的重要渠道。