一、问题定位：镜像无法使用的核心场景

在flannel网络环境下，镜像无法使用通常表现为容器启动失败、镜像拉取超时或DNS解析异常。典型错误信息包括：

Failed to pull image "registry.example.com/nginx:latest": 
Error response from daemon: Get "https://registry.example.com/v2/": 
net/http: request canceled while waiting for connection

或容器日志中的：

Error: container create failed: 
no available IP addresses in network flannel-net

这类问题可能由网络配置、镜像仓库访问或容器运行时配置引发，需通过系统化排查定位具体原因。

二、网络层诊断：flannel核心配置验证

1. 验证CNI插件状态

首先检查flannel CNI插件是否正确加载：

ls /etc/cni/net.d/ | grep flannel
# 应显示类似10-flannel.conflist的配置文件

若文件缺失，需重新安装flannel：

kubectl apply -f https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml

2. 网络接口状态检查

执行ip addr确认flannel创建的虚拟接口（通常为flannel0或cni0）是否存在且状态为UP。重点检查：

• 接口MTU值是否与物理网络匹配（建议1450-1500）
• 路由表是否包含flannel网段（如10.244.0.0/16）

  ip route show | grep 10.244.0.0
  # 应显示类似：10.244.0.0/16 via 10.244.0.0 dev flannel0 onlink

3. 跨节点通信测试

在多节点集群中，通过ping和tcpdump验证节点间通信：

# 在节点A执行
ping <节点B的flannel IP>
tcpdump -i any -n icmp

若通信失败，检查防火墙规则：

iptables -L -n | grep 10.244.0.0/16
# 应允许ESTABLISHED,RELATED状态包及端口8285/8472（UDP）

三、镜像仓库访问问题解决

1. 私有仓库认证配置

若使用私有镜像仓库，需确保kubelet正确配置了--image-pull-secret。创建secret的示例：

kubectl create secret docker-registry regcred \
  --docker-server=<registry-url> \
  --docker-username=<username> \
  --docker-password=<password> \
  --docker-email=<email>

然后在Pod的spec.containers.imagePullSecrets中引用该secret。

2. 代理配置优化

当集群位于代理环境时，需在kubelet配置中设置环境变量：

# /var/lib/kubelet/kubeadm-flags.env
Environment="HTTP_PROXY=http://proxy.example.com:8080"
Environment="HTTPS_PROXY=http://proxy.example.com:8080"

重启kubelet服务生效：

systemctl restart kubelet

3. 镜像拉取超时调整

修改kubelet的--image-pull-progress-deadline参数（默认1分钟）：

# /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
Environment="KUBELET_EXTRA_ARGS=--image-pull-progress-deadline=10m"

执行systemctl daemon-reload && systemctl restart kubelet后验证。

四、容器运行时深度排查

1. CRI日志分析

通过cri-tools获取容器运行时详细日志：

crictl logs <container-id>
# 或启用containerd的调试模式
sudo sed -i 's/^level =.*/level = "debug"/' /etc/containerd/config.toml
systemctl restart containerd
journalctl -u containerd -f

2. 存储驱动检查

确认overlay2存储驱动正常工作：

docker info | grep "Storage Driver"
# 应显示：Storage Driver: overlay2

若使用其他驱动（如btrfs），需验证内核模块是否加载：

lsmod | grep btrfs

3. 镜像缓存清理

当镜像元数据损坏时，可尝试清理缓存：

# 对于containerd
ctr -n k8s.io images rm <image-name>
# 对于docker
docker system prune -a

五、高级故障排除技巧

1. 网络包捕获分析

在flannel接口执行完整流量捕获：

tcpdump -i flannel0 -w flannel_traffic.pcap
# 使用Wireshark分析时关注：
# - VXLAN封装完整性（UDP 4789端口）
# - 目标IP是否可达
# - 是否存在重传包

2. 性能基准测试

通过iperf3测试节点间带宽：

# 在节点A启动服务器
iperf3 -s
# 在节点B执行测试
iperf3 -c <节点A-IP> -t 30

若带宽低于物理网络90%，需检查flannel的--ip-masq和--iface参数配置。

3. 日志聚合分析

部署EFK（Elasticsearch-Fluentd-Kibana）或Loki-Grafana堆栈，集中分析以下日志：

• kubelet日志（/var/log/syslog或journalctl -u kubelet）
• flannel容器日志（kubectl logs -n kube-system <flannel-pod>）
• 核心系统日志（/var/log/messages）

六、预防性维护建议

1. 定期更新组件：保持flannel、containerd/docker和kubelet在最新稳定版
2. 网络监控：部署Prometheus+Grafana监控flannel的flannel_vxlan_bytes_received_total等指标
3. 镜像签名验证：启用Notary或Cosign进行镜像完整性校验
4. 混沌工程实践：定期执行网络分区测试，验证故障恢复能力

通过上述系统化排查流程，可解决90%以上的flannel镜像使用问题。对于持续存在的复杂问题，建议收集完整日志（包括kubectl get events -A输出）并参考flannel官方故障排除指南进行深度分析。