一、ELK技术栈概述与单机部署优势

ELK是Elasticsearch（搜索与分析引擎）、Logstash（日志收集与处理）和Kibana（可视化与交互界面）的缩写，三者共同构成日志管理与分析的核心解决方案。Elasticsearch负责高效存储与检索日志数据，Logstash承担日志收集、过滤与转发任务，Kibana则通过可视化仪表盘提供直观的数据分析入口。相较于分布式部署，单机部署ELK的优势在于：资源占用低（适合测试环境或小型应用）、部署简单（无需处理集群通信与数据分片）、维护成本低（单节点故障影响范围小）。但需注意，单机部署的ELK不适合高并发或海量日志场景，其性能瓶颈主要受限于单机的CPU、内存和磁盘I/O。

二、Linux环境准备与依赖安装

1. 系统要求与资源分配

推荐使用CentOS 7/8或Ubuntu 20.04 LTS等稳定版本，需确保系统为64位架构。硬件配置建议：4核CPU（处理日志过滤与索引）、8GB内存（Elasticsearch默认堆内存为物理内存的50%，需预留空间给系统）、50GB以上磁盘空间（根据日志量调整，建议使用SSD提升I/O性能）。若资源有限，可通过调整JVM参数（如-Xms和-Xmx）降低内存占用。

2. 安装Java运行环境

Elasticsearch和Logstash依赖Java 11或更高版本。以CentOS为例，执行以下命令安装OpenJDK：

sudo yum install -y java-11-openjdk-devel
java -version  # 验证安装，输出应包含"11.x.x"

Ubuntu系统可使用sudo apt install openjdk-11-jdk。安装后需配置JAVA_HOME环境变量，编辑/etc/profile文件，添加：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk
export PATH=$JAVA_HOME/bin:$PATH

执行source /etc/profile使配置生效。

3. 关闭防火墙与SELinux（测试环境）

为简化调试，测试环境可临时关闭防火墙和SELinux：

sudo systemctl stop firewalld  # CentOS
sudo systemctl disable firewalld
sudo setenforce 0  # 关闭SELinux

生产环境需配置防火墙规则，仅开放Elasticsearch（9200、9300）、Logstash（5044）和Kibana（5601）端口。

三、ELK组件安装与配置

1. 安装Elasticsearch

（1）下载与安装

从Elasticsearch官方仓库下载RPM包（以7.17.3版本为例）：

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.3-x86_64.rpm
sudo rpm -ivh elasticsearch-7.17.3-x86_64.rpm

（2）配置优化

编辑/etc/elasticsearch/elasticsearch.yml，关键配置如下：

cluster.name: single-node  # 集群名称
node.name: node-1  # 节点名称
path.data: /var/lib/elasticsearch  # 数据存储路径
path.logs: /var/log/elasticsearch  # 日志路径
network.host: 0.0.0.0  # 允许所有IP访问
http.port: 9200  # HTTP端口
discovery.type: single-node  # 单机模式

（3）JVM参数调整

编辑/etc/elasticsearch/jvm.options，根据内存调整堆大小：

-Xms4g
-Xmx4g

建议堆内存不超过物理内存的50%，且不超过32GB（避免指针压缩失效）。

（4）启动与验证

sudo systemctl daemon-reload
sudo systemctl start elasticsearch
sudo systemctl enable elasticsearch
curl -X GET "localhost:9200"  # 应返回集群状态信息

2. 安装Logstash

（1）下载与安装

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.17.3.rpm
sudo rpm -ivh logstash-7.17.3.rpm

（2）配置输入输出

创建测试配置文件/etc/logstash/conf.d/test.conf：

input {
  stdin { }  # 从标准输入读取
}
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }  # 解析Apache日志格式
  }
}
output {
  elasticsearch {
    hosts => ["localhost:9200"]  # 输出到Elasticsearch
    index => "test-logs-%{+YYYY.MM.dd}"  # 索引名称
  }
  stdout { codec => rubydebug }  # 输出到控制台（调试用）
}

（3）启动与测试

sudo systemctl start logstash
sudo systemctl enable logstash
echo "127.0.0.1 - - [10/Oct/2023:13:55:36 +0000] \"GET /index.html HTTP/1.1\" 200 2326" | /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf

观察控制台输出，确认日志被正确解析并发送到Elasticsearch。

3. 安装Kibana

（1）下载与安装

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.17.3-x86_64.rpm
sudo rpm -ivh kibana-7.17.3-x86_64.rpm

（2）配置连接Elasticsearch

编辑/etc/kibana/kibana.yml：

server.host: "0.0.0.0"  # 允许所有IP访问
elasticsearch.hosts: ["http://localhost:9200"]  # Elasticsearch地址
i18n.locale: "zh-CN"  # 中文界面（可选）

（3）启动与访问

sudo systemctl start kibana
sudo systemctl enable kibana

浏览器访问http://<服务器IP>:5601，登录后进入“Discover”页面，选择test-logs-*索引查看日志。

四、常见问题与优化建议

1. 内存不足错误

若Elasticsearch启动失败并报错java.lang.OutOfMemoryError，需调整JVM堆大小或升级服务器内存。同时检查/var/log/elasticsearch/日志，确认是否有磁盘空间不足或文件权限问题。

2. 日志收集延迟

Logstash处理大量日志时可能出现延迟，可通过以下方式优化：

• 增加Worker线程：在Logstash配置中设置pipeline.workers: 4（根据CPU核心数调整）。
• 使用Filebeat替代Logstash输入：Filebeat轻量级，适合从文件收集日志。
• 调整批量大小：在Elasticsearch输出中设置index.bulk_size: 1000（默认125）。

3. 安全加固建议

生产环境需启用认证与加密：

• Elasticsearch安全配置：启用X-Pack安全模块，设置xpack.security.enabled: true，生成TLS证书。
• Kibana认证：配置elasticsearch.username和elasticsearch.password。
• 防火墙规则：仅允许可信IP访问9200、5601端口。

五、总结与扩展

通过本文，读者已掌握在Linux单机环境下部署ELK的全流程，包括环境准备、组件安装、配置优化及故障排查。单机部署ELK适合开发测试、小型应用或边缘计算场景，其核心价值在于快速验证日志管理方案。对于生产环境，建议逐步迁移至集群架构，利用Elasticsearch的分布式特性提升可靠性与性能。未来可探索ELK与Prometheus、Grafana的集成，构建更全面的监控体系。