1. 环境准备

1.1 服务器与网络

• 购买阿里云 ECS 服务器
• 至少准备一台用于部署 OpenSearch 集群（建议至少3台节点实现高可用）
• 另一台或多台服务器用于部署 Logstash 和 Filebeat（Filebeat可部署在日志产生端，也可作为容器或DaemonSet部署于 Kubernetes 集群中）
• 网络要求
• 所有组件（OpenSearch、Logstash、Filebeat、Dashboards）需处于同一 VPC 内，确保内网通信顺畅
• 配置安全组，开放必要端口（如：OpenSearch 默认 9200、Dashboards 默认 5601、Logstash beats 输入端口 5044）

1.2 软件版本建议

• OpenSearch/OpenSearch Dashboards：建议使用与 Filebeat/Logstash 版本兼容的版本，例如 OpenSearch OSS 1.x 版本（基于 Elasticsearch 7.10 版本）。
• Logstash 和 Filebeat：推荐使用与 OpenSearch 版本匹配的 Filebeat/Logstash OSS 版本，例如 Filebeat OSS 7.10～7.16 版和 Logstash OSS 同版本。
• JDK：确保所有基于 Java 的组件使用同一版本（一般推荐 Java 8 或自带 JDK）。

2. OpenSearch 集群部署

2.1 下载与安装

1. 在阿里云 ECS 上准备至少 3 台服务器，并安装 OpenSearch OSS 版本（可以采用 tar 包部署或使用 Docker 部署）。
2. 下载 OpenSearch 安装包：
3. wget https://artifacts.opensearch.org/releases/bundle/opensearch/1.2.0/opensearch-1.2.0-linux-x64.tar.gz tar -zxvf opensearch-1.2.0-linux-x64.tar.gz -C /opt/

2.2 配置 OpenSearch

1. 编辑每个节点的配置文件 /opt/opensearch-1.2.0/config/opensearch.yml（以下示例为单集群多节点配置）：
2. cluster.name: my-logs-cluster node.name: node-1 # 修改为各自节点名称（node-1, node-2, node-3） network.host: 0.0.0.0 # 或指定内网IP http.port: 9200 discovery.seed_hosts: ["192.168.1.101", "192.168.1.102", "192.168.1.103"] cluster.initial_master_nodes: ["node-1", "node-2", "node-3"]
3. 配置 JVM 参数（确保内存设置合理，建议为机器物理内存的一半，但不要超过32GB）。
4. 启动 OpenSearch：
5. cd /opt/opensearch-1.2.0 ./bin/opensearch &
6. 通过 http://<任一节点内网ip>:9200 测试集群状态。

3. OpenSearch Dashboards 部署

3.1 下载与安装

1. 下载 OpenSearch Dashboards 安装包：
2. wget https://artifacts.opensearch.org/releases/bundle/opensearch-dashboards/1.2.0/opensearch-dashboards-1.2.0-linux-x64.tar.gz tar -zxvf opensearch-dashboards-1.2.0-linux-x64.tar.gz -C /opt/

3.2 配置 OpenSearch Dashboards

1. 编辑 /opt/opensearch-dashboards-1.2.0/config/opensearch-dashboards.yml：
2. server.host: "0.0.0.0" # 或指定内网IP server.port: 5601 opensearch.hosts: ["http://192.168.1.101:9200", "http://192.168.1.102:9200", "http://192.168.1.103:9200"]
3. 启动 Dashboards：
4. cd /opt/opensearch-dashboards-1.2.0 ./bin/opensearch-dashboards &
5. 访问 http://:5601 验证仪表板是否正常工作。

4. Logstash 部署

4.1 下载与安装

1. 在阿里云 ECS 上下载 Logstash OSS 版本：
2. wget https://artifacts.elastic.co/downloads/logstash/logstash-oss-7.10.2-linux-x64.tar.gz tar -zxvf logstash-oss-7.10.2-linux-x64.tar.gz -C /opt/

4.2 配置 Logstash 管道

1. 创建配置文件 /opt/logstash-7.10.2/config/logstash.conf，示例如下：
2. input { beats { port => 5044 } } filter { # 可根据实际需求配置 grok、json 等过滤器，例如： grok { match => { "message" => "\[%{TIMESTAMP_ISO8601:log_time}\]\s+\[%{WORD:log_level}\]\s+%{GREEDYDATA:log_content}" } } date { match => [ "log_time", "yyyy-MM-dd HH:mm:ss" ] } } output { opensearch { hosts => ["http://192.168.1.101:9200"] index => "logs-%{+YYYY.MM.dd}" # 如有认证需求，请设置用户名与密码 # user => "username" # password => "password" } stdout { codec => rubydebug } }
3. 启动 Logstash：
4. cd /opt/logstash-7.10.2 ./bin/logstash -f config/logstash.conf &

5. Filebeat 部署

5.1 下载与安装

1. 在需要采集日志的服务器上下载 Filebeat OSS 版本：
2. wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.10.2-linux-x86_64.tar.gz tar -zxvf filebeat-oss-7.10.2-linux-x86_64.tar.gz -C /opt/

5.2 配置 Filebeat

1. 编辑 Filebeat 配置文件 /opt/filebeat-oss-7.10.2/filebeat.yml，示例配置如下：
2. filebeat.inputs: - type: log enabled: true paths: - /var/log/apache2/*.log # 例如采集 Apache 日志 multiline.pattern: '^\[' # 如果日志是多行格式（如异常堆栈） multiline.negate: true multiline.match: after fields: log_source: apache # 指定 Logstash 输出，若不使用 Logstash 则直接输出到 OpenSearch output.logstash: hosts: [":5044"] # 若直接输出到 OpenSearch，请取消下面注释： # output.elasticsearch: # hosts: ["http://:9200"]
3. 启动 Filebeat：
4. cd /opt/filebeat-oss-7.10.2 ./filebeat -e -c filebeat.yml &

6. 系统测试与验证

1. 日志采集
2. 在 Filebeat 所采集的日志路径下生成测试日志（例如 Apache 日志）。
3. 确认 Filebeat 日志中没有错误信息，并能将数据通过 Beats 协议发送到 Logstash。
4. 数据处理
5. 查看 Logstash 日志，确认能接收到来自 Filebeat 的数据，并且经过 grok 与 date 过滤后，数据输出至 OpenSearch。
6. 日志存储与查询
7. 通过 Kibana 或 OpenSearch Dashboards 登录后，创建相应的索引模式（例如 logs-*）。
8. 在 Discover 页面查询日志数据，验证数据完整性与字段解析情况。
9. 告警与监控
10. 配置 OpenSearch 集群监控和日志告警，确保在日志量剧增时能及时发现问题。

7. 注意事项与扩展

• 版本兼容性
• 确保 OpenSearch、Filebeat、Logstash 以及 Dashboards 版本相互兼容，建议使用 OSS 版本系列。
• 安全配置
• 如有安全需求，需配置 TLS/SSL 加密、用户名密码认证，或集成阿里云的安全产品。
• 性能调优
• 根据日志量和集群负载，合理配置 Logstash 的 JVM 参数、OpenSearch 的分片和副本策略，以及 Filebeat 的 harvester 参数。
• 高可用与扩展
• OpenSearch 集群建议采用多节点集群部署；Logstash 可采用分布式部署以分担处理压力；Filebeat 作为轻量采集器，可在多个日志源部署。