💎一站式轻松地调用各大LLM模型接口,支持GPT4、智谱、豆包、星火、月之暗面及文生图、文生视频 广告
>[info] 架构设计分析 **方案一:** 是最简单的一种 elk 架构方式 缺点:Logstash 运行占用CPU 和 内存较高,吃资源。 ![](https://img.kancloud.cn/07/7e/077e11e923487ecbf7e405107a3d7371_863x393.png) ***** **方案二:** 官方推荐:将收集端logstash替换为filebeats,更灵活,消耗资源更少,扩展性更强。同时可配置Logstash 和 Elasticsearch 集群用于支持大集群系统的运维日志数据监控和查询。 ![](https://img.kancloud.cn/7a/88/7a887f00259b96db1f6d8493ab6bf90a_869x342.png) ***** >[info] 为什么要是用filebeat? **Filebeat 和 Logstash** elk 架构中使用Logstash收集、解析日志,但是Logstash对内存、cpu、io等资源消耗比较高。相比 Logstash, Beats所占系统的CPU和内存几乎可以忽略不计。 ***** **Filebeat 工作原理** Filebeat是使用GO语言开发,工作原理如下:当Filebeat启动时,它会启动一个或者多个prospector监控日志路径或 日志文件,每个日志文件会有一个对应的harvester,harvester按行读取日志内容并转发至后台程序。Filebeat维护 一个记录文件读取信息的注册文件,记录每个harvester最后读取位置的偏移量。 ![](https://img.kancloud.cn/37/a0/37a0a01937f0006167b6900eb09748ce_941x350.png) ***** **第一层、数据采集** 最左边的是业务服务器集群,上面安装了filebeat做日志采集,同时把采集的日志分别发送给两个logstash服务。 **第二层、数据处理层,数据转发层** logstash服务把接受到的日志经过格式处理,转存到ES DataNode。 **第三层、数据持久化存储** ES DataNode 会把收到的数据,写磁盘,建索引库。 **第四层、数据检索,数据展示** ES Master + Kibana 主要协调ES集群,处理数据检索请求,数据展示。