Golang如何做ELK日志收集_Golang ELK教程【最新】

Go程序必须输出标准JSON日志，使用zerolog/logrus等库并正确配置时间字段、命名规范及扁平化结构；Logstash须用beats/tcp输入而非file，并通过date插件将日志time字段对齐@timestamp；ES客户端需全局复用。 Go 程序必须输出 JSON 日志，否则 Logstash 解析会失败 ELK 对非结构化日志极其不友好——Logstash 的 过滤器不会“猜”字段，它只认标准 JSON 字符串。Go 原生 包输出的是纯文本，比如 ，这种格式进 Logstash 后只会变成一个 字段，所有关键信息（时间、路径、用户）都藏在字符串里，无法检索、聚合或做 Kibana 图表。 必须用 或 替换原生 ； 也可以，但要注意它默认不写 字段，需手动配置 encoder 推荐设置： ，并显式指定时间字段名： 字段名禁用中文、空格、点号（如 ），ES 会报 ；改用下划线： 别在日志里嵌套复杂结构体（如 ）， 过滤器默认只解一层，深层字段会被当字符串处理，后续查 会查不到 Logstash 别用 file input 读 Go 日志文件 看到 Go 日志写到 ，就配 Logstash input？这是最常见也最危险的误操作。Docker 容器里文件轮转不可控，宿主机权限常导致 Logstash 读不了，更致命的是：日志行可能被截断（尤其大 JSON）、多行日志（如 panic stack trace）直接错乱、时序完全失准。 改用 input（推荐）或 input，让 Go 程序直连 Logstash 发送 JSON 若必须用文件，得配合 ——它专为日志文件设计，能记录 offset、处理轮转、合并多行，再转发给 Logstash 或 ES input 配置里务必加 ，因为 ES 7.0+ 默认禁用 字段，而后续 filter 常靠 做条件路由 Logstash filter 里 time 字段对齐 @timestamp 是刚需 Go 输出的 只是普通字段，ES 默认用 Logstash 接收时间（即 ）做索引和排序。这意味着：你查“凌晨 2 点的错误”，实际查到的是 Logstash 收到日志的时间——差几秒还行，差几分钟（比如网络抖动、Logstash 拥塞）就完全不准了。 必须在 filter 中加： 第一个参数要和 Go 日志里时间字段名严格一致，比如你用 ，这里就得写 别信 解时间戳——它慢、易错、且不支持纳秒精度； 插件原生支持 RFC3339Nano，零成本对齐 直连 Elasticsearch 要复用 client，别每个请求 new 一个 有些团队图省事，Go 里每条日志都 ，然后 。这会导致连接池爆炸、FD 耗尽、CPU 持续飙高，服务没挂，ES client 先崩了。 立即学习 “ go语言免费学习笔记（深入） ”； 全局声明一个 实例，在 或应用启动时初始化，整个生命周期复用 Docker 环境下， 别写 ，要用容器名，比如 ，否则网络不通 如果日志量不大（QPS BulkIndexer） 真正卡住人的往往不是某一步怎么写，而是 JSON 字段命名不规范导致 Kibana 里搜不到数据，或是 Logstash 时间没对齐结果查不到“那条报错”。这些坑不跑一遍生产环境，光看文档根本意识不到。