实时日志分析作为掌握业务情况、故障分析排查的一个重要手段,目前使用最多最成熟的莫过于ELK方案,整体方案也有各种架构组合,像rsyslog->ES->kibana、rsyslog->Redis->Logstash->ES->kibana、rsyslog...
2018-01-07 6086℃ 愚人乙 116 喜欢
随着日志量的增加,es在不停的调整,结构层面的冷热数据分离、master和client节点的分离并引入部落节点,es集群层面的index优化、flush优化、merge优化、内存熔断优化,系统层面的GC、文...
2017-08-16 1339℃ 愚人乙 29 喜欢
发展到现在,每天的日志量在15个亿左右,并引入了spark选手,业务越重,压力越大,es的index和search的优化一直是面临的最大考验,每次不合理的search带来index的延迟,甚至集群某些节点...
2017-07-08 1047℃ 愚人乙 6 喜欢
ES老集群用的2.4.1版本,跑的比较好就一直没动,最近看资料ES5.X已经稳定,并且性能有较大提升,心里就发痒了,但由于业务要保持高可用的属性,就得想一个平滑升级的方案,最后想到了多实...
2017-04-10 494℃ 愚人乙 11 喜欢