题 低成本,灵活的日志聚合[关闭]


我开始拥有必须管理的Ubuntu VM集合。我开始调查Puppet管理所有这些的配置,以及apticron让我知道什么是过时的。但我认为我应该尽早处理的问题是日志聚合。我现在想留在免费/开源领域,看到我们没有像splunk那样的预算。

除了syslog之外,我还想收集应用程序特定的日志(我们在不同的机器上运行不同的应用程序,从nginx + passenger for rails,到Apache + Tomcat for java,到PHP for expression engine,以及mysql / postgresql数据库服务器) ,以便我们可以分析相关数据。

现在,我只是想把所有日志都放到一个地方。


5
2018-03-28 21:21




任何一个购物问题都是非主题的 堆栈交换 站点。看到 问答很难,快去购物吧 和 常问问题更多细节。 - Chris S


答案:


许多应用程序可以登录到syslog,这意味着您可以将日志记录到日志服务器。 apache,mysql,tomcat(log4j)至少可以。

然后,您需要一个称职的系统日志服务器来进行聚合。我使用syslog-ng,但这是因为它是7年前唯一的认真选择。 Debian Lenny转而使用rsyslog,它可能具有更健全的代码库和更多功能。

根据我的经验,一个好的正则表达式引擎是聚合系统日志服务器中最重要的部分。你想要过滤掉很多gorp,这样你就可以看到相关的部分。如果您想快速入门,还可以将logwatch指向聚合日志。

编辑:我应该明确。我们的策略是将所有内容从特定主机记录到该主机的文件夹中的一个或多个文件,同时记录到严重过滤的文件,这些文件记录了所有主机上的某些活动。例如,可能存在跨所有主机登录失败的文件。


8
2018-03-28 21:34



有趣。谢谢。 - Martijn Heemels


另一个有趣的项目是 八爪。它是一个开源日志分析器,报警器和记者。我还没有机会设置它,但我听到了一些好消息。

其他人提到了Zenoss。我使用Zenoss,虽然它可以根据日志发出警报但我不会说这是强项。它的主要任务是基于snmp进行监控和警报,这就是我使用它的方式。


1
2018-03-29 02:18





LogZilla 具有高度可扩展性(数亿个事件),是同类产品中其他软件成本的1/10。它也更容易使用。


1
2017-09-04 02:07





对于日志聚合和分析,您应该尝试 ECA (事件相关和分析)或 SIEM (安全信息事件经理)。例如:


0
2018-03-28 23:18





摘要分析, 水槽 是一个梦幻般的开源日志传输和聚合器。它有一个活跃的社区,并得到了支持 Cloudera的


0
2018-03-29 01:40