<div dir="ltr">I personally don&#39;t feel like Cassandra is the correct place for events, or that the parsing / alerting task is simple. Log parsing should be somewhat decent, and not just half-made component in the monitoring system. I however agree that it&#39;s pretty vital to a monitoring system, since some systems do not output anything else than some logs when they encounter an error that should be logged and alerted.<div>
<br></div><div>Cassandra lacks some basic querying properties needed for good event searching, and in RHQ there&#39;s currently only very primitive &quot;Events&quot; handling in that single message is all we get from the event basically. Logstash and equivalents provide much richer capabilities, because they parse the logs to a structured format. What we&#39;d need is much more generic alert definitions to be able to take advantage of those properties. This is where in my opinion the development should concentrate on, being able to create rich alert definitions, but stop wasting resources for now in re-creating yet another UI for showing logs. </div>
<div><br></div><div>My current solution to this has been in creating agent-plugin (sorry, it&#39;s not ready yet to be published) that runs my own log shipper (pure Java because other tools don&#39;t support IBM JDK on AIX too well) that then ships using AMQP the logs to an ActiveMQ queue. What I&#39;d like to see is using the RHQ infrastructure more. Being able to ship the logs using the agents to the RHQ&#39;s HornetQ and from there being able to process them somehow would already be an improvement. Now the only advantage I have is using agent to run the logshipper (and configure it), but I can&#39;t use the agents firewall connections and RHQ infra to actually do the log shipping. In my other end I have Logstash for parsing and Kibana for showing logs. I don&#39;t thinnk they&#39;re the perfect tool, but I&#39;ve used them for some time. They&#39;re too disconnected for my liking from the RHQ though, forcing me to take care of two different monitoring and alerting systems.</div>
<div><br></div><div>  - Micke</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Sat, Mar 8, 2014 at 2:10 PM, Heiko W.Rupp <span dir="ltr">&lt;<a href="mailto:hrupp@redhat.com" target="_blank">hrupp@redhat.com</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class=""><br>
Am 08.03.2014 um 02:59 schrieb Elias Ross &lt;<a href="mailto:genman@noderunner.net">genman@noderunner.net</a>&gt;:<br>
&gt;<br>
</div><div class="">&gt; I wouldn&#39;t mind working on some Cassandra features either. I could<br>
&gt; work on moving events to Cassandra, but I&#39;m not sure how interested I<br>
&gt; am in dealing with the data migration steps or whatnot.<br>
<br>
<br>
</div>As you probably know is Fuse Fabric8 also part of the Red Hat family and<br>
we are checking how we can work together so that they can use parts of<br>
what we have an vice versa.<br>
Fabric8 is (iirc) using ELK (Elasticsearch, Logstash Kibana) for parts of<br>
what we call Events (Logs are one kind of events, but also incoming snmp<br>
traps, JMX notifications etc. could be Events in RHQ). So we are also<br>
checking if ELK could be something for RHQ.<br>
And then there is Solandra (<a href="https://github.com/tjake/Solandra" target="_blank">https://github.com/tjake/Solandra</a> ) that is Solr<br>
search on top of Cassandra, so that we could perhaps end up with ELCK here.<br>
<br>
I just mention that, as we are aware that the current Events have some<br>
room for improvement and I do not want you to spend energy on something<br>
that will be changing/replacing soonish anyway. There is no decision made,<br>
and of course every input is very welcome.<br>
<span class="HOEnZb"><font color="#888888"><br>
  Heiko<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
_______________________________________________<br>
rhq-devel mailing list<br>
<a href="mailto:rhq-devel@lists.fedorahosted.org">rhq-devel@lists.fedorahosted.org</a><br>
<a href="https://lists.fedorahosted.org/mailman/listinfo/rhq-devel" target="_blank">https://lists.fedorahosted.org/mailman/listinfo/rhq-devel</a><br>
</div></div></blockquote></div><br></div>