Dzielenie wiadomości syslog-ng


Chcę zachować oryginalny adres IP
       sshd
zapisywanie logu do bazy danych mysql od wewnątrz
       syslog-ng
... Obecnie mam określony filtr, który pasuje do podciągu żądanego wpisu dziennika.
Mogę jednak zapisać wpis dziennika w całości w DB
       $MSG
Część wpisu syslog zawiera wiele niepotrzebnych danych, których nie potrzebuję. Czy istnieje sposób na „podzielenie” pól wpisu syslog, tak aby w bazie danych zapisywany był tylko adres IP?
To jest moja konfiguracja:
filter f_sshd
{
# (log entry) Sep 5 14:59:20 myhost4 sshd Starting session: shell on pts/0 for rbackup from 10.120.192.25 port 36894 id 0
match("Starting session:" value ("MESSAGE") );
};
destination d_sshd
{
sql( type(mysql)
username("xxxxx")
password("xxxxxxx")
database("syslog")
host("localhost")
table("ssh")
columns("host", "facility", "priority", "level", "pid", "tag", "timestamp", "program", "msg")
values("$HOST", "$FACILITY", "$PRIORITY", "$LEVEL", "$PID", "$TAG","$YEAR-$MONTH-$DAY $HOUR:$MIN:$SEC","$PROGRAM", "$MSG")
indexes("timestamp", "host", "program", "pid", "message"));
};log
{
# s_stunnel is defined in syslog-ng/conf.d/stunnel.conf
source(s_stunnel);
filter(f_sshd);
destination(d_sshd);
};

Zaproszony:
Anonimowy użytkownik

Anonimowy użytkownik

Potwierdzenie od:

Możesz utworzyć parser za pomocą

syslog-ng-patterndb
https://github.com/balabit/syslog-ng-patterndb
aby wyodrębnić części wiadomości.
Utwórz plik XML, aby zdefiniować parser (
/etc/syslog-ng/template_sshd.xml
):
<patterndb version='4' pub_date='2010-10-17'>
<ruleset name='ssh' id='123456678'>
<pattern>ssh</pattern>
<rules>
<rule provider='me' id='182437592347598' class='system'>
<patterns>
<pattern>Starting session: shell on @ESTRING:SSH_TERMINAL: @for @ESTRING:SSH_USERNAME: @from @ESTRING:SSH_CLIENT_ADDRESS: @port @NUMBER:SSH_PORT_NUMBER:@ id @NUMBER:SSH_ID@</pattern>
</patterns>
<examples>
<example>
<test_message program="ssh">Starting session: shell on pts/0 for rbackup from 10.120.192.25 port 36894 id 0</test_message>
<test_values>
<test_value name="SSH_TERMINAL">pts/0</test_value>
<test_value name="SSH_USERNAME">sampleuser</test_value>
<test_value name="SSH_CLIENT_ADDRESS">192.168.10.12</test_value>
<test_value name="SSH_PORT_NUMBER">42156</test_value>
<test_value name="SSH_ID">1</test_value>
</test_values>
</example>
</examples>
</rule>
</rules>
</ruleset>
</patterndb>

Następnie w twoim
         syslog-ng.conf
:
Zdefiniuj parser:
parser sshd_pattern { db_parser(file("/etc/syslog-ng/template_sshd.xml")); };

Wywołaj parser w dyrektywie dziennika:
log
{
# s_stunnel is defined in syslog-ng/conf.d/stunnel.conf
source(s_stunnel);
parser(sshd_pattern); <---- call parser
filter(f_sshd);
destination(d_sshd);
};

Użyj zmiennej
         SSH_CLIENT_ADDRESS
z parsera w miejscu docelowym:
destination d_sshd
{
file("/var/log/sshd.log"
template("${SSH_USERNAME}; ${SSH_CLIENT_ADDRESS}; ${HOST}; ${FACILITY}; ${PRIORITY}; ${LEVEL}; ${PID}; ${TAG}; ${YEAR}-${MONTH}-${DAY} ${HOUR}:${MIN}:${SEC}; ${PROGRAM}; \n")
template_escape(no)
);
};

Uruchamianie testu jednostkowego:
pdbtool match -P "ssh" -M "Starting session: shell on pts/0 for rbackup from 10.120.192.25 port 36894 id 0" -p template_sshd.xml -c -D -v

Powinien wrócić:
SSH_TERMINAL=pts/0
SSH_USERNAME=rbackup
SSH_CLIENT_ADDRESS=10.120.192.25
SSH_PORT_NUMBER=36894
SSH_ID=0

Zaczerpnięte z tego linku:

https://gist.github.com/linickx/8002981
https://gist.github.com/linickx/8002981
Edytuj swój komentarz poniżej:

W idealnym przypadku klucz SSH_TERMINAL mógłby pochłonąć wszystko, od spacji po sesji do samego słowa

Zmodyfikuj szablon w XML w następujący sposób:
<pattern>Starting session: @ESTRING:SSH_TERMINAL:from @@ESTRING:SSH_CLIENT_ADDRESS: @port @NUMBER:SSH_PORT_NUMBER:@ id @NUMBER:SSH_ID@</pattern>

Który zwraca:
# pdbtool match -P "ssh" -M "Starting session: shell on pts/0 for rbackup from 10.120.192.25 port 36894 id 0" -p template_sshd.xml -c -D -vSSH_TERMINAL=shell on pts/0 for rbackup  <-- you got all between "session:" to "from"
SSH_CLIENT_ADDRESS=10.120.192.25
SSH_PORT_NUMBER=36894
SSH_ID=0

Więcej informacji na temat parserów szablonów:

https://www.syslog-ng.com/tech ... de/72
https://www.syslog-ng.com/tech ... de/72

Aby odpowiedzieć na pytania, Zaloguj się lub Zarejestruj się