debian:syslog-ng

Розбіжності

Тут показані розбіжності між вибраною ревізією та поточною версією сторінки.

Посилання на цей список змін

Порівняння попередніх версій Попередня ревізія
Наступна ревізія		 Попередня ревізія
debian:syslog-ng [2025/04/25 23:15] – Methoddebian:syslog-ng [2025/05/01 19:52] (поточний) – [DNS query logging] Method
Рядок 3: Рядок 3:
  
 <code bash> <code bash>
-wget -qO - https://ose-repo.syslog-ng.com/apt/syslog-ng-ose-pub.asc | gpg --dearmor > /usr/share/keyrings/ose-repo-syslog-ng-keyring.gpg && \+wget -qO - https://ose-repo.syslog-ng.com/apt/syslog-ng-ose-pub.asc | gpg --dearmor > /usr/share/keyrings/ose-repo-syslog-ng-keyring.gpg
 cat <<EOF > /etc/apt/sources.list.d/syslog-ng-ose.list cat <<EOF > /etc/apt/sources.list.d/syslog-ng-ose.list
 deb [ signed-by=/usr/share/keyrings/ose-repo-syslog-ng-keyring.gpg ] https://ose-repo.syslog-ng.com/apt/ stable debian-bookworm deb [ signed-by=/usr/share/keyrings/ose-repo-syslog-ng-keyring.gpg ] https://ose-repo.syslog-ng.com/apt/ stable debian-bookworm
Рядок 10: Рядок 10:
 apt update apt update
 apt-get install syslog-ng-core syslog-ng-scl apt-get install syslog-ng-core syslog-ng-scl
 +syslog-ng -V
 </code> </code>
  
Рядок 127: Рядок 128:
 ===== DNS query logging ===== ===== DNS query logging =====
   apt-get install syslog-ng-mod-python   apt-get install syslog-ng-mod-python
 +
 +Підготуємо каталоги
 +
 +Створюємо tmpfs директорію та монтуємо
 +
 +  mkdir -p /var/log/syslog-ng/tmpfs
 +  echo "tmpfs /var/log/syslog-ng/tmpfs tmpfs defaults,size=2G,noatime,nodiratime 0 0" >> /etc/fstab
 +  mount -a
 +  mkdir -p /var/log/syslog-ng/tmpfs/dnsdist
 +
 +Створюємо директорію для архівів
 +  mkdir -p /var/log/syslog-ng/archive/dnsdist
 +
 +Створимо скрипт для переміщення логів
 +<code bash>
 +cat <<EOT > /usr/local/bin/move_old_dns_logs.sh
 +#!/bin/bash
 +
 +SRC_DIR="/var/log/syslog-ng/tmpfs/dnsdist"
 +DST_DIR="/var/log/syslog-ng/archive/dnsdist"
 +
 +# Знайти файли старші за 15 хвилин
 +find "$SRC_DIR" -type f -mmin +15 | while read -r file; do
 +    # Визначити відносний шлях
 +    rel_path="${file#$SRC_DIR/}"
 +    target_dir="$DST_DIR/$(dirname "$rel_path")"
 +
 +    # Створити директорію в цільовому місці
 +    mkdir -p "$target_dir"
 +
 +    # Перемістити файл
 +    mkdir -p "$(dirname "$target_dir/$rel_path")"
 +    mv "$file" "$target_dir/"
 +done
 +
 +# Видалити всі порожні каталоги у вихідному каталозі
 +find "$SRC_DIR" -type d -empty -delete
 +EOT
 +</code>
 +
 +  chmod +x /usr/local/bin/move_old_dns_logs.sh
 +  bash /usr/local/bin/move_old_dns_logs.sh
 +
 +  crontab -e
 +
 +Вписуємо
 +  * * * * * /usr/local/bin/move_old_dns_logs.sh
 +
 +Додатково логи можна переміщати на віддаленний сервер по NFS
 +
 +  apt install nfs-common
 +  mkdir -p /var/log/syslog-ng/nfs
 +  showmount --exports 172.16.0.14
 +  echo "172.16.0.14:/volume2/dns-log /var/log/syslog-ng/nfs/ nfs auto,nofail,noatime,nolock,intr,tcp,actimeo=1800 0 0" >> /etc/fstab
 +  mount -a
 +  mkdir -p /var/log/syslog-ng/nfs/dnsdist
 +
 +Створимо скрипт для переміщення логів
 +<code bash>
 +cat <<EOT > /usr/local/bin/move_dns_logs_to_nfs.sh
 +#!/bin/bash
 +
 +SRC_DIR="/var/log/syslog-ng/archive/dnsdist"
 +NFS_DIR="/var/log/syslog-ng/nfs/dnsdist"   # шлях до каталогу на NFS
 +NFS_MOUNT="/var/log/syslog-ng/nfs/" # основна точка монтування NFS
 +RETENTION_DAYS=100                   # кількість днів для зберігання файлів
 +
 +# Перевірити, чи змонтовано NFS
 +if ! mountpoint -q "$NFS_MOUNT"; then
 +    echo "ERROR: NFS не змонтовано у $NFS_MOUNT."
 +    exit 1
 +fi
 +
 +# Знайти файли старші за 15 хвилин
 +find "$SRC_DIR" -type f -mmin +15 | while read -r file; do
 +    # Визначити відносний шлях
 +    rel_path="${file#$SRC_DIR/}"
 +    target_dir="$NFS_DIR/$(dirname "$rel_path")"
 +
 +    # Створити директорію на NFS
 +    mkdir -p "$target_dir"
 +
 +    # Перемістити файл
 +    mkdir -p "$(dirname "$target_dir/$rel_path")"
 +    mv "$file" "$target_dir/"
 +done
 +
 +# Видалити всі порожні каталоги у вихідному каталозі
 +find "$SRC_DIR" -type d -empty -delete
 +
 +# Видалити файли на NFS, які старші за вказану кількість днів
 +find "$NFS_DIR" -type f -mtime +"$RETENTION_DAYS" -delete
 +
 +# Також видалити порожні каталоги на NFS після видалення файлів
 +find "$NFS_DIR" -type d -empty -delete
 +EOT
 +</code>
 +
 +  chmod +x  /usr/local/bin/move_dns_logs_to_nfs.sh
 +  ln -s /usr/local/bin/move_dns_logs_to_nfs.sh /etc/cron.hourly/move_dns_logs_to_nfs
 +  bash /usr/local/bin/move_dns_logs_to_nfs.sh
  
 <code bash> <code bash>
 cat <<EOT > /etc/syslog-ng/conf.d/source_net_udp_514.conf cat <<EOT > /etc/syslog-ng/conf.d/source_net_udp_514.conf
 source source_net_udp_514 { source source_net_udp_514 {
-    tcp(ip(0.0.0.0) port(514));+    udp(ip(0.0.0.0) port(514) flags(no-parse));
 }; };
 EOT EOT
 cat <<EOT > /etc/syslog-ng/conf.d/source_net_tcp_514.conf cat <<EOT > /etc/syslog-ng/conf.d/source_net_tcp_514.conf
 source source_net_tcp_514 { source source_net_tcp_514 {
-    tcp(ip(0.0.0.0) port(514));+    tcp(ip(0.0.0.0) port(514) flags(no-parse));
 }; };
 EOT EOT
Рядок 142: Рядок 244:
  
 <code bash> <code bash>
-cat <<EOT > /etc/syslog-ng/conf.d/source_net_udp_514.conf+cat <<EOT > /etc/syslog-ng/conf.d/dnsdist.conf 
 +#rewrite r_round_min_10 { 
 +#    set("$(subst(\"((\\d*)(\\d)$)\", \"\\10\", $(env MIN)))" value("R_MIN_10")); 
 +#};
  
 +#rewrite r_round_min_10 {
 +#    subst("^(\\d)(\\d)$", "${1}0", value("MIN") type("pcre") flags(global) condition(filter(f_dns)));
 +#    set("${MIN}" value("R_MIN_10"));  # Копіюємо MIN → R_MIN_10 після округлення останньої цифри
 +#};
 +
 +# Округлення хвилин до 10
 +rewrite r_round_min_10 {
 +    # Використовуємо pcre для заміни останньої цифри на 0
 +    set("$R_MIN_10" value("env $MIN"));
 +    subst("^([0-9]?)([0-9])$", "$1\0", value("R_MIN_10"));
 +};
 +
 +parser p_json {
 +    json-parser(prefix(".json."));
 +};
 +
 +template t_full_dnsdist {
 +    template("${.json.timestamp},${.json.ip_version},${.json.client_ip},${.json.protocol},${.json.query_type},${.json.query_name}\n");
 +};
 +
 +template t_custom_dnsdist {
 +    template("${.json.timestamp},${.json.client_ip},${.json.query_name}\n");
 +};
 +
 +destination d_dns_csv {
 +    file("/var/log/syslog-ng/tmpfs/dnsdist/${YEAR}/${MONTH}/${DAY}/${HOUR}_${R_MIN_10}_queries.csv"
 +        #template("${.json.timestamp},${.json.ip_version},${.json.client_ip},${.json.protocol},${.json.query_type},${.json.query_name}\n")
 +        template(t_custom_dnsdist)
 +        template-escape(yes)
 +        create-dirs(yes)
 +        flush-lines(100)
 +        #flush-timeout(1000)
 +        log-fifo-size(2048)
 +        disk-buffer(
 +            mem-buf-size(10000)        # Або mem-buf-size, але краще length, залежно від версії
 +            disk-buf-size(1073741824)    # 1 GB у байтах
 +            reliable(yes)
 +            dir("/var/log/syslog-ng/tmpfs/buffer")
 +        )
 +        #init("echo 'timestamp,client_ip,query_name' > $FILENAME");
 +        flags(no-multi-line)
 +    );
 +};
 +
 +destination d_debug_all {
 +    file("/var/log/syslog-ng/debug/all.log"
 +        template("${ISODATE} ${HOST} ${PROGRAM} [${PID}]: ${MSG}\n")
 +        template-escape(no)
 +        create-dirs(yes)
 +        flush-lines(1)
 +    );
 +};
 +
 +#log {
 +#    source(source_net_udp_514);
 +#    destination(d_debug_all);
 +#};
 +
 +# Фільтр для ігнорування доменів
 +filter f_ignore_domains {
 +    not match("($(cat /etc/syslog-ng/ignore_domains.list | tr '\n' '|' | sed 's/|$//'))" value("MESSAGE"));
 +};
 +
 +log {
 +    source(source_net_udp_514);
 +    rewrite(r_round_min_10);
 +    parser(p_json);
 +    destination(d_dns_csv);
 +};
 EOT EOT
 </code> </code>
  
-# ============================================= + 
-# Налаштування продуктивності syslog-ng +Налаштування продуктивності syslog-ng 
-# ============================================= + 
-# flush_lines - кількість рядків перед записом +  * flush_lines - кількість рядків перед записом 
-# time_reopen - час перед повторним відкриттям +  * time_reopen - час перед повторним відкриттям 
-# log_fifo_size - розмір черги +  * log_fifo_size - розмір черги 
-# threaded - багатопотоковий режим +  * threaded - багатопотоковий режим 
-cat > /etc/syslog-ng/conf.d/performance.conf << EOF+ 
 +<code bash> 
 +cat << EOF > /etc/syslog-ng/conf.d/performance.conf 
 options { options {
     flush_lines(1000);     flush_lines(1000);
Рядок 167: Рядок 343:
 }; };
 EOF EOF
 +</code>
 +
 +Домени, які не будуть логуватися
 +
 +Формат: один домен на рядок
 +<code bash>
 +cat << EOF > /etc/syslog-ng/ignore_domains.list
 +google.com
 +youtube.com
 +facebook.com
 +instagram.com
 +twitter.com
 +netflix.com
 +amazon.com
 +microsoft.com
 +apple.com
 +EOF
 +</code>
  
 +Перевіримо правильність конфігурацій
   syslog-ng -s -f /etc/syslog-ng/syslog-ng.conf   syslog-ng -s -f /etc/syslog-ng/syslog-ng.conf
  
-# Перезапуск служб+Тестовий запуск 
 +  syslog-ng -Fev 
 +або 
 +  syslog-ng -R /tmp/syslog-ng.persist -Fevdd 
 + 
 +З іншої консолі посилаємо тестове повідомлення 
 +  logger -n 127.0.0.1 -P 514 -d "Тестове повідомлення через UDP" 
 + 
 +Перезапуск служб 
   systemctl restart syslog-ng   systemctl restart syslog-ng
  
  
 +FIXME
 +  361  nano /usr/local/bin/move_logs_to_nfs.sh
 +  362  nano /usr/local/bin/move_old_logs.sh
 +  382  nano /etc/fstab
 +  393  nano /etc/tmpfiles.d/syslog-ng.conf
 +  394  systemd-tmpfiles --create /etc/tmpfiles.d/syslog-ng.conf
 +  396  systemctl restart syslog-ng
 +FIXME
 +<code bash>
 +cat <<EOT > /etc/syslog-ng/conf.d/dnsdist.conf
 +D /var/log/syslog-ng/tmpfs 0755 root root
 +D /var/log/syslog-ng/tmpfs/buffer 0700 root root
 +D /var/log/syslog-ng/tmpfs/dnsdist 0755 root root
 +EOT
 +</code>
 +FIXME