DEV Community

Ivan's Cybersecurity Notes
Ivan's Cybersecurity Notes

Posted on

DevOps ушел со скандалом. Ресерч бэкдоров и remote shell. Threat Hunting глазами AppSec

AppSec и Linux DFIR: легитимно выглядящие закладки, автоматизация fleet triage, evidence, business impact и решение о пересоздании. Linux Threat Hunting, массовый triage и одна неприятная задача, которая досталась Application Security Champion.

ЧТО ПРОИЗОШЛО?

Представьте себе обычный рабочий разговор. Разрабы воркают, сервисы крутятся, CI/CD что-то собирает, мониторинг поинты преимущественно зеленый. Заканчивается обед и тут кто-то задает вопрос, после которого в комнате становится заметно тише:

«Наш DevOps уволился. Причем разошлись мы, скажем так, не очень хорошо. Он поднимал почти всю эту инфраструктуру. Мы вообще уверены, что там ничего не осталось?»

И все смотрят на Security. Не на ClamAV, не на Grafana, а на человека, который занимается Application Security. Ну, вообщем на меня!

Ну что ж, поздравляем: зона ответственности только что увеличилась без согласования с HR. :)

С задачей такого класса мне доводилось сталкиваться в контексте Product Security / Application Security. Моя основная работа была связана с безопасностью продукта, процессов разработки и доставки ПО. Но когда человек, поддерживавший значительную часть Linux-инфраструктуры, ушел при сложных обстоятельствах, а другой профильной экспертизы на месте не оказалось, разбираться пришлось мне. Не потому, что AppSec внезапно стал полноценным DFIR-подразделением. А потому, что на этих машинах разрабатывался, собирался и разворачивался продукт. И риск был уже продуктовым. Так что, парни, это мой выход!

*Сама постановка задачи звучит просто: *много Linux-серверов, один специалист, мало времени. Нужно проверить, не оставил ли бывший привилегированный оператор скрытых способов удалённого доступа, неизвестных сервисов, изменённых конфигураций или чего-то похуже. И на основании проверки сказать бизнесу, можно ли продолжать работу или безопаснее заново пересоздать инфраструктуру.

Но правильный вопрос грамотного экперта я бы сформулировал иначе:

Как восстановить доверие к инфраструктуре, которую создавал и администрировал человек, чей доступ мы больше не считаем доверенным?

Disclaimer / NDA. Это анонимизированное изложение реального класса задачи и моего личного подхода к ресерчу. Название компании, технические детали, точное количество серверов, сроки и фактический результат закрытого проекта я не раскрываю по пончтным причинам. Все имена хостов, числа в примерах, findings и фрагменты отчётов ниже — синтетические иллюстрации, не данные реального расследования. И да: конфликт при увольнении сам по себе не доказывает злонамеренных действий. Однако, мы проявляя должную осмотрительность и здравый скептицизм, проверяем доступы, артефакты и доверие, а не характер бывшего коллеги.


1. Если сервис работает — это ещё не значит, что ему можно доверять

Поверхность доверия выходит за пределы одного Linux-сервера

Начнём с типичной инфраструктуры software-компании, где ведется разработка кастомного внутреннего ПО и юзаются стандартные сервисы для корпорейта. Есть Linux-машины для development, staging, internal services, self-hosted runners, build agents, контейнеров, deployment-автоматизации. Часть из них может иметь доступ к секретам, registry, облачным API или production Kubernetes. Всё работает. Значит ли это, что всё безопасно? - Конечно НЕТ.

Бывший администратор с достаточными правами теоретически мог оставить механизмы persistence, которые выглядят очень буднично:

  • дополнительный SSH public key в authorized_keys существующего пользователя;
  • вторую учётку с UID 0 или неожиданное правило sudo;
  • systemd service, user service, timer либо cron task;
  • reverse SSH tunnel, исходящее соединение или подменённую конфигурацию SSH;
  • изменённые iptables/nftables, неожиданный port forwarding;
  • CI/CD runner, deploy key, webhook, registry credential;
  • cloud IAM role или Kubernetes service account с избыточными правами;
  • изменённый startup script, бинарник, hook или загружаемый модуль.

ВНИМАНИЕ:практически все из этого может использоваться и легитимно. Поэтому странный файл — не доказательство backdoor, так же как отсутствие найденного malware — не доказательство чистоты системы.

Мой рабочий threat model выглядит так:

Бывший privileged operator
     |
     +--> Identity: SSH / sudo / IdP / VPN / cloud IAM
     |
     +--> Persistence: cron / systemd / hooks / containers
     |
     +--> Remote access: ports / tunnels / control plane
     |
     +--> Supply chain: Git / CI/CD / registry / signing
     |
     +--> Data & Ops: secrets / backups / databases
                         |
                         v
               Product integrity + business impact
Enter fullscreen mode Exit fullscreen mode

Эти техники хорошо описаны в MITRE ATT&CK: SSH Authorized Keys, T1098.004, Systemd Service, T1543.002 и Cron, T1053.003. Никакой голливудской магии. Обычные возможности Linux, которые в другом контексте становятся механизмами злоупотребления.

Самый убедительный backdoor выглядит как штатная инфраструктура

Есть опасное заблуждение: «AV ничего не нашёл, значит, закладок\малвари нет». Антивирус полезен против известных образцов malware. Но он не предназначен для ответа на другой вопрос: должен ли существовать этот абсолютно корректный SSH-ключ, systemd unit, cloud role или CI/CD runner? Никакого вредоносного исполняемого файла может вообще не быть. Механизм persistence — обычная административная функция, только используется она в таком ключе без разрешения.

Как выглядит механизм Почему AV может не сработать Что проверять
Дополнительный SSH-ключ существующего пользователя Публичный ключ не является вирусом Fingerprint, владелец, change ticket, история логинов, альтернативные источники ключей
systemd-сервис «для мониторинга» Сервисы и должны автоматически запускаться Unit + drop-ins, ExecStart, package ownership, destination, IaC и автор изменения
Deploy key или automation token Это обычные сущности CI/CD Кто создал, scope прав, last used, кто может отозвать, где лежит
Self-hosted runner Запуск build jobs — его легитимная работа Кто зарегистрировал, история задач, labels, доступ к secrets, egress
IAM trust policy, Kubernetes RoleBinding На диске Linux вообще ничего подозрительного Журналы control plane, права, доверенные identities, история изменений
Сервис удалённого обслуживания Туннели и relay бывают вполне законными Business owner, документация, дочерний процесс, endpoint, persistent config

Всё это — модель потенциального риска, а не обвинение бывшего инженера. Хорошие отправные точки для проверки: MITRE T1098.004 — SSH Authorized Keys, T1053.006 — Systemd Timers и T1098.006 — Kubernetes Roles. Нормальные функции инфраструктуры становятся проблемой, когда теряется контроль над тем, кто и зачем их включил.

Чем один доступ на build runner грозит бизнесу

Вопрос не в том, что кто-то прочитает /etc/passwd. Вопрос — до чего этот сервер может дотянуться дальше. При определённом уровне привилегий неавторизованный оператор теоретически способен сделать pivoting:

К чему есть доступ Возможный сценарий Последствия для бизнеса
Production DB или snapshots Выгрузка клиентских данных / интеллектуальной собственности Уведомления об утечке, юридические и репутационные потери
CI/CD runner и deploy secrets Подмена артефактов сборки, выпуск изменённого продукта Supply-chain incident, компрометация релизов
Cloud IAM и service identities Изменение прав, отключение журналов, управление ресурсами Потеря контроля, простой, неожиданные расходы
Backups / DR permissions Уничтожение или порча резервных копий Увеличение RTO, сложное или невозможное восстановление
DNS, ingress, registry, signing Перенаправление трафика, публикация неподписанных или чужих артефактов Ущерб клиентам, нарушение целостности продукта
Monitoring / alerting Подмена событий или отключение алертов Позднее обнаружение и недостоверная timeline

Это гипотетические варианты blast radius, не результаты NDA-расследования. Но именно из-за них маленький неизвестный сервис на невзрачной Linux-машине может быть куда серьезнее, чем очередная новая CVE со средним CVSS или лютейшая с critical rate 9.0.

Кстати, GitHub отдельно предупреждает о рисках постоянных self-hosted runners: в отличие от чистой ephemeral VM, такой runner может сохранить последствия выполнения недоверенного build code. Для Product Security это уже часть цепочки доверия к релизам, а не просто хост из зоны ответственности DevOps.

2. Главная ошибка — сразу запускать сканеры и надеяться на быстрый результат

Я понимаю желание быстро поставить пять утилит, запустить на всех серверах, получить красивую HTML-таблицу и написать руководству: Security Check Completed. Но сначала нужно договориться о модели доверия.

Я задал бы себе три вопроса:

  1. Как выглядит весь scope? Если мы проверили 70 серверов, но ещё 12 никто не включил в inventory, отчёт почти бесполезен.
  2. Кому принадлежит канал проверки? Если старый администратор контролировал bastion, automation account или наш SSH-ключ, может ли сама процедура сбора evidence считаться независимой?
  3. Что мы успеем сохранить? Вход на сервер, установка софта, сброс ключей и перезапуск сервисов меняют состояние системы. Иногда это допустимо ради немедленного containment, иногда сначала нужно сделать snapshot и сохранить volatile artifacts.

Поэтому я строю временный investigation boundary: отдельная доверенная рабочая машина, новый санкционированный доступ, защищённое хранилище evidence, список ответственных и согласованный change freeze для критичных компонентов.

Если прямо сейчас есть признаки активного проникновения — containment важнее идеальной процедуры. Но если активного инцидента не видно, сначала фиксируем процессы, сетевые соединения, журналы и доступные snapshots. Не начинаем расследование с перезагрузки подозрительного хоста. Общий подход хорошо согласуется с NIST SP 800-61 Rev. 3.

Что я делаю в первые 60 минут после инцидента

Вместе с IT/Infrastructure и ответственным за incident response:

  • блокирую доступ бывшего сотрудника в IdP/SSO, VPN, bastion, Git, CI/CD, cloud, remote support;
  • отзываю связанные с ним active sessions, PAT, deploy keys, refresh tokens и другие credentials, к которым у него мог сохраниться доступ;
  • отдельно проверяю shared accounts и service identities — они часто переживают увольнение лучше любого человека;
  • ограничиваю административные endpoints, смотрю inbound и egress;
  • защищаю логи и резервные копии от изменений прежними привилегированными учётками;
  • подтверждаю независимый break-glass access, прежде чем отключать единственный работающий admin login.

Ротация секретов может положить production, поэтому делается осмысленно: scope, зависимости, порядок, rollback. В острых случаях доступ перекрываем сразу, но не превращаем emergency response в неконтролируемое разрушение собственной инфраструктуры.


Evidence: сначала сохранить историю, потом делать выводы

Я бы с самого начала вёл короткий evidence & decision log. Да, скучная бюрократия. Но без неё через неделю никто не сможет объяснить, что именно мы наблюдали, какие данные уже поменяли своими действиями и почему решили пересоздавать конкретный сервер.

  • ID расследования, согласованный scope, уполномоченные люди и статус: профилактическая проверка после увольнения или подтверждённый incident response.
  • Время сбора по UTC и погрешность часов источника, версия и хэш collector, investigator identity, путь подключения, ID облачного ресурса.
  • Способ получения: live SSH, trusted snapshot, старый EDR, независимые cloud/audit logs. Неудачные и неполные попытки фиксируем так же внимательно.
  • Куда помещён оригинал, SHA-256 собранных данных, контроль доступа и цепочка дальнейших операций. Хэш помогает заметить последующее изменение файла, но не доказывает достоверность информации на источнике.
  • Какие containment-изменения пришлось сделать до preservation (отзыв токена, изоляция сети), с причиной и ответственным.

Если у потенциального нарушителя был root, выводы ps, ss, find, package manager и локального security agent могут быть подменены. Поэтому SSH collector — первичная разведка, а не независимое доказательство чистоты. Ему нужны внешние точки опоры: журналы облака и SSO, уже накопленные EDR-события, защищённые backups, золотые образы, подписанные артефакты и история изменений. Для юридически чувствительных кейсов нужен полноценный DFIR-процесс с квалифицированной командой, а не только мой AppSec runbook.

И ещё: искать исключительно файлы, изменённые «за последние семь дней», недостаточно. Закладка может быть гораздо старше. А timestamps можно легко изменить ведь на то мы\они и хЭкеры. Timeline я строю от последнего независимо подтверждённого trusted state, а не от даты конфликта при увольнении. Это соответствует подходу NIST SP 800-61 Rev. 3 (апрель 2025): evidence, реакция и восстановление — части единого risk management.

3. Asset inventory — самая скучная и самая важная часть

Парк серверов — это не список IP-адресов, который кто-то когда-то сохранил в Excel. Я бы свел вместе cloud inventory, гипервизор, Terraform/IaC, CMDB, Ansible/SSH inventory, Kubernetes nodes, self-hosted runners, DNS и журналы развёртывания. Это уже field для ресерча.

Минимальная карточка: asset_id, hostname, environment, role, owner, criticality, external_exposure, collection_status, last_seen.

Дальше обязательно распределить машины по состоянию:

Категория Что означает Что делать
In scope / collected Evidence получены Анализировать и указывать confidence
In scope / unreachable Хост есть, но проверить не удалось Unknown, искать альтернативный путь
Shadow asset Нашли вне inventory Установить владельца, приоритизировать
Ephemeral / terminated Хост уже исчез Смотреть облачные и orchestration audit logs
Explicitly out of scope Исключён из проверки Записать причину и того, кто согласовал

Я отдельно считаю coverage, а не только «количество обнаруженных угроз». Например, если мы собрали артефакты с 58 машин из 64, то coverage = 90,6%. Оставшиеся шесть — это не зелёные хосты. Это шесть вопросов без ответа.

4. Выбираем software: Open Source, коммерческие решения и здравый смысл

Сразу скажу: какого-то одного волшебного сканера, который гарантированно найдёт все backdoors, нет. А если кто-то продает такой — лично я бы начал с threat modeling этого обещания. :) Ну, вы понимаете к чему я))

Мне нужен набор разных источников evidence. И он вполне может обойтись без дорогой закупки.

Инструмент Лицензия / модель Для чего полезен Ограничения
OpenSSH + небольшой collector Бесплатно, без установки агента Экспресс-сбор с десятков хостов Зависит от SSH и доверия к локальным утилитам
Velociraptor Open Source DFIR, VQL, артефакты, fleet-wide Hunts Развёртывание и сбор влияют на endpoints, требуют планирования
osquery + Fleet Open Source engine; у Fleet есть free/paid возможности SQL-запросы, inventory, drift detection Ограничен телеметрией ОС и возможностями конкретной версии
Wazuh Open Source, агентный подход FIM, конфигурации, долгосрочные события Если baseline снят уже после компрометации, он не становится доверенным автоматически
YARA Open Source Поиск IoC / известных семейств в отдельных файлах и образцах Match — сигнал; no match — не оправдательный приговор
Lynis / chkrootkit / rkhunter Free / Open Source Дополнительный audit и known rootkit checks Много шума, blind spots, не полноценная форензика
Sandfly Security Коммерческий, agentless по SSH Специализированный Linux threat hunting Лицензия, SSH-доступ, ограничения видимости с хоста
CrowdStrike / SentinelOne / Elastic Security Коммерческие / смешанные модели EDR telemetry, historical hunting, response Сильно зависит от покрытия и retention

При срочной проверке моим базовым решением было бы:

Parallel SSH triage → сравнение аномалий → Velociraptor / osquery → выборочный integrity + YARA → CI/CD и cloud-control-plane review → risk decision.

Причём ставить новый агент на каждый Linux-сервер я бы не спешил. Если уже есть работающий EDR — используем его. Если нет — начинаем с более лёгких способов сбора и точечно расширяем исследование.

Документация: Velociraptor Hunts, Deployment, Fleet API, Wazuh FIM, Sandfly Linux IR.

Что ещё добавить в toolbox, а что не стоит переоценивать

AIDE полезен для file-integrity drift, если эталон был создан до инцидента и хранится независимо от проверяемой машины. Falco или Tracee дают runtime-сигналы; например, Tracee использует eBPF. Но установленный сегодня sensor не восстановит события, которые никто не записывал вчера. И внедрять привилегированное наблюдение на подозрительном ядре без preservation — отдельный риск.

Sandfly здесь заслуживает самостоятельного внимания. По официальной документации это agentless Linux detection / response через SSH, с проверками компрометации и сбором forensic evidence. В релизе от июня 2026 года появились дополнительные response-возможности. При первичной проверке я не включал бы действия удаления или остановки процессов без согласования. И agentless не означает, что сервер вообще не затрагивается или что он не способен ввести сканер в заблуждение.

Я бы выбирал инструмент под вопрос:

Что хочу понять Начальный метод Углублённый метод
Какие машины, учётки, сервисы существуют? SSH collector / существующий osquery Velociraptor, alternate acquisition
Что отклонилось от trusted baseline? Approved changes, IaC, старые inventory Защищённая AIDE/FIM-история, trusted images
Идёт ли подозрительная активность сейчас? EDR, процессы/сеть, cloud logs Controlled runtime sensor / DFIR acquisition
Совпадает ли файл с известным IoC? YARA по проверенным sample files Форензика и верифицированная threat intelligence
Кто сможет менять следующий релиз? Git/CI/CD/IAM/registry review Re-enroll runners, rotate creds, trusted builds

Особенно важно: chkrootkit, rkhunter и Lynis не выдают сертификат «система безопасна». Даже мануал Debian по debsums прямо отмечает его ограниченную пригодность как security-инструмента.

Как установить и запустить инструменты, не испортив расследование

Для первого прохода на подозрительные серверы ставить ничего не нужно. Python 3 и OpenSSH находятся на доверенной operator machine, Bash collector передаётся в уже разрешённую SSH-сессию. Сначала тестируем на одной некритичной и репрезентативной Linux-машине, затем повышаем parallelism.

Для дополнительных targeted checks я бы подготовил отдельную доверенную Ubuntu/Debian analysis VM. На неё можно поставить базовые инструменты:

# Только на чистой ANALYSIS VM, а не на сервере до preservation:
sudo apt-get update
sudo apt-get install --no-install-recommends yara lynis

yara --version
lynis --version
Enter fullscreen mode Exit fullscreen mode

debsums доступен как Debian/Ubuntu package, но устанавливать его прямо на потенциально скомпрометированный хост до preservation — значит менять evidence. Лучше использовать уже имеющиеся средства или отдельно согласованный acquisition. YARA запускаем по проверенным правилам и выбранным образцам, а не наугад по /. sudo lynis audit system полезен для hardening review на лабораторной или уже сохранённой системе; утилита создаёт отчётные файлы, поэтому я не включаю её в первый read-only проход.

Velociraptor: по official quickstart скачиваем проверенный релиз на отдельный сервер, сверяем артефакты, генерируем server config, ограничиваем GUI, настраиваем авторизованный Linux collection. В изолированной лаборатории допустим ./velociraptor gui, но это деморежим, не production-конфигурация. Для рабочей среды нужны корректные TLS/authentication и права доступа. После этого проверяем Linux artifacts на одном-двух узлах и лишь затем запускаем Hunt.

osquery/Fleet: устанавливаем поддерживаемые подписанные packages и enroll agents по документации Fleet, проверяем появление хоста в console, тестируем SQL query на одной системе, затем масштабируем. Локальный osqueryi подходит для отладки queries на машине, где он уже установлен. Wazuh: официальный Quickstart — для развёртывания server/indexer/dashboard на доверенном узле; FIM-agent и базовый baseline добавляем согласованно, желательно уже после острой стадии IR. Sandfly: лицензированная консоль, согласованный SSH access, сначала небольшой scope, затем остальные хосты.

Если EDR, Fleet, Wazuh или Velociraptor в компании уже работают — используем существующую систему.

5. Первый проход: массовый read-only triage

Для практического использования к архиву со статьями я приложил маленький toolkit:

linux_trust_after_devops_v2/
  01_EN_devto.md
  02_RU_devto.md
  tools/
    linux_triage_readonly.sh
    fleet_triage.py
    review_manifest.py
    hosts.example.txt
  examples/
    example_findings.csv
    synthetic_evidence.txt
  templates/
    executive_report_example.md
    risk_register_template.csv
  README.md
Enter fullscreen mode Exit fullscreen mode

Идея простая: на доверенной машине работает Python orchestrator, он по SSH параллельно запускает удалённый Bash-collector, читает результаты и складывает их локально. На целевые машины не копируется постоянный агент, не ставятся пакеты, не меняются политики, не перезапускаются сервисы. Для каждого хоста есть отдельный файл, SHA-256 digest и manifest со статусом.

Потребуются Python 3, OpenSSH, заранее проверенные host keys в known_hosts, санкционированный SSH-доступ и sudo -n на выполнение команд сбора. Не нужно ради удобства отключать StrictHostKeyChecking.

Пример inventory:

# tools/hosts.txt — замените на свои реальные разрешённые хосты
ir-audit@build-01.example.internal
ir-audit@app-stg-02.example.internal
ir-audit@runner-03.example.internal
Enter fullscreen mode Exit fullscreen mode

Запускаем из корня распакованного архива:

python3 tools/fleet_triage.py \
  --hosts tools/hosts.txt \
  --out ./evidence-2026-11-13 \
  --workers 6 \
  --timeout 120
Enter fullscreen mode Exit fullscreen mode

Figure 05 — Fleet-Wide Security Triage, synthetic example

Результат: manifest.csv, manifest.sha256, файлы raw/<host>.txt. Ошибки подключения и тайм-ауты отдельно учитываются. После сбора можно выполнить python3 tools/review_manifest.py ./evidence-2026-11-13: это создаст отдельный offline quality-review CSV вне evidence-каталога. Он ищет пропуски, а не malware. Важная оговорка: это не memory acquisition и не forensic imaging. Это безопасный по замыслу экспресс-сбор, у которого есть ограничения, описанные в README.

А что внутри? Не магия, а вопросы к системе. Вот и погнали их ревьювить!

5.1 Identity & Access — начинаем с людей, ключей и полномочий

# Кто обладает UID 0?
awk -F: '$3 == 0 {print $1 ":" $3}' /etc/passwd

# Все локальные / доступные через NSS аккаунты
getent passwd

# Sudo include directory
find /etc/sudoers.d -maxdepth 1 -type f -print 2>/dev/null

# Эффективная конфигурация sshd (где поддерживается)
sshd -T 2>/dev/null | grep -E \
  '^(permitrootlogin|authorizedkeysfile|passwordauthentication|pubkeyauthentication) '
Enter fullscreen mode Exit fullscreen mode

Проверяем SSH keys в реальных home directories пользователей, а не только /home/username. Нам нужны fingerprint, владелец, origin, наличие approved change. Учитываем AuthorizedKeysCommand, SSH certificates, authorized principals и возможные cloud-injected keys.

Не забываем: несанкционированный ключ опасен, но неизвестный комментарий в конце public key сам по себе ещё ничего не доказывает. И не надо складывать private keys или secrets в общедоступную Jira-задачу.

5.2 Persistence — где Linux запускает вещи без нашего участия

# Включённые systemd service/timer units
systemctl list-unit-files --type=service,timer \
  --state=enabled --no-pager

# Запланированные timers
systemctl list-timers --all --no-pager

# Недавно изменённые unit files (только приоритизация)
find /etc/systemd/system /usr/local/lib/systemd/system \
  -type f -mtime -30 -print 2>/dev/null

# Системные cron locations
find /etc/cron.d /etc/cron.daily /etc/cron.hourly \
  -maxdepth 2 -type f -print 2>/dev/null
Enter fullscreen mode Exit fullscreen mode

Дополнительно смотрим user crontabs, at, user-level systemd units, drop-ins, /etc/profile.d, shell startup, PAM и restart policies контейнеров.

И маленький нюанс: mtime за 30 дней — не граница компрометации. Даты можно поменять, а вредоносная конфигурация может жить годами. Используем фильтр, чтобы начать поиск, а не чтобы закончить его.

5.3 Runtime & Network — что слушает, куда соединяется и от чьего имени

ss -lntup         # Listening sockets + process context
ss -tanp          # TCP connections
ip route show     # Routes
nft list ruleset 2>/dev/null
iptables-save 2>/dev/null
Enter fullscreen mode Exit fullscreen mode

Каждый неожиданный порт или outbound IP я сопоставляю с PID, binary path, owner, systemd unit, change history, service inventory и network flow logs. Reverse shell, запущенный периодически, вовсе не обязан светиться в тот момент, когда мы набрали ss.

Кстати, не начинаем с kill -9 по незнакомому PID: сначала evidence и понимание, что именно работает, если риск активного инцидента позволяет.

5.4 System integrity — что изменилось по сравнению с базой

# Debian/Ubuntu: если утилита уже установлена
debsums -c 2>/dev/null

# RHEL-подобные системы
rpm -Va

# Для конкретного suspicious file
stat /path/to/suspect
sha256sum /path/to/suspect
Enter fullscreen mode Exit fullscreen mode

Здесь очень легко получить ложное ощущение уверенности. Да, debsums сравнивает установленные package files с checksum-базой. Но Debian прямо пишет в man page, что как security tool он имеет ограниченную ценность. RPM тоже опирается на данные о пакетах, а не на магический внешний эталон.

Вывод: изменение бинарника — важный повод расследовать, но не автоматическое подтверждение rootkit. Отсутствие изменений — не доказательство доверия. Для сильного сравнения нужны verified images, подписанные артефакты, independent snapshots и package provenance.

С YARA я предпочитаю targeted scan, а не ковровую обработку / с полным чтением дисков и сетевых mount points:

# Только проверенные правила и санкционированный файл-образец
yara --timeout=30 /opt/ir/rules/reviewed_rules.yar /opt/ir/samples/suspect_file
Enter fullscreen mode Exit fullscreen mode

Синтаксис — по официальному YARA CLI. Rule match ещё нужно валидировать. No match не означает отсутствие кастомного импланта.


Как может выглядеть evidence "левого присутсвия"

Синтетические примеры корреляции Linux-артефактов

Покажу NDA-очищенный мини-кейс. Только для понимания ситуации и того как действуем.

Сигнал A: service вроде легитимный, но происхождение непонятно.

$ systemctl list-unit-files --type=service | grep telemetry
telemetry-bridge.service                enabled  enabled

$ systemctl show telemetry-bridge.service \
    -p FragmentPath -p DropInPaths -p User -p ExecStart
FragmentPath=/etc/systemd/system/telemetry-bridge.service
DropInPaths=
User=svc-ci
ExecStart={ path=/usr/local/bin/telemetry-bridge ; ... }

$ systemctl cat telemetry-bridge.service
# /etc/systemd/system/telemetry-bridge.service
[Unit]
Description=Telemetry bridge for build fleet
[Service]
User=svc-ci
ExecStart=/usr/local/bin/telemetry-bridge --config /etc/telemetry/bridge.yaml
Restart=always
[Install]
WantedBy=multi-user.target
Enter fullscreen mode Exit fullscreen mode

Пока здесь нет доказательств вредоносности. Это может быть обычный внутренний агент. Но в approved services catalog он отсутствует, в Terraform/IaC нет описания, а происхождение бинарника не подтверждено. Это unexplained deviation, а не «мы нашли malware».

Сигнал B: сетевое соединение, которое надо объяснить.

$ ss -tnp | grep 203.0.113.42
ESTAB 0 0 10.10.4.23:51862 203.0.113.42:443 users:(("telemetry-bridge",pid=2147,fd=11))
Enter fullscreen mode Exit fullscreen mode

TLS на 443 может быть нормальной телеметрией. Проверяем владельца назначения, учётку процесса, логи unit, историю развёртывания и бизнес-назначение. Внешний IP сам по себе не означает C2.

Сигнал C: ключ, который мог пережить offboarding.

$ ssh-keygen -lf /home/svc-ci/.ssh/authorized_keys -E sha256
256 SHA256:7aQ2EXAMPLEsyntheticFingerprintNOTREAL ci-deploy (ED25519)
Enter fullscreen mode Exit fullscreen mode

Здесь fingerprint — фиктивная строка, а не вычисленный хэш реального ключа. Настоящий отпечаток мы сравнили бы с корпоративным реестром разрешённых ключей и журналами SSH. Один отсутствующий change ticket не равен диверсии. Но необъяснённый ключ + неизвестный сервис + исходящий трафик + доступ к deployment secrets — достаточная причина срочно расширять расследование.

Read-only команды для точечной проверки, если права и влияние на продакшен согласованы:

# Реальные свойства сервиса и его конфигурация (без restart/reload)
systemctl show telemetry-bridge.service \
  -p FragmentPath -p DropInPaths -p User -p ExecStart
systemctl cat telemetry-bridge.service

# Ограниченная временная выборка из journal (retention зависит от ОС)
journalctl --utc --no-pager -u telemetry-bridge.service \
  --since '2026-11-01 00:00:00' --until '2026-11-13 23:59:59'

# Эффективный SSH policy с учётом гипотетического Match-контекста
sshd -T -C user=svc-ci,host=reviewer.example.internal,addr=192.0.2.44 \
  | grep -E '^(authorizedkeysfile|authorizedkeyscommand|permitrootlogin|pubkeyauthentication) '

# На доверенной машине, из каталога evidence
(cd ./evidence-2026-11-13 && sha256sum -c manifest.sha256)
Enter fullscreen mode Exit fullscreen mode

sshd -T без -C может не показать влияние Match blocks; здесь host и addr обозначают подключающегося клиента, а не сам сервер; это подтверждает мануал OpenSSH. Локальные логи и утилиты на потенциально скомпрометированном сервере нельзя считать неоспоримыми. Их нужно сопоставлять с forwarded logs, историей CI и control-plane events.

И помним об ограничениях single snapshot: периодический timer сейчас может не работать, user-level systemd может быть выключен, socket activation не обязана выглядеть как активный процесс, а секрет в cloud IAM вообще не отобразится на диске. Поэтому несколько независимых проходов, а не вера в один снимок.

6. Второй проход а найти отклонения, а не читать все логи подряд

Массовый сбор — лишь половина работы. Иначе я просто превращу один большой список серверов в 100 больших TXT-файлов. Спасибо, конечно, но мне нужен ответ.

Поэтому делим хосты на cohorts: CI runners, app nodes, database nodes, production/staging, family ОС, версия image и т.д. После этого смотрим cross-host deviations: необычный UID 0, новый SSH fingerprint, уникальный service/timer, нестандартный listener, непонятный sudo rule.

Нельзя сравнивать PostgreSQL-сервер и build runner как два одинаковых хоста. Иначе аномалий будет столько, что расследование превратится в конкурс на самую красивую таблицу.

Если в инфраструктуре есть osquery, через osqueryi или Fleet можно выполнить:

SELECT username, uid, gid, directory, shell
FROM users WHERE uid = 0;

SELECT pid, port, protocol, address
FROM listening_ports;

SELECT pid, name, path, cmdline
FROM processes;
Enter fullscreen mode Exit fullscreen mode

Уточняем схемы tables под вашу версию и платформу; query results зависят от прав, включённой телеметрии, доступности хостов и настроек Fleet. Это не универсальная машина времени, которая видит все предыдущие события.

Для deeper collection использую концепцию Velociraptor Hunts: тестирую Linux-oriented artifacts на одном-двух эталонных хостах, запускаю их на выбранной группе, анализирую consolidated results и дополнительно собираю evidence с outliers. В частности, полезны user/SSH/systemd/cron/process/network artifacts и выборочный collection подозрительных файлов. Не нужно собирать гигабайтные дампы со всех машин без понятной цели и storage plan.

Наиболее убедительная находка — это не просто странная строка, а пересечение нескольких независимых сигналов:

Неожиданный SSH key
         +
Неизвестный systemd service
         +
Непривычный outbound connection
         +
Нет change request / IaC explanation
         +
Доступ к CI/CD или cloud credentials
         |
         v
Priority: investigate and contain
Enter fullscreen mode Exit fullscreen mode

Ни один из элементов по отдельности не гарантирует компрометации. В совокупности они формируют attack story.

Небольшой osquery hunt: как находить outliers в масштабе

Если osquery уже работает в окружении, можно использовать такие запросы. Они опираются на опубликованные upstream schemas; перед запуском на всём fleet проверьте доступность таблиц и имена колонок для своей версии через .schema в osqueryi.

-- UID 0: проверить владельцев, но не объявлять их атакующими
SELECT username, uid, directory, shell FROM users WHERE uid = 0;

-- Linux systemd: сравнивать хосты с одинаковой ролью и образом
SELECT id, unit_file_state, active_state, fragment_path, user
FROM systemd_units
WHERE unit_file_state = 'enabled';

-- Cron: что выполняется, откуда взялось правило
SELECT path, command, minute, hour, day_of_week FROM crontab;

-- Сетевые listeners + процесс (одноразовый snapshot)
SELECT l.address, l.port, l.protocol, p.pid, p.name, p.path, p.cmdline
FROM listening_ports AS l
LEFT JOIN processes AS p ON l.pid = p.pid;
Enter fullscreen mode Exit fullscreen mode

Документация по полям: systemd_units, crontab, listening_ports. Не все таблицы доступны на всех ОС, а live query не создаёт задним числом историческую телеметрию.

Сравниваю не «все серверы со всеми», а одинаковые роли, версии образов, environment и release cohort. Если из шести build runners пять имеют три custom units, а шестой четыре, — это повод проверить шестой. Не повод автоматически объявить его заражённым.

7. Linux-хосты — только половина всей е###й картины

Радиус влияния через CI/CD и контрольную плоскость

Допустим, проверили машины. Никаких подтверждённых backdoors. Можно расслабиться? Нет. Потому что DevOps часто управляет не только серверами, но и путём поставки кода на эти серверы.

Представьте, что в GitLab остался deploy key, в CI — runner неизвестного происхождения, в cloud IAM — роль с внешним trust relationship, в Kubernetes — ClusterRoleBinding, а в registry — credential с write access. Человеку уже не нужен shell на Linux: достаточно возможности повлиять на то, что запустится при следующем deployment.

Поэтому проверяем не только host plane, но и control plane:

Где проверяем Что ищем Откуда evidence
IdP / SSO Аккаунты, группы, sessions, MFA exceptions, shared identities Access review, identity audit logs
Git / CI/CD Deploy keys, PAT, runners, scheduled jobs, webhooks, protected branches Repo history, Git audit, CI console
Cloud IAM Roles, trust policies, access keys, instance metadata, security groups Cloud audit logs и control-plane state
Kubernetes RBAC, service accounts, secrets, privileged workloads API audit logs, GitOps desired state
Artifact registry Write access, image tags, signatures, build provenance Registry events, release records
Secrets / KMS Vault policies, signing keys, DB credentials, SSH CA Secret manager, IAM logs
Backups / Recovery Кто может удалить backups и менять restore path Отдельный recovery control plane

Figure 06 — CI/CD Runner Security Audit, synthetic example

Причём Terraform repository сам по себе не является trustworthy baseline, если бывший администратор мог менять и репозиторий, и state. Ищем независимые источники: signed releases, неизменяемые логи, согласованные changes, исторические snapshots.

И, пожалуйста, не забудь про DNS, domain registrar, alert routing и vendor support accounts. Иногда самый живучий persistence находится совсем не там, где мы привыкли запускать ps aux. Да, да, мэн!


Control plane: кто сможет изменить следующий deployment?

Второй, независимый источник — административные интерфейсы Git, CI/CD, IdP и cloud. Моя цепочка проверки: principal → permission → action history → artifact → revocation/rotation result. Она позволяет ответить на Product Security-вопрос: сможет ли кто-то поменять build завтра, даже если на сегодняшней VM ничего не найдено?

Например, при согласованном read-only review Kubernetes:

kubectl get clusterrolebindings -o wide
kubectl get rolebindings -A -o wide
Enter fullscreen mode Exit fullscreen mode

Эти команды только перечисляют bindings: сами по себе они не анализируют effective privileges или cloud IAM integration. Для GitHub полезен организационный audit log. Для AWS нужно учитывать границы: стандартный CloudTrail Event history — это недавние management events за 90 дней, по отдельному аккаунту и региону. Отсутствие записи там не доказывает, что не было чтения данных. Для этого нужны соответствующие заранее настроенные trails и другие источники аудита.

Иногда самый опасный остаточный доступ — вовсе не SSH, а Git deploy key, registry credential, доверенный runner или IAM role. Удалить VM, но забыть про них — значит переставить дверь и оставить ключи у прежнего владельца.

8. Как должен выглядеть report и заключение для CISO

Я бы делал два уровня отчёта: executive summary на одну страницу и технические findings с возможностью повторить проверку.

Пример полностью вымышленного summary:

Метрика Пример Что означает
Hosts in scope 64 Согласованный inventory
Evidence collected 58 Coverage 90,6%
Unreachable / incomplete 6 Unknown, не cleared
Hosts with notable anomalies 8 Требуют triage, не обязательно инциденты
Confirmed unauthorized persistence 1 Только вымышленный пример
«Проверены и доказанно чисты» Такого вывода сканер не делает Trust устанавливается шире

Эти цифры придуманы для структуры отчёта. Они не относятся к закрытому проекту.

А теперь пример карточки finding:

Finding ID:           LIN-IR-007
Asset / Role:         runner-03 / CI build runner
Source:               SSH triage + CI audit
Artifact:             unexpected authorized_keys fingerprint
Evidence:             raw/runner-03.txt + change history + IdP audit
Validation:           нет approved owner / change (в примере)
Exposure:             VPN-reachable SSH
Privilege Context:    runner has access to deployment credentials
Blast Radius:         build -> registry -> production
Severity/Priority:    P0 pending containment approval
Confidence:           Medium — происхождение ключа ещё проверяется
Treatment:            restrict, preserve, revoke, rotate, investigate,
                      consider trusted rebuild
Owner:                Incident Commander / Infrastructure
Status:               Investigating
Enter fullscreen mode Exit fullscreen mode

В ZIP есть examples/example_findings.csv со строками для четырёх ситуаций: легитимное отклонение, неизвестный артефакт, high-risk signal и ошибка сбора.

Отделяем факт от гипотезы — и не обещаем того, чего не измерили

Для каждого finding я бы хранил отдельные поля: observed fact, артефакт-доказательство, гипотеза, independent corroboration, product/business impact, confidence, owner и следующий шаг. Не пишем «обнаружен бэкдор», если обнаружен лишь непонятный service.

Синтетический пример risk register:

IR-2026-DEMO-014 | build-01 | CI runner
FACT: Найден enabled local service 'telemetry-bridge.service'.
FACT: Процесс сервиса установил TLS-соединение с 203.0.113.42:443.
HYPOTHESIS: Возможно, это неутверждённая интеграция или persistence.
CORROBORATION: Нет IaC/change record; проверка cloud/CI logs ещё идёт.
STATUS: HIGH-RISK UNRESOLVED — не подтверждённая вредоносность.
BLAST RADIUS: У runner есть write access к artifact registry.
NEXT: Сохранить evidence; ограничить runner; проверить credentials;
      ротировать раскрытые секреты; принять решение о rebuild.
Enter fullscreen mode Exit fullscreen mode

В management summary отдельно указываются и пробелы наблюдения: истёкший retention, offline hosts, недостаточные права, локально подменяемые логи, сторонние SaaS-коннекторы, исключённые workloads. Приоритет проблемы и уверенность в выводе — разные измерения.

Хэши SHA-256 из нашего toolkit пригодны для проверки, что файл выгрузки не изменили после сбора. Но они не гарантируют, что удалённый Linux-хост отвечал правдиво и что цепочка хранения evidence соответствует требованиям полноценной судебной экспертизы.

Матрица решения

Состояние Evidence Что делаем
Confirmed malicious / unauthorized Подтверждённая закладка, несанкционированный доступ или tampering Containment, preservation, scope, rebuild trust boundary, rotation
High-risk unresolved Сильные сигналы, доступ к crown jewels, неясное происхождение Ограничить, углубить DFIR, критичные системы — кандидаты на rebuild
Explained deviation Независимо подтверждённый approved change Документировать и мониторить
No observed IoCs + good coverage Комплексная проверка, доверенные сравнения, control-plane audit Условное использование с residual risk и monitoring
Not scanned / insufficient evidence Offline host, нет прав, отсутствуют логи Unknown, никакого clearance

И отдельный нюанс: Severity finding и Confidence вывода — разные поля. Когда хост недоступен, это не «Low Risk». Это «не знаем».

9. Rebuild vs reuse: что сказать руководству

Как принять решение: пересоздать, расследовать или использовать условно

Вот здесь начинается настоящая работа Security Manager / Product Security Lead. Потому что результат исследования — не только список CLI-команд, а решение, за которое кто-то должен отвечать.

Сценарий A. Ничего подозрительного не нашли

При хорошем coverage, независимых эталонах, проверенных identity/CI/CD/cloud, ротации критичных credentials и понятных остаточных рисках можно рассмотреть продолжение эксплуатации. Не «доказано чисто», а «доказательств компрометации в рамках определённой проверки нет, residual risk принят владельцем».

Сценарий B. Есть аномалии, но доказательств недостаточно

Ограничиваем доступ, сохраняем evidence, расширяем investigation, проверяем peer hosts и cloud plane. Для CI/CD controllers, bastion и других crown jewels trusted reprovisioning может быть экономически разумнее, чем долго искать, что означает очередной странный startup file.

Сценарий C. Нашли подтверждённый unauthorized access или persistence

Запускаем formal incident response, сохраняем доказательства (когда это безопасно), изолируем affected assets и identities, определяем blast radius. Если OS-level integrity под вопросом — пересоздаём системы из проверенных images и reviewed IaC, а не переносим старый /etc целиком. Ротируем секреты по всему reachable scope: CI/CD, cloud, registry, SSH, KMS, DB, signing keys. Проверяем, не скомпрометирован ли сам deployment pipeline.

И я бы не сказал, что один незнакомый public key автоматически означает «снести 200 серверов». Но и отсутствие находок chkrootkit не даст права оставить недоверенный build controller с production deploy credentials.

Пример risk disposition, который можно подписывать

ASSET: build-01
Role: CI/CD controller, production deployment access
Coverage: host collected; historical control-plane logs incomplete
Host IoCs: none confirmed
Identity review: completed
CI/CD credentials: two historical tokens remain unaccounted for
Trusted rebuild: available
Decision: REBUILD BEFORE RETURN TO HIGH-TRUST DUTIES
Rationale: blast radius + unresolved secret provenance
Owner: Infrastructure / Security
Verification: key rotation + fresh build + deployment validation
Enter fullscreen mode Exit fullscreen mode

Главное здесь, в этой главе — traceability: какие факты мы знаем, какие нет, почему решение именно такое.

Rebuild — это восстановить доверие, а не удалить страшную папку

Если нужно пересоздавать, то из independently reviewed known-good sources: hardened images, проверенный IaC, контролируемые CI pipelines, новые service identities, переизданные secrets, чистые runners и проверенные release artifacts. Если прежний оператор контролировал базовый образ или pipeline его сборки, повторное создание виртуалок из того же самого источника не восстанавливает доверие.

Я бы сделал recovery gate из шести пунктов: (1) закрыта исходная точка доступа; (2) проверены identity/cloud permissions; (3) есть доверенная provenance сборки и provisioning; (4) логи и monitoring вновь защищены; (5) проведён functional/security smoke test и есть rollback; (6) residual risk принял конкретный владелец.

После острой фазы нужно убрать системную причину: автоматизированный joiner/mover/leaver, two-person review привилегированных изменений, ephemeral CI runners при возможности, учёт всех ключей/ролей, удалённые immutable logs, регулярная проверка восстановления из backup и baseline drift monitoring.

Наша цель не доказать отсутствие всех возможных угроз. Это просто невозможно. Цель — сделать так, чтобы старый привилегированный путь больше не позволял влиять на продукт.

10. Action Plan на первые 24 / 48 / 72 часа

Окно Действия Результат
0–4 часа Incident owner, offboarding, ограничение доступа, preservation, crown jewels Containment record + inventory
4–24 часа Массовый SSH triage, coverage, identity/cron/systemd/network/integrity Первый список findings
24–48 часов Velociraptor/osquery, targeted YARA, cross-plane проверка CI/CD/cloud/secrets Confirmed / explained / unknown
48–72 часа Rebuild/rotation plan, владельцы, новый baseline, решение бизнеса Decision log + remediation tracker

Это плановые интервалы, не гарантия закончить любой IR за трое суток. Если есть active intrusion, потерянные журналы или необходимость полноценной digital forensics — последовательность и сроки будут другими.

Чего точно не стоит делать

  • Устанавливать пачку нового ПО на все подозрительные хосты до сохранения evidence.
  • Считать антивирус, rkhunter или chkrootkit доказательством чистоты.
  • Автоматически удалять незнакомые юниты, ключи и cron jobs до attribution.
  • Путать отсутствие сетевого соединения в момент проверки с отсутствием remote access.
  • Исключать «недоступные» хосты из denominator, чтобы метрика coverage стала красивее.
  • Забывать о CI/CD и cloud IAM, потому что задача якобы «только про Linux».

Вместо заключения: почему эта история всё-таки про Product Security

Формально задача была ближе к Infrastructure Security, Threat Hunting и DFIR, чем к классическому AppSec. Но если эти машины собирают продукт, хранят deployment credentials, управляют staging и production, то вопрос доверия к ним — прямой Product Security risk.

Я всегда стараюсь мыслить не категориями «какую утилиту мы сегодня запустили», а примерно такой цепочкой:

Asset -> Identity -> Persistence -> Evidence
      -> Blast Radius -> Treatment -> Verification
Enter fullscreen mode Exit fullscreen mode

Именно это отличает техническую проверку от risk decision.

В таких ситуациях, конечно, полезен DFIR-специалист; особенно если речь об активном злоумышленнике, глубокой memory forensics или возможной компрометации ядра. Но даже один AppSec-инженер может быстро собрать качественную первичную картину, если правильно выстроит scope, методы сбора, приоритеты и критерии дальнейших действий.

Моя главная мысль:

«Мы ничего не нашли» — результат проверки. «Этой инфраструктуре можно доверять» — управленческое решение о риске. Это не одно и то же.

Не путайте эти вещи. Особенно если от них зависит следующий релиз, клиентские данные и право вашей компании снова нажать Deploy.

Источники и полезная документация

  1. NIST SP 800-61 Rev. 3 — Incident Response
  2. MITRE ATT&CK — SSH Authorized Keys, T1098.004
  3. MITRE ATT&CK — Systemd Service, T1543.002
  4. MITRE ATT&CK — Cron, T1053.003
  5. Velociraptor — Hunting и Deployment
  6. Fleet — REST API / Live Queries
  7. Wazuh — File Integrity Monitoring
  8. YARA — Command-Line Guide
  9. Debian — debsums manual
  10. Sandfly — официальная документация agentless Linux security
  11. GitHub — Secure Use of Self-Hosted Runners
  12. GitHub — Organization Audit Logs
  13. OpenSSH sshd — Effective Configuration and Match
  14. MITRE — Systemd Timers, T1053.006
  15. MITRE — Kubernetes Roles, T1098.006
  16. osquery — Linux systemd table
  17. AWS — CloudTrail Event History
  18. Tracee — Runtime Security / eBPF
  19. Sandfly — обновление с agentless response, июнь 2026

Команды предназначены для санкционированной defensive-проверки. Перед использованием на production проверьте совместимость с дистрибутивом, нагрузку, модель доступа и требования по сохранению evidence.

Top comments (0)