AppSec и Linux DFIR: легитимно выглядящие закладки, автоматизация fleet triage, evidence, business impact и решение о пересоздании. Linux Threat Hunting, массовый triage и одна неприятная задача, которая досталась Application Security Champion.
ЧТО ПРОИЗОШЛО?
Представьте себе обычный рабочий разговор. Разрабы воркают, сервисы крутятся, CI/CD что-то собирает, мониторинг поинты преимущественно зеленый. Заканчивается обед и тут кто-то задает вопрос, после которого в комнате становится заметно тише:
«Наш DevOps уволился. Причем разошлись мы, скажем так, не очень хорошо. Он поднимал почти всю эту инфраструктуру. Мы вообще уверены, что там ничего не осталось?»
И все смотрят на Security. Не на ClamAV, не на Grafana, а на человека, который занимается Application Security. Ну, вообщем на меня!
Ну что ж, поздравляем: зона ответственности только что увеличилась без согласования с HR. :)
С задачей такого класса мне доводилось сталкиваться в контексте Product Security / Application Security. Моя основная работа была связана с безопасностью продукта, процессов разработки и доставки ПО. Но когда человек, поддерживавший значительную часть Linux-инфраструктуры, ушел при сложных обстоятельствах, а другой профильной экспертизы на месте не оказалось, разбираться пришлось мне. Не потому, что AppSec внезапно стал полноценным DFIR-подразделением. А потому, что на этих машинах разрабатывался, собирался и разворачивался продукт. И риск был уже продуктовым. Так что, парни, это мой выход!
*Сама постановка задачи звучит просто: *много Linux-серверов, один специалист, мало времени. Нужно проверить, не оставил ли бывший привилегированный оператор скрытых способов удалённого доступа, неизвестных сервисов, изменённых конфигураций или чего-то похуже. И на основании проверки сказать бизнесу, можно ли продолжать работу или безопаснее заново пересоздать инфраструктуру.
Но правильный вопрос грамотного экперта я бы сформулировал иначе:
Как восстановить доверие к инфраструктуре, которую создавал и администрировал человек, чей доступ мы больше не считаем доверенным?
Disclaimer / NDA. Это анонимизированное изложение реального класса задачи и моего личного подхода к ресерчу. Название компании, технические детали, точное количество серверов, сроки и фактический результат закрытого проекта я не раскрываю по пончтным причинам. Все имена хостов, числа в примерах, findings и фрагменты отчётов ниже — синтетические иллюстрации, не данные реального расследования. И да: конфликт при увольнении сам по себе не доказывает злонамеренных действий. Однако, мы проявляя должную осмотрительность и здравый скептицизм, проверяем доступы, артефакты и доверие, а не характер бывшего коллеги.
1. Если сервис работает — это ещё не значит, что ему можно доверять
Начнём с типичной инфраструктуры software-компании, где ведется разработка кастомного внутреннего ПО и юзаются стандартные сервисы для корпорейта. Есть Linux-машины для development, staging, internal services, self-hosted runners, build agents, контейнеров, deployment-автоматизации. Часть из них может иметь доступ к секретам, registry, облачным API или production Kubernetes. Всё работает. Значит ли это, что всё безопасно? - Конечно НЕТ.
Бывший администратор с достаточными правами теоретически мог оставить механизмы persistence, которые выглядят очень буднично:
- дополнительный SSH public key в
authorized_keysсуществующего пользователя; - вторую учётку с UID 0 или неожиданное правило
sudo; -
systemdservice, user service, timer либоcrontask; - reverse SSH tunnel, исходящее соединение или подменённую конфигурацию SSH;
- изменённые
iptables/nftables, неожиданный port forwarding; - CI/CD runner, deploy key, webhook, registry credential;
- cloud IAM role или Kubernetes service account с избыточными правами;
- изменённый startup script, бинарник, hook или загружаемый модуль.
ВНИМАНИЕ:практически все из этого может использоваться и легитимно. Поэтому странный файл — не доказательство backdoor, так же как отсутствие найденного malware — не доказательство чистоты системы.
Мой рабочий threat model выглядит так:
Бывший privileged operator
|
+--> Identity: SSH / sudo / IdP / VPN / cloud IAM
|
+--> Persistence: cron / systemd / hooks / containers
|
+--> Remote access: ports / tunnels / control plane
|
+--> Supply chain: Git / CI/CD / registry / signing
|
+--> Data & Ops: secrets / backups / databases
|
v
Product integrity + business impact
Эти техники хорошо описаны в MITRE ATT&CK: SSH Authorized Keys, T1098.004, Systemd Service, T1543.002 и Cron, T1053.003. Никакой голливудской магии. Обычные возможности Linux, которые в другом контексте становятся механизмами злоупотребления.
Самый убедительный backdoor выглядит как штатная инфраструктура
Есть опасное заблуждение: «AV ничего не нашёл, значит, закладок\малвари нет». Антивирус полезен против известных образцов malware. Но он не предназначен для ответа на другой вопрос: должен ли существовать этот абсолютно корректный SSH-ключ, systemd unit, cloud role или CI/CD runner? Никакого вредоносного исполняемого файла может вообще не быть. Механизм persistence — обычная административная функция, только используется она в таком ключе без разрешения.
| Как выглядит механизм | Почему AV может не сработать | Что проверять |
|---|---|---|
| Дополнительный SSH-ключ существующего пользователя | Публичный ключ не является вирусом | Fingerprint, владелец, change ticket, история логинов, альтернативные источники ключей |
systemd-сервис «для мониторинга» |
Сервисы и должны автоматически запускаться | Unit + drop-ins, ExecStart, package ownership, destination, IaC и автор изменения |
| Deploy key или automation token | Это обычные сущности CI/CD | Кто создал, scope прав, last used, кто может отозвать, где лежит |
| Self-hosted runner | Запуск build jobs — его легитимная работа | Кто зарегистрировал, история задач, labels, доступ к secrets, egress |
| IAM trust policy, Kubernetes RoleBinding | На диске Linux вообще ничего подозрительного | Журналы control plane, права, доверенные identities, история изменений |
| Сервис удалённого обслуживания | Туннели и relay бывают вполне законными | Business owner, документация, дочерний процесс, endpoint, persistent config |
Всё это — модель потенциального риска, а не обвинение бывшего инженера. Хорошие отправные точки для проверки: MITRE T1098.004 — SSH Authorized Keys, T1053.006 — Systemd Timers и T1098.006 — Kubernetes Roles. Нормальные функции инфраструктуры становятся проблемой, когда теряется контроль над тем, кто и зачем их включил.
Чем один доступ на build runner грозит бизнесу
Вопрос не в том, что кто-то прочитает /etc/passwd. Вопрос — до чего этот сервер может дотянуться дальше. При определённом уровне привилегий неавторизованный оператор теоретически способен сделать pivoting:
| К чему есть доступ | Возможный сценарий | Последствия для бизнеса |
|---|---|---|
| Production DB или snapshots | Выгрузка клиентских данных / интеллектуальной собственности | Уведомления об утечке, юридические и репутационные потери |
| CI/CD runner и deploy secrets | Подмена артефактов сборки, выпуск изменённого продукта | Supply-chain incident, компрометация релизов |
| Cloud IAM и service identities | Изменение прав, отключение журналов, управление ресурсами | Потеря контроля, простой, неожиданные расходы |
| Backups / DR permissions | Уничтожение или порча резервных копий | Увеличение RTO, сложное или невозможное восстановление |
| DNS, ingress, registry, signing | Перенаправление трафика, публикация неподписанных или чужих артефактов | Ущерб клиентам, нарушение целостности продукта |
| Monitoring / alerting | Подмена событий или отключение алертов | Позднее обнаружение и недостоверная timeline |
Это гипотетические варианты blast radius, не результаты NDA-расследования. Но именно из-за них маленький неизвестный сервис на невзрачной Linux-машине может быть куда серьезнее, чем очередная новая CVE со средним CVSS или лютейшая с critical rate 9.0.
Кстати, GitHub отдельно предупреждает о рисках постоянных self-hosted runners: в отличие от чистой ephemeral VM, такой runner может сохранить последствия выполнения недоверенного build code. Для Product Security это уже часть цепочки доверия к релизам, а не просто хост из зоны ответственности DevOps.
2. Главная ошибка — сразу запускать сканеры и надеяться на быстрый результат
Я понимаю желание быстро поставить пять утилит, запустить на всех серверах, получить красивую HTML-таблицу и написать руководству: Security Check Completed. Но сначала нужно договориться о модели доверия.
Я задал бы себе три вопроса:
- Как выглядит весь scope? Если мы проверили 70 серверов, но ещё 12 никто не включил в inventory, отчёт почти бесполезен.
- Кому принадлежит канал проверки? Если старый администратор контролировал bastion, automation account или наш SSH-ключ, может ли сама процедура сбора evidence считаться независимой?
- Что мы успеем сохранить? Вход на сервер, установка софта, сброс ключей и перезапуск сервисов меняют состояние системы. Иногда это допустимо ради немедленного containment, иногда сначала нужно сделать snapshot и сохранить volatile artifacts.
Поэтому я строю временный investigation boundary: отдельная доверенная рабочая машина, новый санкционированный доступ, защищённое хранилище evidence, список ответственных и согласованный change freeze для критичных компонентов.
Если прямо сейчас есть признаки активного проникновения — containment важнее идеальной процедуры. Но если активного инцидента не видно, сначала фиксируем процессы, сетевые соединения, журналы и доступные snapshots. Не начинаем расследование с перезагрузки подозрительного хоста. Общий подход хорошо согласуется с NIST SP 800-61 Rev. 3.
Что я делаю в первые 60 минут после инцидента
Вместе с IT/Infrastructure и ответственным за incident response:
- блокирую доступ бывшего сотрудника в IdP/SSO, VPN, bastion, Git, CI/CD, cloud, remote support;
- отзываю связанные с ним active sessions, PAT, deploy keys, refresh tokens и другие credentials, к которым у него мог сохраниться доступ;
- отдельно проверяю shared accounts и service identities — они часто переживают увольнение лучше любого человека;
- ограничиваю административные endpoints, смотрю inbound и egress;
- защищаю логи и резервные копии от изменений прежними привилегированными учётками;
- подтверждаю независимый break-glass access, прежде чем отключать единственный работающий admin login.
Ротация секретов может положить production, поэтому делается осмысленно: scope, зависимости, порядок, rollback. В острых случаях доступ перекрываем сразу, но не превращаем emergency response в неконтролируемое разрушение собственной инфраструктуры.
Evidence: сначала сохранить историю, потом делать выводы
Я бы с самого начала вёл короткий evidence & decision log. Да, скучная бюрократия. Но без неё через неделю никто не сможет объяснить, что именно мы наблюдали, какие данные уже поменяли своими действиями и почему решили пересоздавать конкретный сервер.
- ID расследования, согласованный scope, уполномоченные люди и статус: профилактическая проверка после увольнения или подтверждённый incident response.
- Время сбора по UTC и погрешность часов источника, версия и хэш collector, investigator identity, путь подключения, ID облачного ресурса.
- Способ получения: live SSH, trusted snapshot, старый EDR, независимые cloud/audit logs. Неудачные и неполные попытки фиксируем так же внимательно.
- Куда помещён оригинал, SHA-256 собранных данных, контроль доступа и цепочка дальнейших операций. Хэш помогает заметить последующее изменение файла, но не доказывает достоверность информации на источнике.
- Какие containment-изменения пришлось сделать до preservation (отзыв токена, изоляция сети), с причиной и ответственным.
Если у потенциального нарушителя был root, выводы ps, ss, find, package manager и локального security agent могут быть подменены. Поэтому SSH collector — первичная разведка, а не независимое доказательство чистоты. Ему нужны внешние точки опоры: журналы облака и SSO, уже накопленные EDR-события, защищённые backups, золотые образы, подписанные артефакты и история изменений. Для юридически чувствительных кейсов нужен полноценный DFIR-процесс с квалифицированной командой, а не только мой AppSec runbook.
И ещё: искать исключительно файлы, изменённые «за последние семь дней», недостаточно. Закладка может быть гораздо старше. А timestamps можно легко изменить ведь на то мы\они и хЭкеры. Timeline я строю от последнего независимо подтверждённого trusted state, а не от даты конфликта при увольнении. Это соответствует подходу NIST SP 800-61 Rev. 3 (апрель 2025): evidence, реакция и восстановление — части единого risk management.
3. Asset inventory — самая скучная и самая важная часть
Парк серверов — это не список IP-адресов, который кто-то когда-то сохранил в Excel. Я бы свел вместе cloud inventory, гипервизор, Terraform/IaC, CMDB, Ansible/SSH inventory, Kubernetes nodes, self-hosted runners, DNS и журналы развёртывания. Это уже field для ресерча.
Минимальная карточка: asset_id, hostname, environment, role, owner, criticality, external_exposure, collection_status, last_seen.
Дальше обязательно распределить машины по состоянию:
| Категория | Что означает | Что делать |
|---|---|---|
| In scope / collected | Evidence получены | Анализировать и указывать confidence |
| In scope / unreachable | Хост есть, но проверить не удалось | Unknown, искать альтернативный путь |
| Shadow asset | Нашли вне inventory | Установить владельца, приоритизировать |
| Ephemeral / terminated | Хост уже исчез | Смотреть облачные и orchestration audit logs |
| Explicitly out of scope | Исключён из проверки | Записать причину и того, кто согласовал |
Я отдельно считаю coverage, а не только «количество обнаруженных угроз». Например, если мы собрали артефакты с 58 машин из 64, то coverage = 90,6%. Оставшиеся шесть — это не зелёные хосты. Это шесть вопросов без ответа.
4. Выбираем software: Open Source, коммерческие решения и здравый смысл
Сразу скажу: какого-то одного волшебного сканера, который гарантированно найдёт все backdoors, нет. А если кто-то продает такой — лично я бы начал с threat modeling этого обещания. :) Ну, вы понимаете к чему я))
Мне нужен набор разных источников evidence. И он вполне может обойтись без дорогой закупки.
| Инструмент | Лицензия / модель | Для чего полезен | Ограничения |
|---|---|---|---|
| OpenSSH + небольшой collector | Бесплатно, без установки агента | Экспресс-сбор с десятков хостов | Зависит от SSH и доверия к локальным утилитам |
| Velociraptor | Open Source | DFIR, VQL, артефакты, fleet-wide Hunts | Развёртывание и сбор влияют на endpoints, требуют планирования |
| osquery + Fleet | Open Source engine; у Fleet есть free/paid возможности | SQL-запросы, inventory, drift detection | Ограничен телеметрией ОС и возможностями конкретной версии |
| Wazuh | Open Source, агентный подход | FIM, конфигурации, долгосрочные события | Если baseline снят уже после компрометации, он не становится доверенным автоматически |
| YARA | Open Source | Поиск IoC / известных семейств в отдельных файлах и образцах | Match — сигнал; no match — не оправдательный приговор |
| Lynis / chkrootkit / rkhunter | Free / Open Source | Дополнительный audit и known rootkit checks | Много шума, blind spots, не полноценная форензика |
| Sandfly Security | Коммерческий, agentless по SSH | Специализированный Linux threat hunting | Лицензия, SSH-доступ, ограничения видимости с хоста |
| CrowdStrike / SentinelOne / Elastic Security | Коммерческие / смешанные модели | EDR telemetry, historical hunting, response | Сильно зависит от покрытия и retention |
При срочной проверке моим базовым решением было бы:
Parallel SSH triage → сравнение аномалий → Velociraptor / osquery → выборочный integrity + YARA → CI/CD и cloud-control-plane review → risk decision.
Причём ставить новый агент на каждый Linux-сервер я бы не спешил. Если уже есть работающий EDR — используем его. Если нет — начинаем с более лёгких способов сбора и точечно расширяем исследование.
Документация: Velociraptor Hunts, Deployment, Fleet API, Wazuh FIM, Sandfly Linux IR.
Что ещё добавить в toolbox, а что не стоит переоценивать
AIDE полезен для file-integrity drift, если эталон был создан до инцидента и хранится независимо от проверяемой машины. Falco или Tracee дают runtime-сигналы; например, Tracee использует eBPF. Но установленный сегодня sensor не восстановит события, которые никто не записывал вчера. И внедрять привилегированное наблюдение на подозрительном ядре без preservation — отдельный риск.
Sandfly здесь заслуживает самостоятельного внимания. По официальной документации это agentless Linux detection / response через SSH, с проверками компрометации и сбором forensic evidence. В релизе от июня 2026 года появились дополнительные response-возможности. При первичной проверке я не включал бы действия удаления или остановки процессов без согласования. И agentless не означает, что сервер вообще не затрагивается или что он не способен ввести сканер в заблуждение.
Я бы выбирал инструмент под вопрос:
| Что хочу понять | Начальный метод | Углублённый метод |
|---|---|---|
| Какие машины, учётки, сервисы существуют? | SSH collector / существующий osquery | Velociraptor, alternate acquisition |
| Что отклонилось от trusted baseline? | Approved changes, IaC, старые inventory | Защищённая AIDE/FIM-история, trusted images |
| Идёт ли подозрительная активность сейчас? | EDR, процессы/сеть, cloud logs | Controlled runtime sensor / DFIR acquisition |
| Совпадает ли файл с известным IoC? | YARA по проверенным sample files | Форензика и верифицированная threat intelligence |
| Кто сможет менять следующий релиз? | Git/CI/CD/IAM/registry review | Re-enroll runners, rotate creds, trusted builds |
Особенно важно: chkrootkit, rkhunter и Lynis не выдают сертификат «система безопасна». Даже мануал Debian по debsums прямо отмечает его ограниченную пригодность как security-инструмента.
Как установить и запустить инструменты, не испортив расследование
Для первого прохода на подозрительные серверы ставить ничего не нужно. Python 3 и OpenSSH находятся на доверенной operator machine, Bash collector передаётся в уже разрешённую SSH-сессию. Сначала тестируем на одной некритичной и репрезентативной Linux-машине, затем повышаем parallelism.
Для дополнительных targeted checks я бы подготовил отдельную доверенную Ubuntu/Debian analysis VM. На неё можно поставить базовые инструменты:
# Только на чистой ANALYSIS VM, а не на сервере до preservation:
sudo apt-get update
sudo apt-get install --no-install-recommends yara lynis
yara --version
lynis --version
debsums доступен как Debian/Ubuntu package, но устанавливать его прямо на потенциально скомпрометированный хост до preservation — значит менять evidence. Лучше использовать уже имеющиеся средства или отдельно согласованный acquisition. YARA запускаем по проверенным правилам и выбранным образцам, а не наугад по /. sudo lynis audit system полезен для hardening review на лабораторной или уже сохранённой системе; утилита создаёт отчётные файлы, поэтому я не включаю её в первый read-only проход.
Velociraptor: по official quickstart скачиваем проверенный релиз на отдельный сервер, сверяем артефакты, генерируем server config, ограничиваем GUI, настраиваем авторизованный Linux collection. В изолированной лаборатории допустим ./velociraptor gui, но это деморежим, не production-конфигурация. Для рабочей среды нужны корректные TLS/authentication и права доступа. После этого проверяем Linux artifacts на одном-двух узлах и лишь затем запускаем Hunt.
osquery/Fleet: устанавливаем поддерживаемые подписанные packages и enroll agents по документации Fleet, проверяем появление хоста в console, тестируем SQL query на одной системе, затем масштабируем. Локальный osqueryi подходит для отладки queries на машине, где он уже установлен. Wazuh: официальный Quickstart — для развёртывания server/indexer/dashboard на доверенном узле; FIM-agent и базовый baseline добавляем согласованно, желательно уже после острой стадии IR. Sandfly: лицензированная консоль, согласованный SSH access, сначала небольшой scope, затем остальные хосты.
Если EDR, Fleet, Wazuh или Velociraptor в компании уже работают — используем существующую систему.
5. Первый проход: массовый read-only triage
Для практического использования к архиву со статьями я приложил маленький toolkit:
linux_trust_after_devops_v2/
01_EN_devto.md
02_RU_devto.md
tools/
linux_triage_readonly.sh
fleet_triage.py
review_manifest.py
hosts.example.txt
examples/
example_findings.csv
synthetic_evidence.txt
templates/
executive_report_example.md
risk_register_template.csv
README.md
Идея простая: на доверенной машине работает Python orchestrator, он по SSH параллельно запускает удалённый Bash-collector, читает результаты и складывает их локально. На целевые машины не копируется постоянный агент, не ставятся пакеты, не меняются политики, не перезапускаются сервисы. Для каждого хоста есть отдельный файл, SHA-256 digest и manifest со статусом.
Потребуются Python 3, OpenSSH, заранее проверенные host keys в known_hosts, санкционированный SSH-доступ и sudo -n на выполнение команд сбора. Не нужно ради удобства отключать StrictHostKeyChecking.
Пример inventory:
# tools/hosts.txt — замените на свои реальные разрешённые хосты
ir-audit@build-01.example.internal
ir-audit@app-stg-02.example.internal
ir-audit@runner-03.example.internal
Запускаем из корня распакованного архива:
python3 tools/fleet_triage.py \
--hosts tools/hosts.txt \
--out ./evidence-2026-11-13 \
--workers 6 \
--timeout 120
Результат: manifest.csv, manifest.sha256, файлы raw/<host>.txt. Ошибки подключения и тайм-ауты отдельно учитываются. После сбора можно выполнить python3 tools/review_manifest.py ./evidence-2026-11-13: это создаст отдельный offline quality-review CSV вне evidence-каталога. Он ищет пропуски, а не malware. Важная оговорка: это не memory acquisition и не forensic imaging. Это безопасный по замыслу экспресс-сбор, у которого есть ограничения, описанные в README.
А что внутри? Не магия, а вопросы к системе. Вот и погнали их ревьювить!
5.1 Identity & Access — начинаем с людей, ключей и полномочий
# Кто обладает UID 0?
awk -F: '$3 == 0 {print $1 ":" $3}' /etc/passwd
# Все локальные / доступные через NSS аккаунты
getent passwd
# Sudo include directory
find /etc/sudoers.d -maxdepth 1 -type f -print 2>/dev/null
# Эффективная конфигурация sshd (где поддерживается)
sshd -T 2>/dev/null | grep -E \
'^(permitrootlogin|authorizedkeysfile|passwordauthentication|pubkeyauthentication) '
Проверяем SSH keys в реальных home directories пользователей, а не только /home/username. Нам нужны fingerprint, владелец, origin, наличие approved change. Учитываем AuthorizedKeysCommand, SSH certificates, authorized principals и возможные cloud-injected keys.
Не забываем: несанкционированный ключ опасен, но неизвестный комментарий в конце public key сам по себе ещё ничего не доказывает. И не надо складывать private keys или secrets в общедоступную Jira-задачу.
5.2 Persistence — где Linux запускает вещи без нашего участия
# Включённые systemd service/timer units
systemctl list-unit-files --type=service,timer \
--state=enabled --no-pager
# Запланированные timers
systemctl list-timers --all --no-pager
# Недавно изменённые unit files (только приоритизация)
find /etc/systemd/system /usr/local/lib/systemd/system \
-type f -mtime -30 -print 2>/dev/null
# Системные cron locations
find /etc/cron.d /etc/cron.daily /etc/cron.hourly \
-maxdepth 2 -type f -print 2>/dev/null
Дополнительно смотрим user crontabs, at, user-level systemd units, drop-ins, /etc/profile.d, shell startup, PAM и restart policies контейнеров.
И маленький нюанс: mtime за 30 дней — не граница компрометации. Даты можно поменять, а вредоносная конфигурация может жить годами. Используем фильтр, чтобы начать поиск, а не чтобы закончить его.
5.3 Runtime & Network — что слушает, куда соединяется и от чьего имени
ss -lntup # Listening sockets + process context
ss -tanp # TCP connections
ip route show # Routes
nft list ruleset 2>/dev/null
iptables-save 2>/dev/null
Каждый неожиданный порт или outbound IP я сопоставляю с PID, binary path, owner, systemd unit, change history, service inventory и network flow logs. Reverse shell, запущенный периодически, вовсе не обязан светиться в тот момент, когда мы набрали ss.
Кстати, не начинаем с kill -9 по незнакомому PID: сначала evidence и понимание, что именно работает, если риск активного инцидента позволяет.
5.4 System integrity — что изменилось по сравнению с базой
# Debian/Ubuntu: если утилита уже установлена
debsums -c 2>/dev/null
# RHEL-подобные системы
rpm -Va
# Для конкретного suspicious file
stat /path/to/suspect
sha256sum /path/to/suspect
Здесь очень легко получить ложное ощущение уверенности. Да, debsums сравнивает установленные package files с checksum-базой. Но Debian прямо пишет в man page, что как security tool он имеет ограниченную ценность. RPM тоже опирается на данные о пакетах, а не на магический внешний эталон.
Вывод: изменение бинарника — важный повод расследовать, но не автоматическое подтверждение rootkit. Отсутствие изменений — не доказательство доверия. Для сильного сравнения нужны verified images, подписанные артефакты, independent snapshots и package provenance.
С YARA я предпочитаю targeted scan, а не ковровую обработку / с полным чтением дисков и сетевых mount points:
# Только проверенные правила и санкционированный файл-образец
yara --timeout=30 /opt/ir/rules/reviewed_rules.yar /opt/ir/samples/suspect_file
Синтаксис — по официальному YARA CLI. Rule match ещё нужно валидировать. No match не означает отсутствие кастомного импланта.
Как может выглядеть evidence "левого присутсвия"
Покажу NDA-очищенный мини-кейс. Только для понимания ситуации и того как действуем.
Сигнал A: service вроде легитимный, но происхождение непонятно.
$ systemctl list-unit-files --type=service | grep telemetry
telemetry-bridge.service enabled enabled
$ systemctl show telemetry-bridge.service \
-p FragmentPath -p DropInPaths -p User -p ExecStart
FragmentPath=/etc/systemd/system/telemetry-bridge.service
DropInPaths=
User=svc-ci
ExecStart={ path=/usr/local/bin/telemetry-bridge ; ... }
$ systemctl cat telemetry-bridge.service
# /etc/systemd/system/telemetry-bridge.service
[Unit]
Description=Telemetry bridge for build fleet
[Service]
User=svc-ci
ExecStart=/usr/local/bin/telemetry-bridge --config /etc/telemetry/bridge.yaml
Restart=always
[Install]
WantedBy=multi-user.target
Пока здесь нет доказательств вредоносности. Это может быть обычный внутренний агент. Но в approved services catalog он отсутствует, в Terraform/IaC нет описания, а происхождение бинарника не подтверждено. Это unexplained deviation, а не «мы нашли malware».
Сигнал B: сетевое соединение, которое надо объяснить.
$ ss -tnp | grep 203.0.113.42
ESTAB 0 0 10.10.4.23:51862 203.0.113.42:443 users:(("telemetry-bridge",pid=2147,fd=11))
TLS на 443 может быть нормальной телеметрией. Проверяем владельца назначения, учётку процесса, логи unit, историю развёртывания и бизнес-назначение. Внешний IP сам по себе не означает C2.
Сигнал C: ключ, который мог пережить offboarding.
$ ssh-keygen -lf /home/svc-ci/.ssh/authorized_keys -E sha256
256 SHA256:7aQ2EXAMPLEsyntheticFingerprintNOTREAL ci-deploy (ED25519)
Здесь fingerprint — фиктивная строка, а не вычисленный хэш реального ключа. Настоящий отпечаток мы сравнили бы с корпоративным реестром разрешённых ключей и журналами SSH. Один отсутствующий change ticket не равен диверсии. Но необъяснённый ключ + неизвестный сервис + исходящий трафик + доступ к deployment secrets — достаточная причина срочно расширять расследование.
Read-only команды для точечной проверки, если права и влияние на продакшен согласованы:
# Реальные свойства сервиса и его конфигурация (без restart/reload)
systemctl show telemetry-bridge.service \
-p FragmentPath -p DropInPaths -p User -p ExecStart
systemctl cat telemetry-bridge.service
# Ограниченная временная выборка из journal (retention зависит от ОС)
journalctl --utc --no-pager -u telemetry-bridge.service \
--since '2026-11-01 00:00:00' --until '2026-11-13 23:59:59'
# Эффективный SSH policy с учётом гипотетического Match-контекста
sshd -T -C user=svc-ci,host=reviewer.example.internal,addr=192.0.2.44 \
| grep -E '^(authorizedkeysfile|authorizedkeyscommand|permitrootlogin|pubkeyauthentication) '
# На доверенной машине, из каталога evidence
(cd ./evidence-2026-11-13 && sha256sum -c manifest.sha256)
sshd -T без -C может не показать влияние Match blocks; здесь host и addr обозначают подключающегося клиента, а не сам сервер; это подтверждает мануал OpenSSH. Локальные логи и утилиты на потенциально скомпрометированном сервере нельзя считать неоспоримыми. Их нужно сопоставлять с forwarded logs, историей CI и control-plane events.
И помним об ограничениях single snapshot: периодический timer сейчас может не работать, user-level systemd может быть выключен, socket activation не обязана выглядеть как активный процесс, а секрет в cloud IAM вообще не отобразится на диске. Поэтому несколько независимых проходов, а не вера в один снимок.
6. Второй проход а найти отклонения, а не читать все логи подряд
Массовый сбор — лишь половина работы. Иначе я просто превращу один большой список серверов в 100 больших TXT-файлов. Спасибо, конечно, но мне нужен ответ.
Поэтому делим хосты на cohorts: CI runners, app nodes, database nodes, production/staging, family ОС, версия image и т.д. После этого смотрим cross-host deviations: необычный UID 0, новый SSH fingerprint, уникальный service/timer, нестандартный listener, непонятный sudo rule.
Нельзя сравнивать PostgreSQL-сервер и build runner как два одинаковых хоста. Иначе аномалий будет столько, что расследование превратится в конкурс на самую красивую таблицу.
Если в инфраструктуре есть osquery, через osqueryi или Fleet можно выполнить:
SELECT username, uid, gid, directory, shell
FROM users WHERE uid = 0;
SELECT pid, port, protocol, address
FROM listening_ports;
SELECT pid, name, path, cmdline
FROM processes;
Уточняем схемы tables под вашу версию и платформу; query results зависят от прав, включённой телеметрии, доступности хостов и настроек Fleet. Это не универсальная машина времени, которая видит все предыдущие события.
Для deeper collection использую концепцию Velociraptor Hunts: тестирую Linux-oriented artifacts на одном-двух эталонных хостах, запускаю их на выбранной группе, анализирую consolidated results и дополнительно собираю evidence с outliers. В частности, полезны user/SSH/systemd/cron/process/network artifacts и выборочный collection подозрительных файлов. Не нужно собирать гигабайтные дампы со всех машин без понятной цели и storage plan.
Наиболее убедительная находка — это не просто странная строка, а пересечение нескольких независимых сигналов:
Неожиданный SSH key
+
Неизвестный systemd service
+
Непривычный outbound connection
+
Нет change request / IaC explanation
+
Доступ к CI/CD или cloud credentials
|
v
Priority: investigate and contain
Ни один из элементов по отдельности не гарантирует компрометации. В совокупности они формируют attack story.
Небольшой osquery hunt: как находить outliers в масштабе
Если osquery уже работает в окружении, можно использовать такие запросы. Они опираются на опубликованные upstream schemas; перед запуском на всём fleet проверьте доступность таблиц и имена колонок для своей версии через .schema в osqueryi.
-- UID 0: проверить владельцев, но не объявлять их атакующими
SELECT username, uid, directory, shell FROM users WHERE uid = 0;
-- Linux systemd: сравнивать хосты с одинаковой ролью и образом
SELECT id, unit_file_state, active_state, fragment_path, user
FROM systemd_units
WHERE unit_file_state = 'enabled';
-- Cron: что выполняется, откуда взялось правило
SELECT path, command, minute, hour, day_of_week FROM crontab;
-- Сетевые listeners + процесс (одноразовый snapshot)
SELECT l.address, l.port, l.protocol, p.pid, p.name, p.path, p.cmdline
FROM listening_ports AS l
LEFT JOIN processes AS p ON l.pid = p.pid;
Документация по полям: systemd_units, crontab, listening_ports. Не все таблицы доступны на всех ОС, а live query не создаёт задним числом историческую телеметрию.
Сравниваю не «все серверы со всеми», а одинаковые роли, версии образов, environment и release cohort. Если из шести build runners пять имеют три custom units, а шестой четыре, — это повод проверить шестой. Не повод автоматически объявить его заражённым.
7. Linux-хосты — только половина всей е###й картины
Допустим, проверили машины. Никаких подтверждённых backdoors. Можно расслабиться? Нет. Потому что DevOps часто управляет не только серверами, но и путём поставки кода на эти серверы.
Представьте, что в GitLab остался deploy key, в CI — runner неизвестного происхождения, в cloud IAM — роль с внешним trust relationship, в Kubernetes — ClusterRoleBinding, а в registry — credential с write access. Человеку уже не нужен shell на Linux: достаточно возможности повлиять на то, что запустится при следующем deployment.
Поэтому проверяем не только host plane, но и control plane:
| Где проверяем | Что ищем | Откуда evidence |
|---|---|---|
| IdP / SSO | Аккаунты, группы, sessions, MFA exceptions, shared identities | Access review, identity audit logs |
| Git / CI/CD | Deploy keys, PAT, runners, scheduled jobs, webhooks, protected branches | Repo history, Git audit, CI console |
| Cloud IAM | Roles, trust policies, access keys, instance metadata, security groups | Cloud audit logs и control-plane state |
| Kubernetes | RBAC, service accounts, secrets, privileged workloads | API audit logs, GitOps desired state |
| Artifact registry | Write access, image tags, signatures, build provenance | Registry events, release records |
| Secrets / KMS | Vault policies, signing keys, DB credentials, SSH CA | Secret manager, IAM logs |
| Backups / Recovery | Кто может удалить backups и менять restore path | Отдельный recovery control plane |
Причём Terraform repository сам по себе не является trustworthy baseline, если бывший администратор мог менять и репозиторий, и state. Ищем независимые источники: signed releases, неизменяемые логи, согласованные changes, исторические snapshots.
И, пожалуйста, не забудь про DNS, domain registrar, alert routing и vendor support accounts. Иногда самый живучий persistence находится совсем не там, где мы привыкли запускать ps aux. Да, да, мэн!
Control plane: кто сможет изменить следующий deployment?
Второй, независимый источник — административные интерфейсы Git, CI/CD, IdP и cloud. Моя цепочка проверки: principal → permission → action history → artifact → revocation/rotation result. Она позволяет ответить на Product Security-вопрос: сможет ли кто-то поменять build завтра, даже если на сегодняшней VM ничего не найдено?
Например, при согласованном read-only review Kubernetes:
kubectl get clusterrolebindings -o wide
kubectl get rolebindings -A -o wide
Эти команды только перечисляют bindings: сами по себе они не анализируют effective privileges или cloud IAM integration. Для GitHub полезен организационный audit log. Для AWS нужно учитывать границы: стандартный CloudTrail Event history — это недавние management events за 90 дней, по отдельному аккаунту и региону. Отсутствие записи там не доказывает, что не было чтения данных. Для этого нужны соответствующие заранее настроенные trails и другие источники аудита.
Иногда самый опасный остаточный доступ — вовсе не SSH, а Git deploy key, registry credential, доверенный runner или IAM role. Удалить VM, но забыть про них — значит переставить дверь и оставить ключи у прежнего владельца.
8. Как должен выглядеть report и заключение для CISO
Я бы делал два уровня отчёта: executive summary на одну страницу и технические findings с возможностью повторить проверку.
Пример полностью вымышленного summary:
| Метрика | Пример | Что означает |
|---|---|---|
| Hosts in scope | 64 | Согласованный inventory |
| Evidence collected | 58 | Coverage 90,6% |
| Unreachable / incomplete | 6 | Unknown, не cleared |
| Hosts with notable anomalies | 8 | Требуют triage, не обязательно инциденты |
| Confirmed unauthorized persistence | 1 | Только вымышленный пример |
| «Проверены и доказанно чисты» | Такого вывода сканер не делает | Trust устанавливается шире |
Эти цифры придуманы для структуры отчёта. Они не относятся к закрытому проекту.
А теперь пример карточки finding:
Finding ID: LIN-IR-007
Asset / Role: runner-03 / CI build runner
Source: SSH triage + CI audit
Artifact: unexpected authorized_keys fingerprint
Evidence: raw/runner-03.txt + change history + IdP audit
Validation: нет approved owner / change (в примере)
Exposure: VPN-reachable SSH
Privilege Context: runner has access to deployment credentials
Blast Radius: build -> registry -> production
Severity/Priority: P0 pending containment approval
Confidence: Medium — происхождение ключа ещё проверяется
Treatment: restrict, preserve, revoke, rotate, investigate,
consider trusted rebuild
Owner: Incident Commander / Infrastructure
Status: Investigating
В ZIP есть examples/example_findings.csv со строками для четырёх ситуаций: легитимное отклонение, неизвестный артефакт, high-risk signal и ошибка сбора.
Отделяем факт от гипотезы — и не обещаем того, чего не измерили
Для каждого finding я бы хранил отдельные поля: observed fact, артефакт-доказательство, гипотеза, independent corroboration, product/business impact, confidence, owner и следующий шаг. Не пишем «обнаружен бэкдор», если обнаружен лишь непонятный service.
Синтетический пример risk register:
IR-2026-DEMO-014 | build-01 | CI runner
FACT: Найден enabled local service 'telemetry-bridge.service'.
FACT: Процесс сервиса установил TLS-соединение с 203.0.113.42:443.
HYPOTHESIS: Возможно, это неутверждённая интеграция или persistence.
CORROBORATION: Нет IaC/change record; проверка cloud/CI logs ещё идёт.
STATUS: HIGH-RISK UNRESOLVED — не подтверждённая вредоносность.
BLAST RADIUS: У runner есть write access к artifact registry.
NEXT: Сохранить evidence; ограничить runner; проверить credentials;
ротировать раскрытые секреты; принять решение о rebuild.
В management summary отдельно указываются и пробелы наблюдения: истёкший retention, offline hosts, недостаточные права, локально подменяемые логи, сторонние SaaS-коннекторы, исключённые workloads. Приоритет проблемы и уверенность в выводе — разные измерения.
Хэши SHA-256 из нашего toolkit пригодны для проверки, что файл выгрузки не изменили после сбора. Но они не гарантируют, что удалённый Linux-хост отвечал правдиво и что цепочка хранения evidence соответствует требованиям полноценной судебной экспертизы.
Матрица решения
| Состояние | Evidence | Что делаем |
|---|---|---|
| Confirmed malicious / unauthorized | Подтверждённая закладка, несанкционированный доступ или tampering | Containment, preservation, scope, rebuild trust boundary, rotation |
| High-risk unresolved | Сильные сигналы, доступ к crown jewels, неясное происхождение | Ограничить, углубить DFIR, критичные системы — кандидаты на rebuild |
| Explained deviation | Независимо подтверждённый approved change | Документировать и мониторить |
| No observed IoCs + good coverage | Комплексная проверка, доверенные сравнения, control-plane audit | Условное использование с residual risk и monitoring |
| Not scanned / insufficient evidence | Offline host, нет прав, отсутствуют логи | Unknown, никакого clearance |
И отдельный нюанс: Severity finding и Confidence вывода — разные поля. Когда хост недоступен, это не «Low Risk». Это «не знаем».
9. Rebuild vs reuse: что сказать руководству
Вот здесь начинается настоящая работа Security Manager / Product Security Lead. Потому что результат исследования — не только список CLI-команд, а решение, за которое кто-то должен отвечать.
Сценарий A. Ничего подозрительного не нашли
При хорошем coverage, независимых эталонах, проверенных identity/CI/CD/cloud, ротации критичных credentials и понятных остаточных рисках можно рассмотреть продолжение эксплуатации. Не «доказано чисто», а «доказательств компрометации в рамках определённой проверки нет, residual risk принят владельцем».
Сценарий B. Есть аномалии, но доказательств недостаточно
Ограничиваем доступ, сохраняем evidence, расширяем investigation, проверяем peer hosts и cloud plane. Для CI/CD controllers, bastion и других crown jewels trusted reprovisioning может быть экономически разумнее, чем долго искать, что означает очередной странный startup file.
Сценарий C. Нашли подтверждённый unauthorized access или persistence
Запускаем formal incident response, сохраняем доказательства (когда это безопасно), изолируем affected assets и identities, определяем blast radius. Если OS-level integrity под вопросом — пересоздаём системы из проверенных images и reviewed IaC, а не переносим старый /etc целиком. Ротируем секреты по всему reachable scope: CI/CD, cloud, registry, SSH, KMS, DB, signing keys. Проверяем, не скомпрометирован ли сам deployment pipeline.
И я бы не сказал, что один незнакомый public key автоматически означает «снести 200 серверов». Но и отсутствие находок chkrootkit не даст права оставить недоверенный build controller с production deploy credentials.
Пример risk disposition, который можно подписывать
ASSET: build-01
Role: CI/CD controller, production deployment access
Coverage: host collected; historical control-plane logs incomplete
Host IoCs: none confirmed
Identity review: completed
CI/CD credentials: two historical tokens remain unaccounted for
Trusted rebuild: available
Decision: REBUILD BEFORE RETURN TO HIGH-TRUST DUTIES
Rationale: blast radius + unresolved secret provenance
Owner: Infrastructure / Security
Verification: key rotation + fresh build + deployment validation
Главное здесь, в этой главе — traceability: какие факты мы знаем, какие нет, почему решение именно такое.
Rebuild — это восстановить доверие, а не удалить страшную папку
Если нужно пересоздавать, то из independently reviewed known-good sources: hardened images, проверенный IaC, контролируемые CI pipelines, новые service identities, переизданные secrets, чистые runners и проверенные release artifacts. Если прежний оператор контролировал базовый образ или pipeline его сборки, повторное создание виртуалок из того же самого источника не восстанавливает доверие.
Я бы сделал recovery gate из шести пунктов: (1) закрыта исходная точка доступа; (2) проверены identity/cloud permissions; (3) есть доверенная provenance сборки и provisioning; (4) логи и monitoring вновь защищены; (5) проведён functional/security smoke test и есть rollback; (6) residual risk принял конкретный владелец.
После острой фазы нужно убрать системную причину: автоматизированный joiner/mover/leaver, two-person review привилегированных изменений, ephemeral CI runners при возможности, учёт всех ключей/ролей, удалённые immutable logs, регулярная проверка восстановления из backup и baseline drift monitoring.
Наша цель не доказать отсутствие всех возможных угроз. Это просто невозможно. Цель — сделать так, чтобы старый привилегированный путь больше не позволял влиять на продукт.
10. Action Plan на первые 24 / 48 / 72 часа
| Окно | Действия | Результат |
|---|---|---|
| 0–4 часа | Incident owner, offboarding, ограничение доступа, preservation, crown jewels | Containment record + inventory |
| 4–24 часа | Массовый SSH triage, coverage, identity/cron/systemd/network/integrity | Первый список findings |
| 24–48 часов | Velociraptor/osquery, targeted YARA, cross-plane проверка CI/CD/cloud/secrets | Confirmed / explained / unknown |
| 48–72 часа | Rebuild/rotation plan, владельцы, новый baseline, решение бизнеса | Decision log + remediation tracker |
Это плановые интервалы, не гарантия закончить любой IR за трое суток. Если есть active intrusion, потерянные журналы или необходимость полноценной digital forensics — последовательность и сроки будут другими.
Чего точно не стоит делать
- Устанавливать пачку нового ПО на все подозрительные хосты до сохранения evidence.
- Считать антивирус,
rkhunterилиchkrootkitдоказательством чистоты. - Автоматически удалять незнакомые юниты, ключи и cron jobs до attribution.
- Путать отсутствие сетевого соединения в момент проверки с отсутствием remote access.
- Исключать «недоступные» хосты из denominator, чтобы метрика coverage стала красивее.
- Забывать о CI/CD и cloud IAM, потому что задача якобы «только про Linux».
Вместо заключения: почему эта история всё-таки про Product Security
Формально задача была ближе к Infrastructure Security, Threat Hunting и DFIR, чем к классическому AppSec. Но если эти машины собирают продукт, хранят deployment credentials, управляют staging и production, то вопрос доверия к ним — прямой Product Security risk.
Я всегда стараюсь мыслить не категориями «какую утилиту мы сегодня запустили», а примерно такой цепочкой:
Asset -> Identity -> Persistence -> Evidence
-> Blast Radius -> Treatment -> Verification
Именно это отличает техническую проверку от risk decision.
В таких ситуациях, конечно, полезен DFIR-специалист; особенно если речь об активном злоумышленнике, глубокой memory forensics или возможной компрометации ядра. Но даже один AppSec-инженер может быстро собрать качественную первичную картину, если правильно выстроит scope, методы сбора, приоритеты и критерии дальнейших действий.
Моя главная мысль:
«Мы ничего не нашли» — результат проверки. «Этой инфраструктуре можно доверять» — управленческое решение о риске. Это не одно и то же.
Не путайте эти вещи. Особенно если от них зависит следующий релиз, клиентские данные и право вашей компании снова нажать Deploy.
Источники и полезная документация
- NIST SP 800-61 Rev. 3 — Incident Response
- MITRE ATT&CK — SSH Authorized Keys, T1098.004
- MITRE ATT&CK — Systemd Service, T1543.002
- MITRE ATT&CK — Cron, T1053.003
- Velociraptor — Hunting и Deployment
- Fleet — REST API / Live Queries
- Wazuh — File Integrity Monitoring
- YARA — Command-Line Guide
- Debian — debsums manual
- Sandfly — официальная документация agentless Linux security
- GitHub — Secure Use of Self-Hosted Runners
- GitHub — Organization Audit Logs
- OpenSSH sshd — Effective Configuration and Match
- MITRE — Systemd Timers, T1053.006
- MITRE — Kubernetes Roles, T1098.006
- osquery — Linux systemd table
- AWS — CloudTrail Event History
- Tracee — Runtime Security / eBPF
- Sandfly — обновление с agentless response, июнь 2026
Команды предназначены для санкционированной defensive-проверки. Перед использованием на production проверьте совместимость с дистрибутивом, нагрузку, модель доступа и требования по сохранению evidence.







Top comments (0)