Как находить медленные запросы по журналам

Задача и общий подход

Материал посвящён теме «Как находить медленные запросы по журналам» с акцентом на диагностике и локализации ошибок.

Журналы превращают предположения в проверяемые факты. По ним видно время запроса, код ответа, адрес клиента, задержку upstream и причину отказа службы.

Практический порядок одинаков для любой рабочей системы: зафиксировать исходное состояние, создать резервную точку, изменить один компонент, проверить результат и только затем переходить дальше.

Как устроена схема

systemd-journald хранит сообщения юнитов, а приложения могут писать access- и error-файлы. Ротация должна корректно уведомить процесс, иначе он продолжит писать в старый inode.

Важно разделять конфигурацию, процесс, сетевой сокет и внешний запрос. Успех на одном уровне не доказывает исправность следующего.

Когда применять этот порядок

Этот сценарий подходит для следующих ситуаций:

• плановое внедрение или перенос компонента категории «Логи» на новый VPS
• изменение портов, домена, сертификата, маршрута или способа публикации сервиса
• разбор инцидента, когда локальная и внешняя проверки дают разные результаты
• подготовка к обновлению пакета или восстановлению после неудачного изменения
• аварийная диагностика с фиксацией симптомов до перезапусков

Подготовка перед изменениями

Подготовительный этап снижает риск потерять доступ и смешать несколько причин одной неисправности.

• Откройте вторую административную сессию и не закрывайте текущую.
• Зафиксируйте текущие порты, процессы и состояние службы.
• Подготовьте команду отката до применения изменений.
• Проверьте свободное место, DNS и системное время.
• Сохраните копии изменяемых файлов с датой и временем.

Резервная точка

Сохраните именно те файлы и параметры, которые собираетесь менять.

TS=$(date +%F-%H%M%S)
mkdir -p /root/iiadmin-change-$TS
cp -a /path/to/config /root/iiadmin-change-$TS/
systemctl status SERVICE --no-pager > /root/iiadmin-change-$TS/status-before.txt
ss -lntup > /root/iiadmin-change-$TS/listeners-before.txt

Рядом с копией запишите точную команду восстановления. Это особенно важно, если откат будет выполнять другой администратор.

Пошаговая настройка

Выполняйте блоки последовательно и после каждого шага проверяйте код возврата команды.

awk '$9 ~ /^5/ {print}' /var/log/nginx/access.log | tail -n 50

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head

sudo du -sh /var/log/* 2>/dev/null | sort -h | tail
sudo journalctl --disk-usage

sudo logrotate -d /etc/logrotate.conf
sudo logrotate -f /etc/logrotate.d/nginx

journalctl -u nginx --since '1 hour ago' --no-pager
journalctl -p warning..alert -n 100 --no-pager

Имена доменов, адреса, порты и пути в примерах условные. Перед выполнением замените их фактическими значениями.

Проверка результата

Проверка должна охватывать конфигурацию, процесс, listener и реальный запрос.

• время и юнит видны
• формат лога понятен
• logrotate без ошибок
• диск имеет запас
• новые записи идут в новый файл

systemctl is-active SERVICE
systemctl status SERVICE --no-pager
journalctl -u SERVICE -n 80 --no-pager
ss -lntup

Типичные ошибки

Чаще всего восстановление усложняют следующие действия:

• проверка только локального подключения без внешнего теста
• изменение нескольких компонентов одной командой без промежуточных тестов
• использование устаревшей команды без проверки версии пакета
• открытие административного порта для всего интернета
• перезапуск службы до проверки синтаксиса
• удаление рабочей конфигурации до успешного запуска новой

Диагностика, если не заработало

Диагностика строится как последовательное исключение уровней, а не случайный набор перезапусков.

1. Подтвердите симптом точной командой и запишите время.
2. Проверьте конфигурацию штатным тестом.
3. Проверьте процесс и последние записи журнала.
4. Убедитесь, что нужный адрес и порт слушаются.
5. Сравните локальный запрос с запросом извне.
6. Только затем проверяйте firewall, DNS и маршрут.
7. Меняйте одну переменную и повторяйте тот же тест.

Для темы «Как находить медленные запросы по журналам» важно не путать открытый firewall с запущенным сервисом: правило доступа не создаёт listener, а активный процесс не гарантирует доступность извне.

Безопасность

После получения рабочего результата уменьшите количество исключений и временных разрешений.

• выдавайте файлам конфигурации минимальные права
• не храните секреты в публикуемых конфигурациях и журналах
• используйте принцип минимально необходимых прав
• закрывайте временные порты после завершения теста
• ограничивайте административный доступ доверенными IP или VPN

Дальнейшее сопровождение

Рабочая конфигурация со временем устаревает и требует контроля.

• документируйте нестандартные пути и зависимости
• после обновления повторяйте тест конфигурации и портов
• храните резервную копию вне VPS
• проверяйте журналы ошибок и их размер
• контролируйте таймеры, сертификаты и автоматические задания

Откат изменений

Откат выполняется в обратном порядке и с теми же проверками, что использовались после настройки.

1. вернуть прежний log_format
2. проверить nginx -t
3. перезагрузить конфигурацию
4. не удалять активный лог вслепую

Не удаляйте неудачную конфигурацию до выяснения причины: она полезна для diff и разбора инцидента.

Контрольный список

Перед тем как считать тему «Как находить медленные запросы по журналам» закрытой, пройдите список:

Что дополнительно сверить в документации

При подготовке материала были сопоставлены разделы русскоязычной документации. Для углублённой проверки полезно изучить:

• Модуль ngx_http_log_module

Критерий отката для текущей задачи

Для темы «Как находить медленные запросы по журналам» заранее определите признаки неудачи: штатная проверка не проходит, процесс не запускается, ожидаемый listener исчез, внешний клиент получает неверный ответ или в журнале растёт число ошибок. После достижения лимита времени выполняйте откат, а не продолжайте добавлять неподтверждённые изменения.

Откат считается завершённым только после возврата исходных проверок. Само копирование старого файла не гарантирует, что служба перечитала его и снова обслуживает клиентов.

• вернуть прежний log_format
• проверить nginx -t
• перезагрузить конфигурацию
• не удалять активный лог вслепую

Контроль регрессии после настройки

Наблюдайте систему после периода реальной нагрузки, а не только короткого теста. Некоторые утечки памяти и переполнение очередей появляются постепенно.

Определите пороги, при которых настройка откатывается, и храните предыдущие значения рядом с конфигурацией.

Базовая линия до оптимизации

Сохраните обычную загрузку CPU, памяти, диска, количество соединений и время ответа до изменения. Без базы невозможно отличить реальное улучшение от случайного колебания.

Измеряйте одинаковым инструментом и при сопоставимой нагрузке, фиксируя время и конфигурацию.

Данные, которые нужно сохранить до изменения

Перед работой по теме «Как находить медленные запросы по журналам» сохраните состояние именно тех компонентов, которые участвуют в схеме: активную конфигурацию, статус процесса, открытые порты, последние ошибки и результат контрольного запроса. Этот набор позволит отличить последствия новой правки от ранее существовавшего поведения.

Полезно хранить вывод в одном каталоге с временной меткой и коротким README. При разборе инцидента это быстрее, чем повторно собирать сведения после нескольких перезапусков.

awk '$9 ~ /^5/ {print}' /var/log/nginx/access.log | tail -n 50

Контрольные точки именно для этой темы

Для темы «Как находить медленные запросы по журналам» заранее запишите исходные значения и ожидаемый результат. Это позволяет повторить один и тот же тест до изменения, после применения и после возможного отката.

Не считайте задачу завершённой по одному зелёному статусу. Проверка должна охватывать конфигурацию, процесс, сетевой уровень, журнал и прикладной ответ.

• время и юнит видны
• формат лога понятен
• logrotate без ошибок
• диск имеет запас
• новые записи идут в новый файл

journalctl -u nginx --since '1 hour ago' --no-pager
journalctl -p warning..alert -n 100 --no-pager

Финальная проверка с точки зрения реального клиента

Последнюю проверку темы «Как находить медленные запросы по журналам» выполняйте тем же способом, которым сервисом будет пользоваться человек или приложение: с нужным доменом, протоколом, учётной записью и внешней сетью. Локальная команда остаётся диагностическим этапом, но не заменяет прохождение всей цепочки.

После успешного ответа ещё раз просмотрите журнал и убедитесь, что запрос попал в ожидаемый компонент, не создал скрытую ошибку и не использовал старый кэш. Результат и время проверки полезно сохранить рядом с резервной точкой.

sudo du -sh /var/log/* 2>/dev/null | sort -h | tail
sudo journalctl --disk-usage

Повторная проверка после restart или перезагрузки

Часть настроек работает только в текущем процессе или до следующего reload. После успешного первичного теста повторите проверку после штатного restart, а для критичной инфраструктуры — после плановой перезагрузки сервера в окно работ.

Сравните автозапуск, владельцев файлов, постоянные правила firewall, DNS и фактический listener. Это выявляет зависимость от ручной команды, временного файла или правила, которое не сохраняется.

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head

Границы задачи: Как находить медленные запросы по журналам

В этой статье рассматривается именно задача «Как находить медленные запросы по журналам», а не полная установка всех компонентов категории «Логи». Перед началом перечислите файлы, процессы, порты и внешние зависимости, которые реально входят в изменение.

Успешный результат должен быть проверяемым: конфигурация проходит штатный тест, нужный процесс работает, listener находится на ожидаемом интерфейсе, а реальный клиент получает правильный ответ. Всё, что не влияет на эти критерии, лучше вынести в отдельное изменение.

Побочные эффекты и соседние компоненты

Изменение по теме «Как находить медленные запросы по журналам» может затронуть соседние части схемы: права файлов, DNS, firewall, reverse proxy, сертификаты, автоматические задания или порядок запуска. До работы перечислите эти связи и выберите по одной короткой проверке для каждой критичной зависимости.

После получения основного результата убедитесь, что ранее работавшие функции не ухудшились. Такая регрессионная проверка особенно важна на сервере, где один публичный порт или веб-сервер обслуживает несколько независимых сервисов.

Результаты регрессионной проверки записывайте теми же командами, которые использовались до изменения. Это делает сравнение объективным и помогает быстро доказать, что соседний компонент не пострадал.

• основной сервис отвечает тем же способом, что и до изменения
• административный доступ и аварийная консоль остаются доступны
• временные listeners и правила не заняли рабочие порты
• журналы не показывают новые повторяющиеся ошибки

Анализ кодов и задержек веб-сервера

Для веб-сервиса полезно разделять код ответа Nginx и код upstream, а также полное время запроса и время ответа backend. Это позволяет отличить медленный клиент, прокси и приложение.

Создавайте отдельный расширенный log_format для диагностики, а после инцидента решите, нужен ли он постоянно: подробные журналы занимают больше места и могут содержать чувствительные URI.

awk '$9 ~ /^5/ {print $1, $7, $9}' /var/log/nginx/access.log | tail -n 50
grep -E 'upstream|timed out|permission denied' /var/log/nginx/error.log | tail -n 50

Источники и документация

Источники использованы для выбора терминов, контрольных вопросов и команд. Полные абзацы чужих публикаций не копируются.

• Модуль ngx_http_log_module