Фраза «страница стала в два раза быстрее» ничего не доказывает, если до изменения был холодный кеш, после — прогретый, а число запросов и данные различались. Зафиксируйте один пользовательский сценарий, одинаковый профиль нагрузки, версию dataset и окружение. Затем выполните baseline и candidate сериями, не меняя условия между ними.

Сравнивать нужно не только среднее. Оптимизация может улучшить p50 и ухудшить хвост p95, поднять throughput ценой ошибок или перенести нагрузку с базы на память приложения. Минимальный набор включает длительность по percentile, error rate, completed iterations или throughput и ресурсы компонентов, через которые проходит запрос.

Вопрос эксперимента определяет сценарий

ИзменениеСценарий проверкиСоседний риск
Новый индекс БДПоиск на репрезентативных значенияхЗапись и размер индекса
Кеш ответаПовторы и промахи в заданной пропорцииStale data и stampede
Сжатие изображенийНавигация браузером на холодной сетиКачество и CPU декодирования
Batch APIОдинаковое число бизнес-операцийБольший payload и частичные ошибки
Параллелизм workerОчередь под постоянной и пиковой нагрузкойПамять и зависимый сервис

Единица сравнения должна отражать работу пользователя. Один HTTP request не равен оформленному заказу, если сценарий выполняет пять запросов и ждёт асинхронное подтверждение. Проверяйте корректность ответа: быстрый 500 или пустой JSON не является улучшением.

Паспорт делает два прогона сопоставимыми

experiment_id: search-index-v3
scenario_revision: git:example-commit
dataset_revision: sanitized-snapshot-2026-10-05
environment: perf-isolated
application_builds:
  baseline: build-before-change
  candidate: build-after-change
load_profile:
  arrival_rate: fixed-project-value
  duration: fixed-project-window
  data_pool: same-seeded-input
warmup: identical-and-excluded
metrics: [p50, p95, p99, error_rate, throughput, cpu, memory, db_reads]
abort_conditions: [error-flood, dependency-impact]
owner: performance-test-operator

Значения условные: нагрузка выбирается из реального или согласованного профиля системы. Сохраните версию test script, build, конфигурацию и исходные данные вместе с результатом. Если пришлось изменить сценарий, создайте новый baseline — сравнение разных тестов создаёт красивый, но ложный график.

Генератор нагрузки тоже может стать bottleneck

  • Наблюдать CPU, память, сеть и dropped iterations на машине генератора.
  • Не размещать генератор на том же ограниченном узле, что система под тестом.
  • Проверить, что DNS, TLS и connection reuse соответствуют цели сценария.
  • Исключить отправку настоящих писем, платежей и уведомлений из performance environment.
  • Остановить тест при лавине ошибок или влиянии на несогласованные системы.

Рост latency при полностью загруженном генераторе не обязательно относится к приложению. И наоборот, ровный график backend может скрывать, что инструмент перестал создавать запланированный arrival rate. Метрики клиента и сервера рассматриваются на одной временной шкале.

Несколько прогонов показывают обычный разброс

Документация k6 рекомендует сравнивать один и тот же тест, workload, scenario, данные и environment, а для надёжности выполнять тест как минимум два раза почти подряд. Один аномальный прогон нельзя просто выбросить без причины: сохраните его и найдите, отличался ли deploy, фоновая задача, прогрев, сеть или состояние базы.

  1. Развернуть baseline build и дождаться стабильного состояния зависимостей.
  2. Выполнить одинаковый warmup, который не попадает в сравниваемое окно.
  3. Запустить несколько измерительных прогонов и сохранить raw result.
  4. Повторить тот же процесс для candidate build на том же окружении.
  5. Если порядок может влиять на кеш или фоновые процессы, чередовать версии по заранее заданной схеме.
  6. Сравнить распределения и server metrics, отметив обычный разброс baseline.

Результат читается как связка метрик

КартинаВозможное объяснениеЧто проверить
p50 лучше, p99 хужеРедкие запросы попали в блокировку или тяжёлый путьTrace медленных запросов и lock time
Latency лучше, errors вырослиРабота отклоняется раньшеКоды и корректность responses
Throughput не вырос, CPU упалПоявился другой лимитDB, pool, queue и dependency limits
Всё лучше только со второго прогонаЭффект прогреваCold/warm сценарии и cache hit ratio
Клиент медленнее, сервер без измененийСеть или генераторGenerator saturation и connection setup

Процент улучшения рассчитывают по заранее выбранной метрике и одинаковому окну. Не выбирайте после теста только тот percentile, который выглядит выгодно. Если оптимизация рассчитана на хвост, primary metric может быть p95 или p99; среднее остаётся дополнительным показателем.

Порог превращает измерение в решение

В k6 thresholds задают pass/fail для aggregate metrics и возвращают неуспешный статус при нарушении. Порог лучше связывать с SLO или допустимой регрессией проекта, а не копировать из чужого примера. Помимо максимальной latency задайте предел errors и корректность ключевого ответа; большой тест не стоит сводить к одному зелёному индикатору.

В итоговый отчёт положите вопрос эксперимента, обе версии, паспорт условий, все прогоны, графики клиентских и серверных метрик, найденные компромиссы и решение. Если эффект меньше обычного разброса или проявился только при изменённых данных, честный вывод — «улучшение не доказано». Это полезнее, чем закрепить сложную оптимизацию без наблюдаемой пользы.

Проверенные источники