Фраза «страница стала в два раза быстрее» ничего не доказывает, если до изменения был холодный кеш, после — прогретый, а число запросов и данные различались. Зафиксируйте один пользовательский сценарий, одинаковый профиль нагрузки, версию dataset и окружение. Затем выполните baseline и candidate сериями, не меняя условия между ними.
Сравнивать нужно не только среднее. Оптимизация может улучшить p50 и ухудшить хвост p95, поднять throughput ценой ошибок или перенести нагрузку с базы на память приложения. Минимальный набор включает длительность по percentile, error rate, completed iterations или throughput и ресурсы компонентов, через которые проходит запрос.
Вопрос эксперимента определяет сценарий
| Изменение | Сценарий проверки | Соседний риск |
|---|---|---|
| Новый индекс БД | Поиск на репрезентативных значениях | Запись и размер индекса |
| Кеш ответа | Повторы и промахи в заданной пропорции | Stale data и stampede |
| Сжатие изображений | Навигация браузером на холодной сети | Качество и CPU декодирования |
| Batch API | Одинаковое число бизнес-операций | Больший payload и частичные ошибки |
| Параллелизм worker | Очередь под постоянной и пиковой нагрузкой | Память и зависимый сервис |
Единица сравнения должна отражать работу пользователя. Один HTTP request не равен оформленному заказу, если сценарий выполняет пять запросов и ждёт асинхронное подтверждение. Проверяйте корректность ответа: быстрый 500 или пустой JSON не является улучшением.
Паспорт делает два прогона сопоставимыми
experiment_id: search-index-v3
scenario_revision: git:example-commit
dataset_revision: sanitized-snapshot-2026-10-05
environment: perf-isolated
application_builds:
baseline: build-before-change
candidate: build-after-change
load_profile:
arrival_rate: fixed-project-value
duration: fixed-project-window
data_pool: same-seeded-input
warmup: identical-and-excluded
metrics: [p50, p95, p99, error_rate, throughput, cpu, memory, db_reads]
abort_conditions: [error-flood, dependency-impact]
owner: performance-test-operatorЗначения условные: нагрузка выбирается из реального или согласованного профиля системы. Сохраните версию test script, build, конфигурацию и исходные данные вместе с результатом. Если пришлось изменить сценарий, создайте новый baseline — сравнение разных тестов создаёт красивый, но ложный график.
Генератор нагрузки тоже может стать bottleneck
- Наблюдать CPU, память, сеть и dropped iterations на машине генератора.
- Не размещать генератор на том же ограниченном узле, что система под тестом.
- Проверить, что DNS, TLS и connection reuse соответствуют цели сценария.
- Исключить отправку настоящих писем, платежей и уведомлений из performance environment.
- Остановить тест при лавине ошибок или влиянии на несогласованные системы.
Рост latency при полностью загруженном генераторе не обязательно относится к приложению. И наоборот, ровный график backend может скрывать, что инструмент перестал создавать запланированный arrival rate. Метрики клиента и сервера рассматриваются на одной временной шкале.
Несколько прогонов показывают обычный разброс
Документация k6 рекомендует сравнивать один и тот же тест, workload, scenario, данные и environment, а для надёжности выполнять тест как минимум два раза почти подряд. Один аномальный прогон нельзя просто выбросить без причины: сохраните его и найдите, отличался ли deploy, фоновая задача, прогрев, сеть или состояние базы.
- Развернуть baseline build и дождаться стабильного состояния зависимостей.
- Выполнить одинаковый warmup, который не попадает в сравниваемое окно.
- Запустить несколько измерительных прогонов и сохранить raw result.
- Повторить тот же процесс для candidate build на том же окружении.
- Если порядок может влиять на кеш или фоновые процессы, чередовать версии по заранее заданной схеме.
- Сравнить распределения и server metrics, отметив обычный разброс baseline.
Результат читается как связка метрик
| Картина | Возможное объяснение | Что проверить |
|---|---|---|
| p50 лучше, p99 хуже | Редкие запросы попали в блокировку или тяжёлый путь | Trace медленных запросов и lock time |
| Latency лучше, errors выросли | Работа отклоняется раньше | Коды и корректность responses |
| Throughput не вырос, CPU упал | Появился другой лимит | DB, pool, queue и dependency limits |
| Всё лучше только со второго прогона | Эффект прогрева | Cold/warm сценарии и cache hit ratio |
| Клиент медленнее, сервер без изменений | Сеть или генератор | Generator saturation и connection setup |
Процент улучшения рассчитывают по заранее выбранной метрике и одинаковому окну. Не выбирайте после теста только тот percentile, который выглядит выгодно. Если оптимизация рассчитана на хвост, primary metric может быть p95 или p99; среднее остаётся дополнительным показателем.
Порог превращает измерение в решение
В k6 thresholds задают pass/fail для aggregate metrics и возвращают неуспешный статус при нарушении. Порог лучше связывать с SLO или допустимой регрессией проекта, а не копировать из чужого примера. Помимо максимальной latency задайте предел errors и корректность ключевого ответа; большой тест не стоит сводить к одному зелёному индикатору.
В итоговый отчёт положите вопрос эксперимента, обе версии, паспорт условий, все прогоны, графики клиентских и серверных метрик, найденные компромиссы и решение. Если эффект меньше обычного разброса или проявился только при изменённых данных, честный вывод — «улучшение не доказано». Это полезнее, чем закрепить сложную оптимизацию без наблюдаемой пользы.