Skip to content

test-plan.md

Latest commit

 

History

History
115 lines (78 loc) · 4.68 KB

test-plan.md

File metadata and controls

115 lines (78 loc) · 4.68 KB
Raw

Test Plan — Accellens

Версия: 1.0 (MVP baseline) Дата: 10 ноября 2025

1. Цели

  • Подтвердить стабильность MVP (web scan + backend + dashboard).
  • Убедиться, что Assistive Simulation Engine корректно генерирует текстовые трассы.
  • Проверить CI/CD workflow и экспорт отчётов.

2. Объём тестирования

В Scope

  • REST/GraphQL API.
  • Web scanner (Playwright, axe, Lighthouse).
  • Dashboard UI (runs, findings, audio placeholder).
  • CLI команды scan, runs list, report get.
  • GitHub Action integration (web scan).
  • Smoke-тесты документации (API/CLI примеры) согласно docs-smoke-tests.md.

Out of Scope (MVP)

  • Full TTS (аудио генерируется стволовыми средствами, не тестируется функционально).
  • Mobile analyzer (будет в v1).
  • Генерация технических описаний проблем с примерами исправления кода (v1).
  • Интеграции v1+ (mobile action, Jira connectors).

3. Подход

  • Sprint-by-sprint validation: в конце каждой итерации — mini regression.
  • Nightly builds: полный набор integration + e2e.
  • Beta testing: пилотные клиенты (hand-picked) после завершения MVP regression.

4. Schedule (MVP)

Спринт Фокус Тестовые активности
S1 Архитектура, CLI PoC Unit tests, smoke integration
S2 Web scanner, backend ingest Integration tests, e2e web
S3 Dashboard MVP, ASE текст E2E UI, accessibility regression
S4 Stabilization, exports Regression suite, performance baseline

5. Роли

  • QA Lead — владелец плана, координация тестов.
  • Automation Engineer — Playwright/Appium сценарии.
  • Backend Engineer — поддержка integration среды.
  • Accessibility Specialist — ручная валидация симуляций.

6. Тестовые окружения

Окружение Назначение Адрес
DEV локальная разработка docker compose
QA интеграционные тесты https://qa.accellens.internal
STAGING pre-production https://staging.accellens.dev

Переменные окружения описаны в ../deployment/environment-variables.md.

7. Риски

Риск Вероятность Влияние Митигация
Нестабильные Playwright тесты Средняя Среднее Stabilize selectors, retries, tracing
Ограничения GPU/LLM квот Низкая Высокое Offline fallback, pre-generated responses
Доступ к device farm Средняя Высокое Резервный провайдер, локальные симуляторы

8. Входные критерии

  • Feature development завершено, нет blocker багов.
  • Все линтеры/юнит тесты проходят.
  • Тестовые данные готовы.

9. Выходные критерии

  • Все P0/P1 баги закрыты или имеют workaround.
  • 95% тестов прошли успешно.
  • Подписанное решение QA Lead + Product Owner.

10. Метрики

  • Defect leakage (prod после релиза).
  • Pass rate regression suite.
  • Среднее время на обработку findings после отчёта.

11. Deliverables

  • Test run отчёты (Allure/JUnit).
  • Accessibility regression отчёт (JSON + PDF).
  • Performance отчёт (k6).
  • Web scanner KPI evidence — см. scanner-kpi.md и apps/scanner-web/benchmarks/scanner-kpi-report.json (покрывает критерий <3 минут и ≥95% стабильности).
  • KPI pre-flight checklist (python scripts/check-setup.py) + логи успешного npm run kpi.