Holarch

Guia · Verificação

Matriz de verificação de requisitos (RVTM): colunas, métodos e um exemplo prático

Ouvir este guia 29 min

Uma matriz de verificação de requisitos, ou RVTM, lista cada requisito com a forma como será verificado, o evento que o verifica, o resultado e a evidência. Este guia trata das colunas, da escolha entre inspeção, análise, demonstração ou teste, do planejamento versus os resultados, de como aparecem resultados reprovados e alterados e de uma revisão de cobertura antes de um marco, com um exemplo prático na RVTM de um CubeSat 6U de observação da Terra.

Nesta página
  1. O que é uma matriz de verificação de requisitos
  2. Quem a usa, e quando
  3. As colunas
  4. Escolher um método de verificação
  5. Planejamento versus resultados
  6. Valores de status e totalização
  7. Mantenha-a gerada a partir do modelo
  8. Como aparecem resultados reprovados e alterados
    1. Um resultado reprovado
    2. Um requisito alterado
  9. Revisar a cobertura antes de um marco
  10. Exemplo prático: a RVTM do CubeSat EO-1
    1. O plano
    2. Os resultados e as campanhas de testes
    3. Lendo a matriz
    4. Um requisito alterado: o 3.1 depois da PDR
    5. Planejar as linhas restantes antes da revisão
  11. Uma matriz por produto em uma linha de produtos
  12. Erros comuns
  13. Experimente no Holarch
  14. Para onde ir a seguir

O que é uma matriz de verificação de requisitos

A verificação pergunta se o sistema foi construído direito: ele atende a cada requisito como está escrito? A matriz de verificação de requisitos é o lugar onde essa pergunta é respondida requisito por requisito. Cada linha é um requisito. As colunas dizem como ele será verificado, em qual nível de montagem, por qual evento e o que saiu desse evento. Para saber como a verificação difere da validação, que checa o sistema contra as necessidades das partes interessadas, veja verificação versus validação.

A mesma tabela tem vários nomes. RVTM (requirements verification traceability matrix) enfatiza o vínculo do requisito ao teste. VCRM (verification cross-reference matrix) é comum em programas de defesa e aeroespaciais e muitas vezes designa a metade de planejamento: requisito, método e nível. Uma matriz de verificação ou matriz de conformidade pode acrescentar uma declaração de conformidade por linha para um cliente. O conteúdo varia um pouco de uma organização para outra, mas a ideia é a mesma: uma linha por requisito, nada sem uma forma planejada de mostrar que é atendido.

A ISO/IEC/IEEE 15288 descreve a verificação como um processo que planeja as ações de verificação, prepara o que elas precisam, as executa e registra os resultados, e espera que todo requisito seja coberto por pelo menos uma ação. A matriz é o registro habitual dessa cobertura. O INCOSE Systems Engineering Handbook a trata da mesma forma: uma ferramenta de trabalho durante o desenvolvimento e uma entrega nas revisões. A matriz é a ponta de verificação da rastreabilidade de requisitos: enquanto a rastreabilidade pergunta de onde veio um requisito e o que o satisfaz, a RVTM pergunta o que o comprova.

O exemplo prático ao longo do guia é o EO-1, um CubeSat 6U fictício que fotografa terras agrícolas em quatro bandas espectrais a partir de uma órbita de 500 km. Sua especificação tem 32 requisitos e 19 eventos de verificação em dois conjuntos de testes; um terceiro conjunto contém os eventos de validação de suas necessidades das partes interessadas. É o mesmo projeto que o passo a passo do projeto de exemplo de MBSE acompanha das necessidades das partes interessadas até os documentos, então as linhas daqui podem ser rastreadas até as funções, os componentes e as análises que as atendem.

Quem a usa, e quando

  • Revisões de requisitos (por exemplo, uma revisão de requisitos do sistema). Os revisores checam se todo requisito tem um método e um nível. Um requisito que ninguém sabe dizer como verificar geralmente é ambíguo ou não mensurável, e a revisão é o momento mais barato para reescrevê-lo.
  • Revisões de projeto. A matriz agora cita casos de teste, análises e inspeções. Os revisores procuram requisitos ainda sem evento e testes que precisam de instalações ou artigos que ninguém planejou.
  • Revisões de prontidão para testes. Antes de uma campanha começar, a matriz mostra quais requisitos a campanha vai fechar e quais procedimentos estão prontos.
  • Qualificação. A qualificação mostra que o projeto atende a seus requisitos, muitas vezes com margem, em um artigo de teste construído para isso. A matriz lista cada resultado de qualificação e seu relatório.
  • Aceitação. A aceitação mostra que cada unidade entregue foi construída e funciona como projetada. O cliente dá o aceite contra a matriz, linha por linha, com a evidência anexada ou referenciada.
  • Auditorias e certificação. Um auditor escolhe linhas e as segue até a evidência. Uma matriz cuja coluna de evidência aponta para arquivos reais e versionados resiste a isso; uma que diz “ver relatório de teste” sem versão não resiste.

As colunas

Uma matriz prática tem estas colunas. Algumas organizações as dividem ou renomeiam; poucas deixam alguma de fora.

ColunaContémPreenchida
RequisitoIdentificador e nome curto; a declaração completa fica a um clique, não coladaQuando o requisito é escrito
MétodoInspeção, análise, demonstração ou teste; mais de um, se necessárioAnálise de requisitos
NívelOnde é verificado: componente, subsistema ou sistema (ou unidade, montagem, segmento)Análise de requisitos
Critérios de sucessoO resultado mensurável que conta como atendido, com condiçõesAnálise de requisitos
Evento de verificaçãoO caso de teste, a análise, a inspeção ou a demonstração que o executaProjeto
StatusNão verificado, planejado, não executado, aprovado ou reprovadoIntegração e teste
EvidênciaO relatório, o arquivo de dados ou o registro que mostra o resultado, com sua versão e o build e o artigo de teste em que foi executadoIntegração e teste

As quatro primeiras colunas são o plano. As três últimas são os resultados. Manter as duas metades separadas importa, porque elas mudam em momentos diferentes e por motivos diferentes (veja planejamento versus resultados).

Escolher um método de verificação

Há quatro métodos padrão. Eles estão listados aqui do mais barato para o mais caro, que também é a ordem habitual de preferência quando mais de um serviria. O método é mais bem escolhido quando o requisito é escrito; o guia de redação de requisitos mostra por quê, no TC-06.

Inspeção
Examinar o item ou sua documentação sem operá-lo: medir uma dimensão, ler uma etiqueta, checar um certificado, um desenho ou um parâmetro de configuração. Bom para características físicas, marcações, materiais e tudo o que é declarado como “shall have” ou “shall be made of”. Também abrange revisar registros produzidos em outro lugar: o EO-1 verifica o 3.4 Bus Regulation (12 V dentro de 2%) inspecionando o relatório de qualificação da unidade de distribuição de energia e seus dados de degrau de carga, em vez de repetir o teste.
Análise
Mostrar que o requisito é atendido por cálculo, modelagem ou simulação, muitas vezes usando dados de testes de níveis mais baixos. Bom quando testar a coisa real é impossível ou inseguro, ou quando a análise cobre muito mais casos do que qualquer teste conseguiria. O 1.7 Mission Lifetime do EO-1 (730 dias em órbita) só pode ser mostrado por uma análise de confiabilidade, e o 1.6.1 Ground Track Repeat propagando a órbita.
Demonstração
Operar o item para mostrar que ele faz algo, com observação, mas sem instrumentação para medição precisa. Bom para requisitos funcionais e operacionais com resultado de sim ou não: o 6.1 Contact Scheduling do EO-1 (contatos reservados com 48 horas de antecedência) é mostrado conduzindo a equipe de operações por 14 dias de ensaio.
Test
Operar o item sob condições controladas e medir o resultado contra um número. Bom para requisitos de desempenho com um valor e uma tolerância, como o 2.1 Pointing Accuracy (dentro de 0,1 grau do alvo). O teste produz a evidência mais forte e geralmente custa mais.

Algumas perguntas que definem a escolha:

  • O requisito contém um número? Então geralmente precisa de teste ou análise; uma demonstração não consegue mostrar “dentro de 0,1 grau”.
  • A condição pode ser reproduzida? Dois anos em órbita, ou uma passagem a 25 graus fora do nadir sobre um campo real, não podem ser encenados em um laboratório. Esses vão para análise, apoiada por um teste em um ponto que o laboratório consegue alcançar.
  • Em que nível isso pode ser visto? A capacidade da bateria pode ser testada no pacote de baterias (nível de componente); a precisão de apontamento precisa do subsistema de atitude; a revisita em 72 horas só existe para a missão inteira. Verifique cada requisito no nível mais baixo em que a propriedade está totalmente presente.
  • O que o cliente vai aceitar? Os contratos muitas vezes fixam o método dos requisitos principais. Combine isso cedo, não na aceitação.

Escreva os critérios de sucesso ao mesmo tempo. “Atende ao requisito” não é um critério. “Erro de no máximo 0,1 grau em cada um de 20 alvos comandados” é: qualquer pessoa pode executá-lo e chegar ao mesmo veredito.

Planejamento versus resultados

A metade de planejamento da matriz é definida durante a análise de requisitos e o projeto. Ela responde “como vamos saber?” e deve estar completa muito antes de existir qualquer hardware. Um requisito sem método na revisão de requisitos é um defeito no conjunto de requisitos, não uma lacuna no programa de testes.

A metade de resultados é preenchida durante a integração e os testes. Ela muda toda vez que um evento é executado, e só tem sentido junto com o que foi testado: o build ou a versão do software, o número de série do artigo de teste, a data e a pessoa. Um resultado sem seu build e seu artigo de teste não pode ser repetido nem auditado, e não diz qual build corrigiu uma falha.

Dois hábitos mantêm as metades honestas:

  • Um evento por linha de evidência. Um relatório de análise, um registro de inspeção e uma demonstração são eventos de verificação tanto quanto um caso de teste. Dê a cada um sua própria entrada com um resultado, para que a matriz mostre evidência para todos os métodos e não só para os testes.
  • Verifique as folhas, totalize os pais. Um requisito pai decomposto em filhos é verificado quando todos os seus filhos são, ou quando tem seu próprio evento. Totalizar evita planejar testes duplicados para o pai e mostra de imediato qual ramo o está atrasando.

Valores de status e totalização

Cinco valores de status cobrem a vida de uma linha:

StatusSignificadoO que fazer
Não verificadoNenhum método e nenhum eventoPlaneje, ou questione o requisito
Somente planejadoHá um método definido, ainda não existe eventoEscreva o caso de teste, a análise ou a inspeção
Não executadoExistem eventos, nenhum tem resultadoAgende-os
AprovadoUm evento foi aprovado e nenhum foi reprovadoGuarde a evidência com seu build e seu artigo de teste
ReprovadoUm evento foi reprovadoAbra um problema, corrija, execute de novo

Um evento de verificação tem seus próprios estados, mais detalhados: não executado, em andamento, bloqueado, reprovado ou aprovado. Para a matriz, um evento em andamento ou bloqueado ainda não tem veredito, então seu requisito conta como não executado.

Para um requisito pai, uma reprovação em qualquer ponto abaixo dele o torna reprovado, e ele só é aprovado quando todos os filhos são aprovados (ou seu próprio evento é). Caso contrário, ele mostra até onde chegou o seu ramo menos coberto. Contar as linhas por status dá o número que a maioria das revisões pede primeiro: quantos requisitos estão verificados de quantos.

Mantenha-a gerada a partir do modelo

A maioria das matrizes nasce como planilha, e a maioria das planilhas se desatualiza. O texto do requisito é colado e fica desatualizado quando o requisito muda. O status dos testes é digitado à mão depois de cada execução, por quem se lembrar. Duas cópias circulam antes de uma revisão, e ninguém tem certeza de qual o cliente viu. Nada disso é descuido; uma planilha é uma cópia, e cópias divergem.

A alternativa é manter o conteúdo da matriz onde ele já está e gerar a tabela a partir dele:

  • método, nível e critérios de sucesso são atributos do requisito;
  • cada evento de verificação é um item vinculado aos requisitos que verifica;
  • cada resultado, com seu build, seu artigo de teste e sua evidência, é registrado no evento quando ele é executado;
  • a matriz é uma consulta sobre esses vínculos, reconstruída cada vez que é aberta ou exportada.

Assim a matriz não pode discordar dos requisitos nem dos registros de teste, porque não tem dados próprios. Uma cópia exportada para uma revisão continua sendo um retrato, mas é feita em segundos a partir do modelo atual em vez de mantida à mão. Esse é um dos benefícios mais claros de manter requisitos, projeto e verificação em um só modelo; a página de recursos de verificação descreve como o Holarch faz isso.

Como aparecem resultados reprovados e alterados

Dois tipos de mudança deixam uma linha errada depois de ela parecer concluída.

Um resultado reprovado

Uma reprovação é informação, não motivo de vergonha, e a matriz deve mostrá-la com clareza. O evento reprovado continua reprovado até ser executado de novo; ele não é zerado em silêncio. Cada reprovação recebe um problema (um relatório de problema ou de discrepância) vinculado ao evento e aos requisitos que ele verifica, para que a linha da matriz leve à investigação. Quando a correção chega, o evento é executado de novo no novo build, e o registro guarda as duas execuções: a reprovação no build antigo e a aprovação no novo. Salvar os resultados de cada campanha de testes como um retrato (muitas vezes chamado de ciclo de testes) permite comparar campanhas e ver exatamente quais linhas mudaram.

Um requisito alterado

O problema mais silencioso é um requisito que muda depois de seu teste ter sido aprovado. Se um requisito de energia sobe de 28 W para 30 W, a aprovação antiga não comprova mais nada sobre o novo valor, mas uma coluna de status continuará dizendo “aprovado”. Uma boa matriz sinaliza o vínculo entre o requisito alterado e seu evento de verificação como suspeito até alguém revisá-lo: ou o evento já cobre o novo valor, ou o procedimento precisa mudar e o evento precisa ser executado de novo. O mesmo vale quando algo a montante do requisito muda. Os vínculos suspeitos em geral são tratados na seção sobre vínculos suspeitos do guia de rastreabilidade; para a verificação, a regra é curta: uma aprovação registrada antes da última mudança do requisito precisa de revisão antes de contar em um marco. O guia de análise de impacto de mudanças acompanha a mesma mudança da solicitação de mudança ao novo teste.

Revisar a cobertura antes de um marco

Uma semana antes de uma revisão, percorra a matriz com estas perguntas:

  1. Linhas não verificadas. Todo requisito deve ter pelo menos um método. Linhas sem método ou não têm plano ou não são verificáveis como estão escritas.
  2. Linhas somente planejadas. Para uma revisão de projeto, cada uma deve ter um evento ou um motivo para ainda não ter. Para a aceitação, não deve restar nenhuma.
  3. Linhas reprovadas. Cada uma precisa de um problema vinculado, com responsável e plano. Uma reprovação sem problema é a constatação mais comum nas revisões de teste.
  4. Linhas suspeitas. Cada uma precisa de uma decisão: ainda válida, ou executar de novo.
  5. Coerência de nível e método. Procure requisitos de nível de sistema verificados só por um teste de componente, requisitos numéricos verificados só por demonstração e eventos cujo procedimento não mede o que o requisito declara.
  6. Evidência. Cheque por amostragem algumas linhas aprovadas: a evidência existe, e seu build e seu artigo de teste correspondem ao que está em revisão?
  7. Eventos órfãos. Casos de teste que não verificam nenhum requisito custam dinheiro e não comprovam nada no registro. Vincule-os ou aposente-os.

Registre as contagens por status a cada marco. A tendência (não verificados caindo, aprovados subindo, reprovados sendo fechados) diz mais sobre a saúde do programa do que qualquer retrato isolado.

Exemplo prático: a RVTM do CubeSat EO-1

O exemplo é o projeto de demonstração CubeSat EO-1 no Holarch, em que os requisitos ficam em SRS-001 EO-1 System Requirements Specification, os eventos de verificação são Test Cases em duas Test Suites, e cada caso de teste verifica seus requisitos (uma terceira suíte, TS-3 Mission Validation, valida as necessidades das partes interessadas e fica fora da RVTM). Uma mudança foi acrescentada à demonstração para este guia, a mesma que a etapa de mudança do exemplo de MBSE faz: depois da revisão preliminar de projeto, a carga média por órbita subiu para 26 W, então o requisito 3.1 Orbit Average Power passou de 28 W para 30 W.

Baixe o exemplo: a matriz de verificação de requisitos do EO-1 como pasta de trabalho do Excel (.xlsx, 32 linhas) ou a mesma matriz em CSV. As duas são a própria exportação de RVTM do Holarch do projeto mostrado abaixo: número e nome do requisito, método, nível, critérios de sucesso, casos de teste de verificação com seu status, status próprio e status totalizado. Use-as como modelo para as suas próprias colunas.

O plano

Uma seleção de linhas, uma para cada método e nível, com os critérios de sucesso como escritos na especificação:

#RequisitoMétodoNívelCritérios de sucesso
1.2Ground Sample Distance: 4,5 m a partir da órbita de 500 kmTestSistemaMTF em Nyquist de pelo menos 0,12 no alvo de barras de 4 m
1.6.1Ground Track Repeat: a cada 3 diasAnáliseSistemaA propagação da órbita mostra uma repetição de 3 dias ± 1 hora
2.1Pointing Accuracy: dentro de 0,1 grauTestSubsistemaErro de no máximo 0,1 grau em cada um de 20 alvos comandados
3.1Orbit Average Power: pelo menos 30 W no fim de vida (era 28 W)TestSubsistemaPotência média por órbita no fim de vida prevista a partir da potência de pico medida
3.2Battery Capacity: pelo menos 77 Wh no início de vidaTestComponenteCapacidade medida de pelo menos 77 Wh a C/2 e 20 °C
3.4Bus Regulation: 12 V dentro de 2%InspeçãoComponenteBarramento entre 11,76 e 12,24 V em todos os degraus de carga
6.1Contact Scheduling: 48 horas de antecedênciaDemonstraçãoSistemaContatos reservados com 48 h de antecedência por 14 dias consecutivos em ensaio
6.5Planning Cycle Time: em até 100 minutosAnáliseSistemaA simulação de Monte Carlo atende aos 100 minutos com probabilidade de pelo menos 90%
2.5Safe Mode Recovery: “quickly … as appropriate”(nenhum)(nenhum)(nenhum)

Os quatro métodos aparecem, em três níveis. A capacidade da bateria é testada só no pacote, porque a propriedade está totalmente presente ali; a precisão de apontamento precisa do subsistema de atitude em uma mesa de mancal a ar; a repetição do traço no solo é uma propriedade da órbita e vai para análise. O 6.5 é verificado por uma análise probabilística da linha do tempo de operações, o tipo de checagem que o guia de Monte Carlo percorre. O critério do 3.1 é uma previsão a partir de uma medição: o teste mede a potência de pico dos painéis, e uma equação no orçamento de energia a transforma em um valor médio por órbita. O 2.5 não tem método porque, como está escrito, não pode ser verificado.

Os resultados e as campanhas de testes

Os 19 casos de teste de verificação ficam em duas suítes: TS-1 Spacecraft Qualification Tests (15 casos de teste, de testes em bancada óptica a análises) e TS-2 Communications and Ground Tests (4). Uma terceira suíte, TS-3 Mission Validation, contém VAL-01 a VAL-03, que verificam necessidades das partes interessadas e não requisitos, então a RVTM os deixa de fora (veja verificação versus validação). Cada resultado registrado traz o testador, a data, o build (versão do software de voo) e o artigo de teste (números de série do hardware) e, quando houver, o arquivo de evidência.

O TC-04 Pointing Accuracy Test foi reprovado: na segunda execução, com o software de voo 2.3.1, três de 20 alvos ficaram fora de 0,1 grau, o maior a 0,14 grau, e há suspeita de atrito nas rodas. A reprovação tem um problema vinculado ao caso de teste e, por meio dele, aos requisitos 2.1 e 2.2. O TC-09 Safe Mode Entry Test foi reprovado da mesma forma (14 segundos contra 10) e tem seu próprio problema. Dois casos de teste, TC-11 UHF Command Test e TC-17 Slew Time Analysis, estão em andamento; na matriz, contam como não executados até terem um veredito.

A campanha na flatsat foi executada duas vezes, e os resultados de cada campanha foram salvos como um ciclo de testes. Comparar os dois mostra o que a segunda campanha mudou:

  • Flatsat Cycle 1: 5 de 9 aprovados. TC-03 e TC-06 não foram executados; TC-04 (0,16 grau em 5 alvos) e TC-09 (15 segundos) foram reprovados.
  • Flatsat Cycle 2: 8 de 11 aprovados. TC-03 e TC-06 foram aprovados, a análise TC-13 foi acrescentada e aprovada, o TC-14 foi acrescentado, mas não executado. TC-04 e TC-09 melhoraram (0,14 grau em 3 alvos, 14 segundos), mas continuam reprovados.

“Melhorou, mas continua reprovado” é exatamente o que uma coluna de status esconde e uma comparação de ciclos preserva: as correções entre as campanhas moveram os números na direção certa, e nenhum dos dois está fechado.

Lendo a matriz

A matriz é gerada a partir dos requisitos e dos casos de teste acima; nada nela foi digitado em uma tabela. Os cartões contam as linhas por status totalizado, e as cinco contagens somam os 32 requisitos: 11 aprovados, 3 reprovados, 12 não executados, 3 somente planejados, 3 não verificados. Lendo como um comitê de revisão leria:

  • 11 de 32 verificados (34%). Aprovações por teste (1.2, 3.2), por análise (1.6.1, 1.7) e por inspeção (3.4). Nenhuma demonstração foi aprovada ainda: as três (5.4, 6.1, 6.2) aguardam os ensaios do segmento de solo na TS-2.
  • 2.1 e 2.2 reprovados por um único teste. O TC-04 verifica os dois, então uma reprovação reprova duas linhas. Olhando mais de perto, o 2.2 Pointing Stability tem um segundo problema: seu critério é a deriva ao longo de cada captura de 40 s, mas o TC-04 mede só o erro de apontamento em cada alvo. Mesmo um TC-04 aprovado não mostraria que o 2.2 é atendido. Essa é uma constatação de coerência de método: o 2.2 precisa de sua própria medição, ou o procedimento do TC-04 precisa registrar a deriva.
  • O 4.3 foi reprovado por meio do TC-09. O problema e uma tarefa para aumentar a frequência de consulta do watchdog e executar o TC-09 de novo estão registrados; a linha continua reprovada até o TC-09 ser aprovado no novo software.
  • O 1.6 Revisit Time é totalizado. Por si só ele está apenas planejado (análise, sem evento), mas seus dois filhos o decidem: o 1.6.1 foi aprovado, o 1.6.2 Off-Nadir Imaging não foi executado, então o 1.6 aparece como não executado. Não é necessário nenhum teste separado do pai depois que os dois filhos forem aprovados.
  • Somente planejados: 1.5, 4.4 e 6.5. Cada um tem um método e nenhum evento. O 4.4 Downlink Encryption também não tem nível nem critérios, então seu plano não está terminado.
  • Não verificados: 2.5, 3.5 e 6.4. Nenhum método, nenhum evento. Esses também são os três requisitos mais fracos da especificação (“quickly … as appropriate”, “warm enough (TBD)”, “user friendly and/or easy to use”). As lacunas na matriz tendem a apontar para requisitos que precisam ser reescritos, não para testes que faltam.
  • O 3.1 está suspeito. Veja a próxima seção.

Um requisito alterado: o 3.1 depois da PDR

O TC-06 Solar Array Power Test foi aprovado: o resultado esperado era de pelo menos 72 W de pico, e os painéis entregaram 75,1 W. Depois o 3.1 subiu de 28 W para 30 W. As colunas de status ainda dizem aprovado, porque o TC-06 de fato foi aprovado. O ⚠ depois do requisito e depois do TC-06 diz que a aprovação é mais antiga que o requisito. Clicar nele lista todos os vínculos do 3.1 que a mudança tornou suspeitos:

Para o vínculo de verificação, a pergunta é concreta: 75,1 W de potência de pico medida ainda mostram 30 W de média por órbita? O orçamento de energia responde. Sua equação EQ-1.3 transforma a potência de pico em potência média por órbita com a fração iluminada da órbita (0,62) e a eficiência do caminho de energia (0,6):

Potência de picoMédia por órbita (× 0,62 × 0,6)O que é
72,0 W26,8 WResultado esperado do TC-06
75,1 W27,9 WResultado medido do TC-06
75,3 W28,0 WNecessário para o 3.1 antigo
80,6 W30,0 WNecessário para o 3.1 novo

Então a aprovação não pode ser aproveitada: para mostrar 30 W, os painéis precisariam de cerca de 80,6 W de pico, e o TC-06 mediu 75,1 W em painéis de qualificação no início de vida, antes de qualquer degradação de fim de vida. A revisão também revela um problema mais antigo que a mudança expôs: o limite de 72 W do TC-06 corresponde a só 26,8 W de média por órbita, então mesmo contra 28 W o resultado esperado do teste não foi derivado do requisito por meio do orçamento de energia. O resultado certo é manter o vínculo suspeito, abrir um problema, revisar o resultado esperado do TC-06 a partir da equação (e decidir com o engenheiro de energia se mudam os painéis ou a margem) e depois executá-lo de novo. A marca de suspeito fica até essa decisão estar registrada, para que ninguém leia o antigo “Passed” como evidência para 30 W.

A matriz exportada contém só os resultados de verificação, não as sinalizações de suspeito: na pasta de trabalho baixada, o 3.1 aparece como Passed. Revise as linhas suspeitas no modelo antes de exportar uma cópia para um marco.

Planejar as linhas restantes antes da revisão

A lista de cobertura mostra as 21 linhas que ainda não estão verificadas (32 menos 11), com os controles para terminar seu plano. Antes da revisão crítica de projeto, o trabalho que ela apresenta é:

  1. Reescrever 2.5, 3.5 e 6.4 para que possam ser verificados, e depois dar a cada um método, nível e critérios.
  2. Dar ao 4.4 um nível e critérios e criar a inspeção dele; criar as análises do 1.5 e do 6.5.
  3. Fechar as reprovações: o TC-04 depois da investigação das rodas, o TC-09 depois da mudança no watchdog, com a deriva do 2.2 medida separadamente.
  4. Decidir sobre o 3.1: revisar o TC-06 e executá-lo de novo contra 30 W.
  5. Agendar os eventos não executados, começando pelo TC-19 Array Deployment Test e pelos quatro eventos da TS-2, que juntos verificam oito requisitos.

Registrar as contagens a cada revisão (aqui 11 aprovados, 3 reprovados, 12 não executados, 3 somente planejados, 3 não verificados) dá a tendência com a qual a próxima revisão vai comparar.

Uma matriz por produto em uma linha de produtos

Neste guia, “build” significa aquilo em que um teste foi executado: uma versão de software e os números de série do artigo de teste. Uma linha de produtos é outra ideia: vários produtos, como o EO-1 Flight e o EO-1 Lite de custo menor, mantidos em um só modelo, cada um como uma configuração de produto. Seus requisitos se sobrepõem, mas não são os mesmos, e uma aprovação em um produto não verifica o outro. O EO-1 Lite voa com o rádio em banda S, então o teste do link em banda X aprovado para o EO-1 Flight não diz nada sobre ele.

A matriz precisa então ser lida por produto. No Holarch, escolha uma configuração de produto em Ver como ▾: a RVTM mostra só os requisitos daquela configuração e os resultados registrados para ela, então “verificado” significa verificado para aquele produto, e suas exportações citam a configuração. Todas as configurações acrescenta uma coluna de status totalizado por configuração, com “—” onde um requisito não faz parte dela. Executar suíte na visão de uma configuração registra os resultados como resultados daquela configuração e preenche o campo Configuração / build com o nome do produto; ainda vale a pena registrar o build e o artigo de teste. As linhas de produtos exigem o plano Individual ou Team; veja Linhas de produtos: RVTM e o guia de engenharia de linha de produtos.

Erros comuns

  • Repetir o requisito como critério de sucesso. “O ADCS aponta dentro de 0,1 grau” não diz nada sobre quantos alvos, em quais condições ou contra qual referência.
  • Limites de teste não derivados do requisito. O resultado esperado de um teste deve vir do requisito por meio da análise que os liga, o que não aconteceu com os 72 W do TC-06. Cheque as contas quando o teste for escrito, não quando o requisito mudar.
  • Um teste para vários requisitos sem medir cada um. Compartilhar um teste é eficiente, mas só se o procedimento registrar cada grandeza que os requisitos vinculados declaram.
  • Verificar pais diretamente. Escrever um teste para um requisito pai que só repete os testes dos filhos dobra o trabalho e a papelada. Verifique as folhas e deixe o pai ser totalizado.
  • Análise sem evidência. Uma análise é um evento de verificação e precisa de um relatório, uma versão e um veredito como qualquer teste.
  • Vincular um teste a um requisito com um vínculo genérico de “relacionado”. A matriz conta só vínculos de verificação; um teste vinculado de qualquer outra forma deixa o requisito parecendo não verificado.
  • Voltar uma reprovação para “não executado” para arrumar a matriz. Mantenha a reprovação e seu problema; o histórico é o que um auditor pede.
  • Ignorar linhas suspeitas na aceitação. Uma aprovação anterior ao requisito que ela diz verificar não é evidência para o requisito atual.

Experimente no Holarch

  1. Crie o projeto EO-1: Gerenciar projetos → Arquivos de projeto ▾ → Novo projeto de demonstração → CubeSat (engenharia de sistemas guiada). Ou comece com os seus próprios requisitos em um documento de requisitos; veja Requisitos.
  2. Abra Verificação → Central de testes. Em Cobertura de verificação, defina o método de cada requisito com A, R, I e T, escolha um nível em Nível… e acrescente critérios de sucesso com + Critérios.
  3. Crie suítes e casos de teste com + Novo ▾ e + Caso de teste, e vincule cada caso de teste a seus requisitos com + na coluna Verifies. Análises, inspeções e demonstrações também são casos de teste.
  4. Registre os resultados com os botões de status, ou percorra uma campanha com Executar suíte, que registra o testador, o build (o campo Configuração / build), o artigo de teste e o arquivo de evidência de cada execução. Depois de uma reprovação, clique em + Criar Issue.
  5. Salve uma campanha com Iniciar novo ciclo… e compare campanhas em ⋯ → Ciclos de testes… da suíte.
  6. Abra Verificação → RVTM. Clique em um cartão de status para filtrar as linhas. Para ver uma marca de suspeito, mude o texto do requisito 3.1 e depois clique no ⚠ ao lado dele.
  7. Clique em Exportar ▾ para Excel (.xlsx), CSV ou Word (.docx). O exemplo para download acima é essa exportação.

A referência completa está em Verificação.

Para onde ir a seguir