As condições fazem parte do resultado
Na engenharia de precisão, uma medição tem significado dentro das condições do teste. A pesquisa computacional exige algo equivalente: o resultado deve vir acompanhado das informações necessárias para entender e reconstruir o experimento.
Um gráfico sozinho não fornece esse contexto. Os dados de entrada podem ter mudado. Uma dependência pode se comportar de outra forma. Um parâmetro padrão pode ter sido alterado entre duas execuções.
Dar uma identidade ao experimento
A iniciativa de reprodutibilidade da conferência SC pede que autores descrevam ambientes de software e experimentos computacionais para permitir que outras pessoas tentem repetir o trabalho. Esses detalhes fazem parte da comunicação científica. [1]
Permitir a comparação
Em um experimento de mercado, preferimos um registro que identifique a pergunta, a versão dos dados, a revisão do código, a configuração e o comando de execução. Ele também deve preservar as saídas e explicar as premissas utilizadas. Isso facilita investigar diferenças entre execuções.
Reproduzir um resultado é uma conquista de engenharia. Demonstrar que ele diz algo útil sobre um mercado exige evidência adicional. Separar essas perguntas evita confundir uma execução correta com uma estratégia validada.