Acurácia
90,20%
Percentual de objetos classificados corretamente no conjunto de teste.
Resultados do modelo
O que a rede aprendeu?
A versão final apresentada aqui foi treinada com 10.000 objetos astronômicos e utiliza 20 características relacionadas às magnitudes fotométricas do SDSS e do WISE, além do redshift.
A avaliação foi realizada em um conjunto de teste separado, com 2.000 objetos que não participaram do treinamento.
Amostras de teste
2.000
Objetos usados exclusivamente para avaliar o desempenho da rede.
Classes
3
GALAXY, QSO e STAR.
01 · Treinamento
A rede reduziu progressivamente o erro
Durante as 20 épocas de treinamento, a função de perda diminuiu de aproximadamente 0,72 para 0,26. Essa redução mostra que a rede foi ajustando seus parâmetros para representar melhor os padrões presentes nos dados de treinamento.
Curva de loss
A queda da loss mostra a evolução do aprendizado ao longo das épocas. Como este gráfico representa apenas a perda de treinamento, ele deve ser interpretado em conjunto com as métricas obtidas no conjunto de teste.
02 · Separação entre classes
O modelo apresentou alta capacidade de discriminação
As curvas ROC avaliam o quanto o modelo consegue separar cada classe das demais em diferentes limiares de decisão.
Curvas ROC e AUC
Os valores de AUC foram 0,961 para GALAXY, 0,994 para QSO e 0,957 para STAR. Valores próximos de 1 indicam maior capacidade de distinguir uma classe das demais.
Entre as três classes, QSO apresentou o maior valor de AUC nesta execução.
03 · Onde o modelo acerta e se confunde
A matriz de confusão revela diferenças entre as classes
A acurácia global resume o desempenho em um único número, mas a matriz de confusão permite observar quais tipos de objeto foram mais fáceis ou mais difíceis de classificar.
Matriz de confusão
Das 1.380 galáxias presentes no conjunto de teste, 1.308 foram classificadas corretamente. Entre os 217 quasares, 193 receberam a classificação correta. Para estrelas, foram 303 acertos entre 403 objetos.
A principal confusão ocorreu entre STAR e GALAXY: 94 estrelas foram classificadas como galáxias. Esse comportamento mostra que o desempenho do modelo não é uniforme entre todas as classes.
04 · Características mais influentes
O infravermelho teve um papel importante na classificação
Para investigar a influência das entradas, foi utilizada uma análise por permutação no conjunto de teste. Cada característica foi embaralhada individualmente e foi medida a queda provocada na acurácia.
Importância por permutação
As maiores quedas ocorreram ao embaralhar as bandas infravermelhas W1 e W2 do WISE, com reduções de aproximadamente 47,1 e 40,6 pontos percentuais na acurácia.
O redshift também apresentou influência relevante, com queda de aproximadamente 17,5 pontos percentuais. Isso indica que essas variáveis carregam informações particularmente úteis para a classificação realizada pela rede.
05 · Probabilidades previstas
Nem toda previsão recebe o mesmo grau de separação
A rede produz uma distribuição de probabilidades entre as três classes. O gráfico abaixo mostra, para cada objeto, a maior probabilidade prevista.
Distribuição das probabilidades
Grande parte dos objetos recebeu uma probabilidade máxima elevada, embora também existam previsões em regiões de menor separação entre as classes.
Essa probabilidade não deve ser interpretada como garantia absoluta de acerto. Ela representa a saída produzida pelo modelo e não uma medida independente de certeza ou calibração.
Interpretação
Um bom resultado não significa um modelo perfeito
A rede alcançou 90,20% de acurácia no conjunto de teste e apresentou alta capacidade de separação entre as três classes. Ao mesmo tempo, a análise por classe mostra que ainda existem regiões de confusão, principalmente entre estrelas e galáxias.
Esses resultados ajudam a entender tanto o potencial quanto as limitações da aplicação de redes neurais à classificação de objetos astronômicos.