Projeto Piloto — Tuntum/MA · Subpágina 2
Validação, Acurácia e Resultados do Piloto
Documento GAI-VAL-001 · versão 1.0 (21 de julho de 2026) — uso institucional / minuta para validação. Abaixo, cada resultado explicado em linguagem simples, com o PDF completo para download.
1. O que este relatório é (e o que não é)
O que ele faz
Consolida os arquivos de validação do repositório GeoAlerta AI V3, demonstra os resultados do piloto de Tuntum/MA e registra as limitações, para uma apresentação responsável dos números.
Próximo passo
A validação definitiva em um novo estado depende de dados históricos oficiais, amostra representativa e protocolo acordado com o órgão de Defesa Civil.
Atenção: métricas de classificação com ground truth e métricas de modelos territoriais com alvo técnico/sintético medem coisas diferentes e não devem ser somadas como uma única validação.
2. Classificação supervisionada com ocorrências reais
Base total de 176 registros (GAI-23A.3). A matriz de confusão usa 44 registros: 39 verdadeiros negativos, 1 falso positivo, 0 falso negativo e 4 verdadeiros positivos. Em linguagem simples: o modelo não deixou passar nenhum caso positivo da amostra, e errou apenas um alarme a mais.
97,73%
Acurácia
Proporção de classificações corretas.
80%
Precisão
Dos positivos previstos, 80% eram positivos.
100%
Recall
Todos os positivos reais foram identificados.
88,89%
F1-Score
Equilíbrio entre precisão e recall.
3. Modelos territoriais sobre alvo técnico
Ambos os modelos foram treinados com 21.394 registros sobre um alvo técnico/sintético construído a partir das próprias variáveis físicas e scores.
| Modelo | MAE | RMSE / R² (teste) | R² validação cruzada |
|---|---|---|---|
| Random Forest | 0,019337 | 0,032285 / 0,998073 | 0,997563 ± 0,001003 |
| XGBoost | 0,002636 | 0,022371 / 0,999075 | 0,999531 ± 0,000309 |
Os valores altos de R² mostram aderência ao alvo técnico — não capacidade de prever ocorrências reais futuras. O relatório de treinamento determina a substituição do target por ocorrências históricas oficiais quando disponíveis.
4. Explicabilidade — o que pesa na predição
Fatores físicos do território dominam a predição; o histórico de eventos teve peso nulo na amostra analisada — reflexo do pequeno número de registros históricos disponíveis.
5. Limitações e riscos de interpretação
Amostra restrita
Amostra supervisionada pequena e concentrada em Tuntum/MA, com desbalanceamento de classes e poucos eventos positivos.
Generalização limitada
Mudanças de território, drenagem, urbanização e clima podem reduzir o desempenho fora do piloto.
Target técnico
Modelos territoriais com target técnico exigem validação independente contra ocorrências oficiais.
Supervisão humana
Nenhuma métrica elimina a necessidade de supervisão humana, dados oficiais e verificação de campo.
6. Protocolo recomendado para novas validações
- 01
Selecionar município
- 02
Definir ground truth
- 03
Calcular métricas
- 04
Analisar erros e registrar
O protocolo garante rastreabilidade, reprodutibilidade e alinhamento com o órgão parceiro em cada ciclo de avaliação.
7. Fontes
- geoalerta_api/saida/relatorio_gai23a3_rf.json
- geoalerta_api/modelos/relatorio_treinamento_rf_tuntum.json
- geoalerta_api/modelos/relatorio_treinamento_xgb_tuntum.json
- geoalerta_api/saida/relatorio_importancia_variaveis.json