Skip to content

feat: execução em lote com persistência em JSON e CSV - #7

Merged
ncsrdgs merged 2 commits into
mainfrom
feat/pipeline
Nov 16, 2026
Merged

ncsrdgs merged 2 commits into
mainfrom
feat/pipeline

Conversation

@ncsrdgs

@ncsrdgs ncsrdgs commented Nov 16, 2026 •

Copy link
Copy Markdown
Owner

Adiciona a execução do pipeline sobre uma pasta de PDFs e a gravação dos resultados.

main.py processa os documentos em paralelo (4 por padrão, ajustável com --workers), com entrada e saída configuráveis. Cada arquivo é tratado de forma isolada: um documento problemático vira failed ou needs_review no próprio registro e não interrompe o lote. Só o erro de configuração do Tesseract aborta a execução.

persist.py grava results.json (um registro por arquivo, com status, motivo, avisos, dados, confiança do OCR, tokens, latência e tentativas), um CSV por tipo (notas fiscais, itens das notas, contratos e relatórios) e summary.json com contagens, tokens e a lista de pendências. Os CSVs trazem as colunas status e motivo, e incluem os documentos em revisão para que os dados extraídos não se percam.

Resultado da execução sobre os 50 documentos (versionado em data/out/): 38 ok e 12 needs_review, nenhuma falha, em 60 s. 11 dos 12 em revisão são notas fiscais cuja soma dos itens difere do total impresso. O outro (014_yfas) teve a quantidade de um item lida pelo OCR como "Ki" em vez de um número, e ficou em revisão com esse motivo depois de duas tentativas. 8 documentos precisaram da nova tentativa com o modelo maior. Total de 62.790 tokens de entrada e 23.444 de saída.

Também silencia o aviso do Gemini sobre temperatura ignorada, que poluía a saída do lote.

@ncsrdgs
ncsrdgs merged commit 9fce2b5 into main Nov 16, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant