less than 1 minute read

Pipeline ETL météo Open-Meteo

What I did

  • Client HTTP avec backoff exponentiel (429 / 5xx)
  • Schéma cible : station_id, timestamp, temp_c, humidity, wind_ms, source
  • Écriture Parquet year=/month= sur 14 jours de backfill test
  • Tests unitaires sur parsing JSON (3 cas limites)

Next steps

  • Dockerfile + entrypoint python -m etl.run
  • Logging structuré (JSON logs)
  • Documentation README du pipeline