decp-processing/template.env at main · ColinMaudry/decp-processing · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
# Les variable qui ne sont pas explicitement obligatoires sont optionnelles

# Répertoire racine du projet (par défaut : le répertoire de decp-processing)
# "DECP_BASE_DIR=

# URI de connexion à POSGRESQL
# PREFECT_API_DATABASE_CONNECTION_URL="postgresql+asyncpg://postgres:yourTopSecretPassword@localhost:5432/prefect


# Level des logs (défaut : "INFO")
# LOG_LEVEL=

# Liste des datasets à traiter par decp-processing (défaut : reference/source_datasets.json)
# DATASETS_REFERENCE_FILEPATH=

# Le dossier où seront stockées les données téléchargées. Défaut : DECP_BASE_DIR/data
# Si vide, laissé commenté
# DECP_DATA_DIR=

# Chemin de dossier local où enregistrer les données produites en local
# Par défaut DECP_BASE_DIR/dist
# Si vide, laissé commenté
# DECP_DIST_DIR=

# Activer ou non la publication du résultat sur data.gouv.fr (src/tasks/publish.py)
# Mettre True pour l'activer
DECP_PROCESSING_PUBLISH=False

# La clé API se trouve dans votre compte data.gouv.fr. Utilisée pour publier les données produites.
# DATAGOUVFR_API_KEY=

# Le dossier où seront stockées les données SIRENE téléchargées (un dossier par mois). Défaut: DECP_DATA_DIR
# SIRENE_DATA_PARENT_DIR=

# L'URL à laquelle télécharger le parquet des unités légales et établissements (Stock pas historique)
SIRENE_UNITES_LEGALES_URL=https://www.data.gouv.fr/api/1/datasets/r/350182c9-148a-46e0-8389-76c2ec1374a3

# L'adresse de l'API Prefect de production
# (pour les tests (pytest), laisser cette variable vide, un serveur temporaire sera créé en local)
PREFECT_API_URL=

# Clé API pour se connecter au serveur prefect de production
PREFECT_API_AUTH_STRING=

# Dossier de stockage des résultats de tâches et du cache Prefect
# Défaut : $PREFECT_HOME/storage, soit /home/$USER/.prefect/storage
# PREFECT_LOCAL_STORAGE_PATH=

# Nombre maximal de workers utilisables par Prefect. Défaut : 4
# MAX_PREFECT_WORKERS=

# Durée avant l'expiration du cache des ressources (en heure). Défaut : 168 (7 jours)
# CACHE_EXPIRATION_TIME_HOURS="168"

# POSTGRESQL output
# Si vous ne souhaitez pas sauvegarder dans POSTGRESQL, ne pas modifier cette valeur
# La base de données doit être créée auparavant
POSTGRESQL_DB_URI="postgresql://user:pass@server:port/database"

# Pour ignorer le cache mettre "false"
DECP_USE_CACHE="true"

# Timeout pour la publication de chaque ressource sur data.gouv.fr. Défaut : 300 (5 minutes)
# DECP_PROCESSING_PUBLISH_TIMEOUT=

# Mode de scraping
#- all : toutes les années de 2018 à aujourd'hui
#- month : juste les données du mois en cours (valeur par défaut)
#- year juste les données du mois en cours
# SCRAPING_MODE=

# Identifiants de ressources data.gouv.fr exclues du traitement
# séparés par des virgules
# EXCLUDED_RESOURCES=

# Ne traiter que ces dataset (par leur ID séparés par des virgules, sans espaces)
# SOLO_DATASETS=