Les données utilisées pour le calcul des IAC proviennent du programme EURO-CORDEX, la branche européenne de l'initiative internationale CORDEX, parrainée par le programme mondial de recherche sur le climat (WRCP) pour organiser un cadre coordonné au niveau international afin de produire de meilleures projections régionales du changement climatique pour toutes les régions terrestres du monde. Les résultats de CORDEX contribuent aux études d'impact et d'adaptation au changement climatique dans le cadre du cinquième rapport d'évaluation (AR5) du GIEC.

Ces données sont disponibles à un pas de temps journalier de 1949 à 2100, sur la grille EURO-CORDEX-11, qui couvre l'Europe entière et Afrique du Nord, de résolution spatiale 0.11°x0.11° (~ 12 km2). Leur format est le NetCDF4.
Parmi la masse de données mise à disposition, avec l'aide d'IPSL (Institut Pierre Simon Laplace) nous avons retenu 6  modèles climatiques, avec 16 variables différentes, pour les RCP4.5 et 8.5, soit un volume total de 4 To.

L'équipe Makina Corpus a retravaillé les données climatiques en amont pour les adapter à notre projet, notamment sur les points suivants :

• Vérification de la cohérence des données : éviter de rencontrer des valeurs aberrantes ou manquantes dans les jeux de données, en bornant les valeurs possibles ou en remplaçant par la valeur du plus proche voisin.

• Conversion d’unités : cette étape nous permet d'avoir les données dans les unités qui nous conviennent pour les calculs et les visualisations.

• Réduction du volume : nous avons limité les jeux de données à la France Métropolitaine et sur des intervalles de temps nous permettant des comparaisons simples : le passé récent (1985-2020), futur proche (2020-2050) et le futur lointain (2050-2100). Cela nous permet d'alléger les besoins en stockage serveur.

• Estimation de variables climatiques clés : certaines variables d'intérêt pour le suivi agricole n'étaient pas disponibles avec les modèles climatiques à disposition, notamment l'évapotranspiration (ETP), qui permet de connaître les pertes en eau des plantes par transpiration, et du sol par évaporation. Cette variable a du être estimée à partir des autres données à disposition, sur la France métropolitaine, à un pas de temps quotidien de 1985 à 2100, pour les 6 modèles climatiques.

Pour toutes ces opérations, la bibliothèque CDO (Climate Data Operator), développée par le Max Planck Institut, a été employée. Cette bibliothèque est une référence du monde de la climatologie et bénéficie d’une communauté active. Elle est en développement continu, et des nouvelles versions régulières permettent d’avoir fréquemment de nouvelles fonctions disponibles ou des corrections de bugs et performances. Basée sur le langage C++ et accessible en ligne de commande, elle offre aussi une enveloppe Python, qui permet à la fois de profiter des performances de calcul en C++ tout en pouvant être intégrée dans des scripts en Python, un des langages de prédilection de développement web de Makina Corpus. Cela permet également d’avoir plus de flexibilité en termes de gestion de la parallélisation des calculs et de pouvoir récupérer les données dans des tableaux de données numpy ou pandas pour de la manipulation plus avancée des données par la suite.
Dernier avantage : CDO gère très bien les données au format NetCDF en entrée. Ce format, optimisé pour le stockage de données à plusieurs dimensions, est celui de nos données EURO-CORDEX, ce qui nous évite de devoir trop repenser la structuration selon des formats de base de données plus classique (par exemple : intégration dans une base de données PostgreSQL).
CDO est donc utilisé en amont pour le traitement des données mais également pour les calculs d'indicateurs à la volée dans l’application (cf. § Conception de la solution informatique).

Pour l'estimation de l'ETP, un script Python nous avait été fourni par l'unité Mars du JRC. Plutôt que de prendre le risque de le retranscrire avec CDO et d'introduire des erreurs d'interprétation, nous avons préféré tester la bibliothèque Python Vaex pour les calculs. Cette bibliothèque applique des calculs complexes sur d'importants volumes de données, de façon optimisée, ultra-rapide. Vaex est basée sur le mappage de la mémoire, et n'effectue aucune copie des données en mémoire, ce qui apporte d’impressionnantes capacités de calcul. La contre-partie de ces performances est la conversion des données d'entrée dans un format compatible avec Vaex. Une fois cette étape passée, le calcul de l'ETP en lui-même ne dure que quelques secondes.