Accueil > Ressources > So What ? > N°22 / Approches collaboratives pour l’identification d’indicateurs (...)
– Beatrice Intoppa, Université de Montpellier, Cirad, UMR ART-Dev, Montpellier, France
– Élodie Valette, Université de Montpellier, Cirad, UMR ART-Dev, Montpellier, France
– URBAL est une démarche qualitative et participative d’évaluation de la durabilité des innovations alimentaires. Elle se focalise sur les processus de changement, accompagnant ainsi innovateurs et acteurs du terrain dans leurs décisions.
– Le choix d’indicateurs d’évaluation est une étape cruciale qui doit assumer sa dimension politique. Les indicateurs traduisent en effet les intérêts de ceux qui les définissent, orientant ensuite les stratégies futures en termes de durabilité.
– L’expérience menée dans le cadre de la politique de restauration collective scolaire de la Ville de Montpellier montre qu’URBAL permet de préparer et de mieux cibler le choix des indicateurs dans le cadre d’une évaluation normative.
Compte tenu des pressions croissantes exercées sur notre planète par le système alimentaire dominant, il est crucial de comprendre le potentiel de transformation des systèmes alimentaires urbains et d’accompagner la capacité des acteurs publics et privés à construire des solutions durables (Brand et al., 2017). Bien qu’elles concentrent des problèmes de durabilité, les villes accueillent une diversité d’initiatives portées par les municipalités, le secteur privé et les mangeurs. Toutes visent à proposer des alternatives pour nourrir les populations et, plus généralement, repenser les liens entre ville, agriculture et alimentation.
La question de l’évaluation de l’impact de ces initiatives sur la durabilité reste néanmoins ouverte. L’évaluation est l’une des clés pour penser et orienter la contribution de ces innovations à la transition écologique.
Bien qu’un nombre croissant de recherches suggèrent des méthodes d’évaluation alternatives, la quantification est encore largement considérée comme l’outil le plus objectif pour évaluer toute pratique humaine. Les indicateurs de suivi sont pensés comme des standards de cohérence et d’exhaustivité permettant d’orienter l’action publique.
Les méthodes de quantification présentent toutefois des limites largement renseignées par la recherche. Celles-ci sont liées à la qualité ou à la disponibilité inégale des données, aux coûts élevés de leur collecte et de leur gestion, et à la perte d’informations lors du processus d’agrégation, la standardisation des données ne rendant pas justice à la complexité ni à l’hétérogénéité des contextes locaux. Ces contraintes limitent considérablement toute délibération préalable sur la pertinence des indicateurs et des données à mobiliser au regard des enjeux de l’évaluation.
Surtout, évaluation quantitative et objectivité sont souvent associées, alors même que la subjectivité intervient à chacune des étapes de l’évaluation, depuis la détermination de ses objectifs, des critères opérationnels et des indicateurs, jusqu’au choix même des informations à recueillir. Cela conduit en particulier à ignorer le caractère politique, et pas seulement technique, du choix des indicateurs, leur fonction répondant souvent aux seuls intérêts des acteurs qui les produisent. Ainsi, les mesures d’évaluation gagnent à être élaborées dans le cadre d’un processus collectif (Innes, 1990), multi-acteurs, qui prenne en compte les besoins spécifiques des utilisateurs finaux et la vision de la durabilité des divers acteurs locaux.
Ces défis sont particulièrement importants dans le cadre de l’évaluation de la durabilité des innovations alimentaires. En 2015, l’Agenda 2030 des Nations unies pour le développement durable a publié un ensemble de 17 objectifs de développement durable (ODD) se déclinant en 232 indicateurs permettant de mesurer les progrès vers la durabilité, beaucoup d’entre eux étant liés, directement ou indirectement, aux systèmes alimentaires. Au niveau territorial, le Pacte des politiques alimentaires urbaines de Milan (MUFPP) regroupe 217 villes organisées en réseau pour lutter contre le changement climatique, promouvoir des politiques pour une alimentation saine et créer un système alimentaire urbain fondé sur la durabilité. Le MUFPP propose un cadre de suivi pour soutenir la mise en œuvre des ODD au niveau local.
ODD et MUFPP se limitent à des recommandations, mais ils représentent des cadres normatifs d’importance pour les villes. Ces référentiels sont cependant éloignés des spécificités propres aux contextes locaux et aux programmes qui s’y développent. Notamment, la difficulté à interpréter, via les indicateurs, les interactions entre différents objectifs de durabilité à l’échelle locale, ou la cohérence entre ces objectifs à différentes échelles, réduit la capacité des collectivités territoriales à s’engager dans une action stratégique. En 2015, le Groupe international d’experts sur les systèmes alimentaires durables (IPES-Food) appelait ainsi déjà à des approches d’évaluation plus réflexives, inclusives et multidimensionnelles.
La sélection d’indicateurs via une démarche multi-acteurs peut ainsi s’avérer particulièrement précieuse dans ce contexte. La méthode d’évaluation collaborative URBAL, qui porte une attention sur les processus du changement plutôt que sur les résultats (voir Méthodologie), permet ainsi d’orienter le choix des indicateurs en attribuant la priorité à certains éléments clés qui favorisent ou ralentissent l’atteinte des objectifs de durabilité, en tenant compte du contexte et des intérêts parfois divergents des parties prenantes (Figure 1). La méthode permet également de mettre en regard l’action de l’initiative ou du programme vis-à-vis des recommandations et des cadres normatifs de durabilité locaux et globaux.
En 2019, la démarche URBAL a été appliquée au programme d’amélioration de la restauration scolaire de la Ville de Montpellier, Ma cantine autrement (MCA), lancé en 2016 par la direction de la politique alimentaire (DPA).
En régie publique, la cuisine centrale distribue en moyenne 15 500 repas par jour dans 85 restaurants scolaires. MCA propose une série d’actions visant « l’optimisation de la restauration scolaire et la lutte contre le gaspillage alimentaire » dans les cantines des écoles maternelles et élémentaires. Ces actions s’articulent autour de quatre axes : la politique d’achat alimentaire, la gestion de la production, la distribution des repas et la sensibilisation des enfants au développement durable. Ce programme s’inscrit dans la lignée de l’engagement de Montpellier vis-à-vis de l’alimentation durable : impliquée dans la politique agroécologique et alimentaire (P2A) de Montpellier Méditerranée Métropole depuis 2014, Montpellier est également signataire du MUFPP depuis 2015. MCA est par ailleurs soumis depuis 2018 à la loi EGalim sur la restauration collective. Cette loi oblige notamment tous les établissements publics de restauration collective à proposer, depuis le 1er janvier 2022, 50 % de produits durables, dont 20 % de produits bio dans les cantines. En restauration scolaire, elle instaure l’interdiction de contenants alimentaires en plastique et l’obligation d’un menu végétarien hebdomadaire.
Par le biais de la démarche URBAL, parents, producteurs, DPA, agents municipaux mobilisés au sein de la cuisine centrale ou dans les écoles ont collectivement réfléchi aux changements produits en matière de durabilité par les diverses actions initiées. Ils se sont penchés sur les modes opératoires, les freins et les leviers s’appliquant au changement. Ceci a permis des discussions sur les stratégies favorisant la réussite du programme et sur les conditions de son changement d’échelle.
À la demande de la DPA, les résultats de cette analyse approfondie ont été mobilisés pour orienter une évaluation quantitative du programme. Il s’agissait de réviser le set d’indicateurs existants afin de proposer une évaluation plus en phase avec les enjeux spécifiques soulevés par URBAL. Il s’agissait aussi de mieux aligner le programme avec les cadres normatifs existants. Une grille d’analyse a ainsi été co-construite pour chaque action de MCA, à partir d’une identification des correspondances, similitudes et différences entre les résultats d’URBAL et les cadres normatifs local (P2A), national (EGalim) et globaux (ODD, MUFPP). Cette grille a fourni une base de réflexion permettant d’identifier des indicateurs appropriés pour évaluer la performance de ces actions, en se focalisant sur les activités et les ressources utilisées par l’innovation, et en distinguant, conformément à la théorie du changement, indicateurs liés aux ressources (inputs), indicateurs d’activités (outputs) et indicateurs d’impact (outcomes).
Qu’apporte l’articulation d’une évaluation guidée par les indicateurs avec une évaluation comme URBAL, fondée sur l’analyse des processus du changement et la production de connaissance multi-acteurs ? D’abord, en se fondant sur la compréhension du processus d’innovation, le choix des indicateurs limite l’écueil de la standardisation. Auparavant, le système d’évaluation de MCA s’appuyait sur un set d’indicateurs rendant compte de l’impact global du programme, sans évaluation distincte des différentes actions qui le composent, ni des étapes du processus de changement. Identifier ces étapes et caractériser les freins ou les facilitateurs qui jalonnent le chemin d’impact permet de sélectionner des indicateurs propres à rendre compte des étapes spécifiques de ce chemin. Celles-ci peuvent être des ressources matérielles ou contextuelles qui ont permis l’action, des actions mises en œuvre elles-mêmes pour générer le changement, divers leviers ou freins qui s’appliquent au changement, ou encore des effets à long terme sur le système. Par exemple, l’action « allotissement plus fin » vise à fractionner la procédure d’achat sur les marchés publics en un plus grand nombre de lots, afin de favoriser la candidature d’une plus grande diversité de producteurs et de transformateurs, de petites structures notamment, locales de surcroît. Le chemin d’impact cartographié collectivement avec URBAL a permis de relever que le sourcing – c’est-à-dire les consultations menées pour identifier des fournisseurs potentiels – est une condition préalable favorable à la réussite de l’action. Un indicateur ad hoc a ainsi été ajouté au set d’indicateurs existants.
L’analyse des chemins d’impact a aussi permis d’identifier des indicateurs à créer, ou à mobiliser – pour lesquels des données étaient déjà disponibles – afin d’améliorer l’évaluation du programme. En particulier, le dialogue multi-acteurs a fourni des éléments qui ont permis d’inclure des indicateurs prenant en compte les intérêts de la diversité des acteurs concernés, au-delà du seul porteur de projet. Par exemple, les agents des cantines ont indiqué lors de l’atelier participatif que les outils du « kit de découpe » – pensé pour faciliter le travail de découpe des agents et réduire le gaspillage des fruits – peuvent comporter un risque de blessure. La prise en compte de cet élément permet de garantir de meilleures conditions de travail et de prévenir une augmentation des coûts des soins de santé.
En outre, la DPA avait engagé une réflexion sur l’articulation du système de suivi-évaluation du pro-gramme avec divers cadres normatifs de durabilité (Charte P2A, EGalim, MUFPP, ODD). URBAL a permis de mettre en évidence la contribution du programme aux différentes dimensions de la durabilité (économique, sociale, environnementale, de santé/nutrition et de gouvernance) et a ainsi facilité cette articulation.
Par exemple, l’activité de « tri et valorisation des biodéchets » était évaluée via l’indicateur « nombre de restaurants scolaires effectuant le tri des déchets compostables », associé à l’ODD 11 « villes durables ». Les résultats d’URBAL ont permis d’identifier l’impact de cette activité sur la création de sources d’énergie renouvelable à partir de biodéchets, ainsi que sur la réduction de déchets par la prévention, le recyclage et la réutilisation. Ils permettent ainsi de mieux cibler l’évaluation en mettant en évidence un lien avec l’ODD 7, « garantir l’accès de tous à des services énergétiques fiables, durables et modernes » et l’ODD 12, « établir des modes de consommation et de production durables ».
La prise en compte les différents cadres d’évaluation, la nécessaire adaptation à l’échelle de MCA d’indicateurs trop généraux, ainsi que les informations additionnelles issues d’URBAL nous ont conduit à une réorganisation du set d’indicateurs existants (Figure 2).
Définir une stratégie d’évaluation par les indicateurs représente un défi pour les innovateurs qui entendent mesurer la contribution de leur action à la durabilité des systèmes alimentaires.
URBAL peut aider à réfléchir à la sélection des indicateurs en fonction de la spécificité des contextes : en s’appuyant sur l’intelligence collective permettant de prendre en compte la subjectivité de chacune des parties prenantes et en mettant en évidence la dimension processuelle du changement, la démarche permet d’identifier
les indicateurs pertinents susceptibles de soutenir une action stratégique, en lien avec les recommandations de référentiels de durabilité définis à différentes échelles. Ces indicateurs ne se limitent pas à des indicateurs d’impact (outcome indicators) mais permettent également d’évaluer et de suivre au plus près l’évolution du processus de changement dans son ensemble, depuis les ressources utilisées (input indicators), jusqu’aux différents jalons (output indicators) menant à l’impact final. Cette conception in itinere de l’évaluation la rend plus performante pour accompagner les acteurs dans leurs stratégies actuelles et futures.
URBAL est une démarche de suivi et d’évaluation des impacts des innovations alimentaires sur différentes dimensions de la durabilité. URBAL se propose comme une évaluation qualitative et participative, principalement basée sur des ateliers multi-acteurs au cours desquels sont identifiés les changements produits par l’innovation à court, moyen et long termes. Cette démarche s’inspire de la théorie du changement et des démarches d’évaluation de chemins d’impact. URBAL apporte un regard réflexif sur 1) les changements – attendus, inattendus, positifs ou négatifs, avérés ou potentiels – produits par l’innovation en termes de durabilité ; 2) les éléments facilitateurs ou les freins à ces changements. Cette démarche a été conçue pour les acteurs publics ou privés qui veulent faire évoluer leur action
vers plus de durabilité. Elle accompagne leur réflexion stratégique, et aide aussi les bailleurs et les acteurs publics dans la prise de décision.
– Beatrice Intoppa, Université de Montpellier, Cirad, UMR ART-Dev, Montpellier, France
– Élodie Valette, Université de Montpellier, Cirad, UMR ART-Dev, Montpellier, France
Brand C., Bricas N., Conaré D., Daviron B., Debru J., Miche L., Soulard C. T. 2017. Construire des politiques alimentaires urbaines. Versailles : Éditions Quae, 160 p.
Innes J.E. 1990. Knowledge and Public Policy : The Search for Meaningful Indicators. 2nd Edition. New York : Routledge, 376 p.
Le projet URBAL développe une méthode d’évaluation de l’impact des innovations alimentaires urbaines sur la durabilité. URBAL (N° FC 2015/2440 • N° FDNC Ellgt 00063479) est soutenu dans le cadre du “Thought for Food Initiative” d’Agropolis Fondation (à travers les « Investissements d’avenir » programme ANR-10-LABX-0001-01), la Fondation Cariplo et la Fondation Daniel & Nina Carasso.
Plus d’information sur : www.urbalfood.org
