Voici, déjà bien diffusé ( Revue Territorial en ligne, site de Philippe Gimet sur LinKedin, l’excellence sur la réflexion et l’action culturelle), la position de Jean-Michel Lucas sur l’évalution actuelle des politiques culturelles, où il sera donc question des indicateurs,  des méthodes et des enjeux.Jean-Michel est, de plus, le meilleur des hommes,

Ken , hier au Qatar, posant

 pour vous devant le MIA,

musée d’art islamique de Doha.

Architecte Ieoh Ming Pei Pei

patient et généreux, avec de l’humour et une fertile imagination, impressionnant d’intelligence. Et  il y a si peu de vraie réflexion sur l’évaluation, tant de réticences, aussi, de la part des acteurs comme des intellectuels – avec la naissance, il y a quelques mois, d’une sorte d’Ecole anti-évaluation..cf.Yves Charles Zarka, dans la Revue Cités N° 37 – 2009, que nous ne résistons pas à participer à la diffusion du texte de Jean-Michel Lucas, un professionnel hors pair de la Culture.

D’autant qu’un débat doit être ouvert sur la place de la Culture et de ses institutions dans la société.

Pour notre part, nous ne partageons pas toutes les idées du Texte de J.M Lucas, et pas du tout celles des anti-évaluation d’aujourd’hui, pour plusieurs raisons :

– Pourquoi les professionnels de la culture échapperaient-ils à l’évaluation?

Les objectifs de programmes ou d’actions sont-ils assez précis pour qu’en soit faite une évaluation? Qui, aujourd’hui, décide que telle ou telle action est faite dans  l’Intérêt Général?  Qui décide, décrète, baptise, la bellise en quelque sorte, des programmes, des projets qui seraient faits non pas dans l’intérêt commun, ce qui peu être vérifié, des groupes auxquels elle est destinée, mais dans Intérêt général? La culture est-elle si vaste, son périmètre si diffus qu’elle ne serait que cette démarche toute pleine de qualité, mais non quantifiable, avec des résultats eux-même impensables pour une évaluation?

J’avoue que je comprends mal. Ces appréciations, qui coupent tout de même les actions culturelles de leur contexte, en les chapeautant de super stratosphères et  d’ideaux me semblent d’un romantisme fou! Et, mais cela n’est pas du tout ce que dit Jean-Michel, la résistance à être quantifié,mesuré, m’inquiète. Tout comme les amalgames et quasi-insultes qui fusent si vous voulez passer par les coûts, l’argent, les subventions . Vous entendez illico,  alors un  “La-culture-n’est-pas-un-système-marchand-comme-les-autres” , généralement suivi par un “T’es de droite et ultra libérale ou quoi?”… Ah bon, mais le marché de l’art? La vente des CD? Les abonnements aux Revues, aux journaux, les billets du ciné et des musées???    Réponse : “Oui, mais c’est pas pareil…Il ne faut pas tout confondre…”. C’est cela, je dois confondre. Parce que je pensais que le seul objectif était d’aider les plus démunis, ceux pour qui la culture étaient plus difficile à connaître qu’elle ne l’est pour les classes aisées..Celles-ci  sortent encore grandes gagnantes des cinquante ans du ministère et, la semaine dernière, de l’Enquête sur les Pratiques Culturelles des  Français. “Patience, il faut encore poursuivre, me dira-t-on aussi, nous n’avons pas atteint notre but mais nous allons y arriver!”.

Mais voilà, si on ne change pas les méthodes, je ne vois pas comment on arriverait à en changer les résultats. Les plus riches, chez nous, sont bien plus gâtés par l’offre culturelle que les pauvres et les malheureux. Je n’ai donc plus envie d’attendre encore, et le dis, sauf à ce que l’on m’annonce  que l’on va changer les objectifs, les stratégies, et les méthodes, donc.

Et vous, vous reprendrez bien encore un peu dévaluation?

octobre 1, 2009 • 5:19
La production d’indicateurs : source de sens pour les politiques culturelles territoriales ?
 Un de nos membres fut récemment surpris par une question posée lors d’une présentation dans une commune de la Seine Saint-Denis. « Pensez-vous qu’il soit éthique et moral d’évaluer une politique culturelle ? » lui a-t-on demandé. La présente communication de Jean-Michel Lucas vient porter un éclairage tout particulier sur cette question qui ne laissera personne indifférent. En effet, il nous fait à nouveau l’amitié de nous autoriser à diffuser une de ses récentes contributions. Cette fois-ci, il s’agit du texte de son intervention du 24 septembre dernier lors de la table ronde « La production d’indicateurs : source de sens pour les politiques culturelles territoriales ? » où CEG était présent et qui s’est tenue à Annecy dans le cadre du colloque organisé par l’Observatoire des Politiques Culturelles sur le thème « Quelle évaluation dans les politiques culturelles ? ».
Les indicateurs sont  évidemment “sources” de sens pour les politiques culturelles, mais à bien y regarder,  il n’est pas certain que ce soit de “bonnes” sources. Je suis maintenant convaincu que le point d’interrogation devrait être encore plus gros qu’il ne l’est car les indicateurs des politiques culturelles (territoriales ou pas) produisent un sens “contraire” à ce qu’exigerait une approche sérieuse de l’évaluation. Autrement dit, s’il y a interrogation, c’est, à mon avis, parce que les indicateurs culturels jouent à faux avec les nécessités de l’évaluation. Ils sont le plus souvent la manifestation de stratégies  “d’évitement” de la part des acteurs de la politique culturelle. Pour illustrer ce propos, je partirais d’un exemple sanctuarisé par le journal Le Monde, donc connu de tous : la fréquentation comme indicateur de la bonne santé de la culture. L’article du 11 janvier 2009  nous dit que ” la culture ne connaît  pas la crise”.  Je cite pour pointer l’ambiance  : “A tous les rendez-vous : les salles de cinéma ou de théâtre sont pleines, des concerts refusent du monde, les festivals ne désemplissent pas, des musées affichent des chiffres record. L’année 2008 est excellente, voire exceptionnelle, avec une fréquentation à la hausse dans la plupart des secteurs. …  les chiffres sont là. “
Que retenir de cet exemple ? Non pas les chiffres, plutôt l’évidence : si les indicateurs chiffrés ont un sens pour le rédacteur et le lecteur de l’article, c’est parce qu’ils disent ce qui est. Leur fonction est d’apporter de la connaissance à la société, de donner une réponse aux questions qu’on se pose : “la culture se porte bien malgré la crise”,  tel est le vrai. Pris ainsi, les indicateurs sont fils de la Vérité.  On pourrait dire que le bon indicateur doit être “probant” et que le meilleur d’entre eux devra avoir pour qualité d’être “indiscutable”, pour que les acteurs puissent de débarrasser de la question pour mieux revenir à l’action. Et je crois que l’article de Luca di Pozzolo confirme mieux que je ne saurais le faire la demande pragmatique de savoir, ignorante de la complexité du réel [1]. Disons que la vocation de l’indicateur est de faire trancher les litiges par le “fait” ou  si l’on préfère de “clore” le débat sur le sens de la vie culturelle et artistique.
On retrouve cette fonction de l’indicateur culturel à tous les coins de rue. Même des spécialistes de l’évaluation lui donnent ce sens. Ainsi une grande ville de l’ouest présente sa politique d’évaluation de la politique culturelle en énonçant le principe suivant : “il s’agit de mettre en place des indicateurs d’évaluation des structures recevant des fonds publics, afin de vérifier si les objectifs fixés par les élus sont atteints”. L’indicateur “vérifie”, comme l’huissier, la réalité des faits. L’indicateur “fait preuve” tel est son sens pour la politique culturelle [2].
Bien que cette approche du sens de l’indicateur comme réponse clôturant le débat soit fort consensuelle dans le milieu des acteurs de la politique culturelle, il faut redire qu’elle n’est pas compatible avec une politique d’évaluation méritant ce nom. Le point d’interrogation s’impose. Pour ma part, je comprends le doute ainsi : l’évaluation des politiques publiques est un exercice complexe  car elle concerne la capacité de la démocratie à évaluer l’action publique c’est dire, par définition, à porter des jugements de valeur sur la “bonne” politique à conduire. Si elle ne veut pas devenir un audit ou un contrôle, l’évaluation doit être une  mise en discussion de ces valeurs et l’indicateur n’a de sens que s’il permet de nourrir ces débats de valeurs, de les interroger, de les argumenter pour alimenter les arbitrages et construire les compromis : “nos valeurs sont-elles les  bonnes ? ” “Peut-on  faire “mieux ?” On peut illustrer cette nécessité, souvent mise de coté, à partir d’un indicateur aussi basique que la fréquentation : 702 905 visiteurs  à l’exposition “Kandinsky” au Centre Pompidou, “troisième position des rétrospectives les plus courues depuis l’ouverture de Beaubourg en 1977″. Ce chiffre traduit-il la réussite de la démocratisation de la culture ou à l’inverse l’adaptation de l’offre culturelle publique aux demandes des “consommateurs” de Kandinsky ? Laquelle de ces valeurs se cache derrière l’indicateur de fréquentation ? Faute de mise en débat du sens de cette politique culturelle, l’indicateur de fréquentation n’est qu’un leurre évaluatif, (d’autant qu’il ne dit rien des contextes sociaux,  économiques, historiques qui ont pu peser sur les comportements des fréquentants).
Pour être sérieusement menée, l’évaluation ne peut pas se contenter des chiffres de ses indicateurs en énonçant une vague relation entre indicateurs et valeurs. Il lui faut prendre le temps de définir le référentiel d’évaluation, le registre d’évaluation, l’instance d’évaluation et de faire partager aux protagonistes de la politique publique un minimum de confiance dans le choix des critères, normes et indicateurs de cette politique publique. Temps délicat de confrontations des regards sur le monde, d’autant que les autres politiques publiques ont, elles aussi, des chiffres à offrir au débat public et ne manquent jamais d’arguments de sens. L’évaluation ne peut donc pas s’endormir sur “ses” réalités, plutôt “ses” convictions ; elle doit toujours être sur la brèche, en négociation permanente sur la manière de construire la société “bonne”.  Evaluer est donc une “lutte de valorisation”, disons plus pacifiquement, une confrontation de sens et de valeurs avec les autres. Si l’on suit cette conclusion, ce n’est pas la production d’indicateurs qui sera source de sens de la politique culturelle territoriale, ce sera le compromis obtenu sur les valeurs d’intérêt général accordées par les autres politiques publiques aux activités artistiques et culturelles.
Cela revient à dire que l’évaluation n’est pas une affaire technique réservée à des spécialistes du remplissage de tableaux Excel ; elle n’apparaît pas à la fin de l’action pour la vérifier ; elle est au cœur du projet politique, c’est à dire au cœur des négociations, dès le stade du débat sur la légitimité de telle ou telle action publique. On doit insister encore en rappelant que l’évaluation est une nécessité car, sans elle, une politique publique se trouve vite dépassée par d’autres politiques publiques plus soucieuses de faire partager leurs finalités à la démocratie. L’évaluation est donc un temps d’ouverture, un temps de risque pour convaincre du bien fondé des valeurs, des finalités, des objectifs, des programmes d’actions, face à d’autre valeurs, d’autres finalités, d’autres programmes d’actions. C’est un cadre de négociations, non un catalogue de certitudes dogmatiques sur les bienfaits de la politique culturelle.
Malheureusement, on est bien contraint de constater que la politique culturelle ne s’engage que rarement dans cette voie évaluative.
Pour évidentes qu’elles soient, toutes ces observations paraissent souvent abstraites aux acteurs de la politique culturelle et je voudrais les confronter à une situation pratique. Je ne redonne pas l’exemple de l’Etat à travers le PAP qui permet de bien observer la stratégie d’évitement du ministère de la culture [3]. Je prendrais plutôt ici l’exemple d’une municipalité qui s’est engagée dans un dispositif qui n’a d’évaluation que le nom. L’exemple choisi est très banal et sans doute représentatif de bien d’autres collectivités. Dans le document présentant le travail du service d’évaluation, la ville en question annonce les valeurs de sa politique culturelle à travers les trois objectifs suivants :
• garantir le pluralisme artistique et culturel,
• favoriser l’accès de tous à la  culture,
• participer au rayonnement de la ville.
Sur cette base politique, chaque structure culturelle subventionnée dispose d’une “fiche d’évaluation” qui donne la liste des indicateurs servant à vérifier si les objectifs sont atteints. Le référentiel de l’évaluation demande de chiffrer “l’offre proposée par la structure”, “la fréquentation /public,” la “médiation réalisée”, “l’impact”, “le rayonnement”, “les  moyens”.
Regardons, pour les structures de musiques actuelles,  la liste des “indicateurs” correspondant au référentiel “offre” : il est demandé de donner le nombre de concerts organisés. Ensuite, il faut préciser les concerts qui relèvent de la catégorie “pop/rock” ou ” hip hop”, “reggae”, “musiques électroniques”, “musiques du monde”, “chanson”, “jazz”, “comédies musicales”. Avant d’interroger la pertinence d’une telle liste, précisons que sous l’item rock, la structure doit indiquer si les spectacles étaient “rock”, “pop”, “punk”, “folk”, “metal et hardcore”, “post rock”, et dans la catégorie “musiques électroniques”, il faut différencier ” echnohouse” de “hard teck”, de “jungle drum and bases”,”ambiant électronica” qui n’a pas le même sens que “indus”, “dub”, “ragga”, “dancehall”, “turn tablism”. Par contre pour la chanson, il n’y a pas de sous catégories ayant sens, et pour le jazz, la maison évaluative ne connaît comme indicateurs que les trois sous catégories “blues” (mais pas “blues rural”, ni “blues urbain” de Chicago ou du Delta !!), “funk/soul” et “musiques improvisées” (comme s’il y avait quelque part du jazz qui ne relèverait pas de la musique improvisée !!)
J’ai pris le soin de donner ces précisions car l’accumulation de ces indicateurs de réalité fait comprendre l’absurdité du dispositif d’évaluation. Quelle est la pertinence  de ces indicateurs au regard de la politique publique ? Elle est nulle puisque ces indicateurs ne sont associés à aucune valeur d’intérêt général. Le fait qu’il y ait un concert de “funk” ou un concert de “dub” ne porte aucun enjeu politique, sauf si la police avait détecté que ce genre de spectacles s’accompagnait de conduites à risque pour la jeunesse ou que le syndicat d’initiative avait observé que de nombreux touristes venaient assister à ces concerts. Pour que ces indicateurs aient du sens, il aurait fallu que l’instance d’évaluation leur en donne un, explicitement, et que les acteurs eux mêmes partagent ce sens. Mais nulle trace dans le service d’évaluation de cette assignation d’une valeur d’intérêt général à ces catégories musicales.
En pratique, les réalités désignées sont nommées par les musiciens eux mêmes. Ils peuvent modifier les noms comme ils l’entendent et c’est d’ailleurs ce qu’ils ont fait depuis des années sans que la politique publique ait eu quoi que ce soit à dire. Ainsi, l’indicateur du nombre de spectacles  “rock”, “pop”, “pip” ou “pap”, dit seulement comment les acteurs du spectacle veulent se présenter. Ceci ressort de leur sphère privée, c’est à dire de leur liberté d’expression, de leur droit culturel élémentaire. Ce que désigne l’indicateur, ce sont des personnes qui donnent sens et valeurs culturels aux musiques qu’ils pratiquent. Or, ces personnes n’apparaissent nulle part dans le dispositif d’évaluation. Elles sont les “invisibles” du service chargé de l’évaluation qui se contente de les “réifier” en les désignant à travers des catégories si arbitrairement déterminées de spectacles !
On peut aller jusqu’à affirmer que l’évaluation de cette politique culturelle va s’empêtrer dans le non sens, pour deux raisons : d’abord, on ne pourra jamais apprécier si l’objectif de garantir le pluralisme artistique et culturel est atteint en regardant les chiffres de cette liste. L’information demandée est sans intérêt pour l’objectif de politique culturelle annoncé. Comment oser dire qu’il y a “plus” de pluralisme parce que les bretons auront dix concerts de leur musique et les jazzeux vingt, les électro trente…. Et si les résultats sont inversés : dix pour les électro, trente  pour les  jazzeux, vingt pour les bretons , le pluralisme est-il “mieux” atteint ? Et si le breton est aussi un amateur d’électro et de jazz, et que son identité culturelle rend artificielle les différences entre ces musiques, la politique du pluralisme artistique a t-elle encore un sens ?
On se demande bien comment le service de l’évaluation va construire l’échelle des valeurs plus grandes ou plus petites du pluralisme artistique ?  Le dispositif donne une liste d’indicateurs mais il fait silence sur le sens qu’il leur attribue. Bel exemple d’évitement. Autrement dit, de manière plus générale, la liste des chiffres ne pourra jamais dire si le pluralisme est satisfait puisqu’aucun protocole négocié et explicite ne précise l’échelle des valeurs associées aux chiffres ; aucun protocole d’évaluation partagé avec les acteurs, et encore moins avec les citoyens, ne définit la relation entre les chiffres et l’objectif de pluralisme artistique. Ce sont donc les services de l’évaluation qui, au doigt mouillé, c’est à dire sans mettre en débat public leur propre échelle qui vont faire parler les chiffres ! Une évaluation de cartomancienne, pourrait-on dire, aussi sympathique qu’arbitraire !
Dommage pour le sérieux de l’évaluation dont la finalité est pourtant de mieux débattre des valeurs d’intérêt  général dans une démocratie qui réclame la transparence.
Le non sens est encore plus présent au niveau du principe même de construction de l’indicateur : il oblige les artistes à s’inscrire dans une catégorie. Au fond, le service de l’évaluation présuppose la valeur de conformité de l’artiste avec l’une des catégories. C’est presque comique de revendiquer le pluralisme artistique et de vouloir traduire cette réalité mouvante et incertaine dans des catégories de genre et sous genre fixées à l’avance. De surcroît, cette conception des indicateurs est porteuse de doutes politiques.
Supposons que des musiciens revendiquent de contrôler “l’authenticité” de telle catégorie et refusent violemment à d’autres musiciens de s’inscrire dans leur catégorie, sous prétexte  de “pureté culturelle” excluant toute “récupération” ? Ce débat sur l’authenticité des cultures a laissé des lourdes traces dans l’histoire de l’Humanité. Il a été tranché par l’Unesco dans la Convention  sur le patrimoine culturel immatériel mais notre service d’évaluation semble l’ignorer. En tout cas, la liste des indicateurs ne porte pas la marque de tels débats.
Le service d’évaluation pourrait éventuellement s’en sortir en disant que les indicateurs ne sont là que pour “informer sur la vie de la structure”. Le service réduirait alors sa mission à la collecte d’informations pour permettre à la ville de mieux communiquer sur ce qui s’y passe ou donner des éléments à l’administration municipale pour contrôler l’application des différents articles des conventions passées avec les structures. Mais, cette position ne peut absolument pas relever de l’évaluation puisqu’elle laisse confidentielle sinon secrète la relation entre la valeur de la politique publique de la culture (le pluralisme artistique) et les informations recueillies. Les indicateurs n’indiquent rien et n’indiqueront jamais rien tant que le service n’aura pas mis en place une véritable instance d’évaluation.
Le plus surprenant dans le dispositif de cette ville est sans doute le traitement de l’objectif de “démocratiser l’accès de tous à la culture”. L’indicateur est le chiffre de fréquentation et la répartition par catégories sociales du public. Le  dispositif ne prévoit aucune autre interrogation. En particulier, il refuse d’apprécier ce que “vaut” l’accès des personnes à la culture. Que le spectateur se soit “ennuyé”, “épanoui”, “passionné”, “émancipé” ou autre, cela n’a aucune importance pour la dépense culturelle publique ! Tous les modes de fréquentation sont  équivalents par rapport à l’enjeu politique et l’évaluation est totalement indifférente à la valeur et au sens que le spectateur accorde à l’offre culturelle subventionnée. Pire encore, si l’on a bien compris, le service revendique cette exclusion du sens et de la valeur culturels donnés par les personnes ! On connaît l’argument : il ne revient pas à l’autorité publique de sonder les âmes et les désirs des spectateurs car la république exige une séparation stricte entre la sphère publique et la sphère privée. Le dispositif postule ainsi qu’il ne peut pas apprécier les effets de sa politique de démocratisation culturelle !
L’exemple de cette ville vaut pour bien d’autres et révèle que l’absence d’indicateurs est aussi lourd de significations : la finalité ” accès de tous à la culture” est un principe qui n’a pas à s’évaluer car sa valeur est au dessus de tout autre considération [4]. La finalité est inévaluable au sens ou aucune donnée ne  pourrait modifier le jugement de valeur qui la légitime. L’énoncé est donc un “dogme” indifférent à l’évaluation. Ainsi, par cet évitement, les acteurs de la politique culturelle pensent préserver leurs acquis et leurs secrets. Mais à l’heure où la question de l’évaluation devient une nécessité politique de survie de l’action publique, cette stratégie défensive est sans doute dangereuse. Une politique d’accès de tous à la culture est inévitablement une politique d’accès à la “bonne “culture et les jugements de valeur qui accompagnent les choix de cette politique culturelle ne peuvent plus reposer sur des dispositifs arbitraires.
Pourtant, la valeur de la culture dans la société démocratique a fait l’objet d’une autre approche qui place au centre de l’action publique la personne dans ses rapports au Vivre ensemble. L’évaluation est alors au point de départ de la politique culturelle puisqu’il s’agit de déterminer collectivement comment la diversité des cultures peut, par les inter-actions entre les identités culturelles, construire ou détruire la marche de la société vers “l’harmonie” et le “progrès”. Le débat politique sur les valeurs culturelles devient est alors permanent et impératif pour légitimer les interventions publiques de toute  nature vis à vis des différentes cultures. C’est dans cette voie que la France s’est engagée en ratifiant les conventions Unesco sur la diversité culturelle (en particulier celle sur le patrimoine culturel immatériel). Mais pour l’heure, le dogme de l’accès de tous à la “bonne” culture continue de l’emporter et avec lui l’évaluation est, au contraire, interdite et ses indicateurs ne sont que des sources taries de sens pour les politiques culturelles, nationales ou territoriales.
Jean Michel Lucas et doc Kasimir Bisou
___
[1] Luca Dal Pozzolo  :”Réseaux, systèmes, milieux : les défis de l’analyse et de l’évaluation”. Osservatorio culturale del Piemonte.
[2] Un bon exemple se lit aussi dans “l’agenda culturel européen” où la preuve de l’importance de la culture est donnée par un chiffre d’emplois (5 millions de personnes travaillent pour le secteur culturel en 2004) et par un indicateur de ventes de marchandises (le secteur culturel a contribué pour environ 2,6 % du PIB de l’Union). Le débat est clos  : les chiffres ne mentent pas et il faut tirer la conséquence en terme de politique publique : les faits montrent l’importance de la culture  et c’est pour cela,  nous dit l’agenda européen, qu‘il convient de favoriser la contribution de la culture à la promotion de la créativité  et de l’innovation”. L’indicateur chiffré devrait ici comme ailleurs imposer sa belle mécanique à la décision, (au point  même que le Syndeac a repris ces chiffres alors que la conception de la culture qui les sous tend  n’a rien à voir avec celle des acteurs  adhérents de ce syndicat !).
[3] Voir sur le site de l’irma les deux textes  : “Politique culturelle et évaluation : la question des finalités” et “Hétérogénéité, complexité et évaluation en politique artistique et culturelle”, http://www.irma.asso.fr/Jean-Michel-Lucas
[4] On renvoie ici à  François Dubet dans “Le déclin de l’institution” .