Présentation du séminaire

Le Haut Conseil de la santé publique (HCSP), a été créé par la loi relative à la politique de santé publique du 9 août 2004. Mis en place trois ans plus tard, il a assuré, dès les premiers mois de son installation, les missions d’évaluation de la politique nationale de santé fixées par la loi. À l’évaluation des objectifs annexés à cette loi, ont rapidement succédé les évaluations de plans stratégiques pluriannuels, tels que le plan cancer et le plan maladies rares, puis d’autres plans nationaux. Entre 2007 et 2013, le HCSP a ainsi évalué 11 plans de santé publique, à mi-parcours ou à leur échéance.

Ces évaluations apportent une analyse sur la portée et les limites des politiques mises en œuvre. Il n’a cependant pas toujours été possible de connaître ou d’anticiper les suites données aux recommandations formulées dans ces travaux. Le chevauchement des agendas respectifs de l’évaluation et de l’élaboration du plan suivant, ou l’absence de l’instance d’évaluation dans les processus décisionnels peuvent expliquer cette difficulté à assurer le suivi des recommandations formulées lors des évaluations. Ce constat, qui prend acte de l’indépendance de l’expertise par rapport à la décision, a suscité des débats au sein du HCSP, notamment en termes d’utilité des travaux d’évaluation. L’intérêt d’une expertise externe, en amont, ou du moins au début de l’élaboration d’un nouveau plan, est toutefois consensuel. Cependant, le mode d’intervention de cette expertise doit être discuté pour améliorer sa capacité à être prise en compte.

Parallèlement à ces évaluations « classiques », le HCSP a aussi été saisi, durant cette période d’un mandat et demi, de 4 demandes d’appui méthodologique. L’objet de ces demandes était de définir la stratégie d’évaluation de plans ou programmes nationaux, en début ou au cours de ces programmes. L’expertise dans ces situations requiert l’analyse de la construction et des différentes composantes du programme en question. Ainsi, on pourrait considérer ce type d’évaluation comme une autre étape de la construction du plan, celle visant à structurer une évaluation cohérente avec les objectifs et les moyens prévus.

Un premier séminaire interne de retour d’expériences a été organisé par la Commission spécialisée « Évaluation, Stratégie et Prospective » du HCSP en septembre 2011. Il a permis de partager, au sein du HCSP, les démarches et outils déployés au cours des travaux menés dans le champ de l’évaluation. Après ce premier temps de partage, le HCSP a concrétisé, dans sa contribution au Rapport d’Alain Cordier de juin 2013 pour une Stratégie nationale de santé, une conception de l’action en santé reposant sur la construction de politiques de santé objectivées et évaluées. Tout en poursuivant la réflexion méthodologique, le HCSP a souhaité ouvrir le débat, notamment aux décideurs et opérateurs de la politique de santé. À l’orée de la Stratégie nationale de santé, énoncée par la ministre en charge de la santé, Marisol Touraine, comme devant répondre à des enjeux importants, positionner le rôle et l’intérêt de l’évaluation dans les conceptions même des politiques de santé s’est imposé au HCSP.

Ce séminaire présente les travaux et les réflexions du HCSP en matière d’évaluation, mais aussi des expériences émanant d’autres secteurs que la santé, et centre la problématique de l’évaluation sur l’appui à l’élaboration des politiques.

La journée a été organisée en trois temps. Le premier temps rend compte de la méthodologie d’évaluation mise en place par le HCSP à travers des expériences concrètes. Le second temps se concentre sur l’élaboration des politiques de santé publique, en prenant comme exemple le plan cancer, et le troisième temps propose des évolutions pour le futur.

Les textes qui suivent reprennent de façon synthétique le contenu des présentations et des échanges, et ont été validés par chacun des intervenants et les participants à la table ronde.

Haut de la page

Synthèse des présentations et des débats

Évaluation des plans 2007-2013

Retour d’expérience du HCSP sur l’évaluation des plans de santé publique

Les évaluations menées par le HCSP

Au sein du HCSP, l’évaluation est dévolue plus particulièrement à la Commission spécialisée « Évaluation, stratégie et prospective ». En septembre 2013 a eu lieu un premier séminaire de réflexion sur les méthodes d’évaluation du HCSP basé sur un retour d’expériences en interne se proposant de discuter des méthodes de travail. Depuis 2007, plusieurs travaux d’évaluation ont été conduits, d’une part en relation avec la loi de santé publique du 9 août 2004 et d’autre part avec les 51 plans mis en œuvre pendant la période. Seize de ces plans ont fait l’objet d’une évaluation ou d’une aide méthodologique à l’évaluation par le HCSP.

Les travaux évaluatifs réalisés par le HCSP sont menés essentiellement suite à des saisines, commanditées principalement et à part égale par la Direction générale de la santé (DGS) et la Direction générale de l’offre de soins (DGOS). Cependant des autosaisines concernant les missions du HCSP fixées dans la loi de 2004, comme l’évaluation des objectifs annexés à la loi et celle de trois plans stratégiques ont complété ces travaux. Pour les saisines, les échéances posées par le commanditaire sont en général relativement courtes mais les délais effectifs de réponse sont souvent plus longs. En effet, hormis le fait qu’une évaluation nécessite de nombreux travaux et donc du temps, plusieurs aspects organisationnels  ajoutent au déali de réponse : par exemple, pour mener à bien les travaux d’évaluation, un comité d’évaluation ad hoc est constitué. Il peut bénéficier d’une assistance à maîtrise d’ouvrage par un prestataire externe recruté par appel d’offres ce qui augmente les délais du fait des contraintes réglementaires.

La composition des comités d’évaluation est un exercice délicat. Elle doit assurer la compétence, la disponibilité et l’indépendance des membres qui les composent. Pour les évaluations ex post ou à mi-parcours, trois principes sont déterminants : i) le respect d’un double pilotage garantissant la méthodologie de l’évaluation d’une part, la connaissance de la thématique du plan à évaluer d’autre part, ii) la gestion des conflits d’intérêts, iii) la multidisciplinarité et la construction collective de l’expertise évaluative. Jusqu’à présent, il n’y a pas eu de participation d’usagers ou de commanditaires aux comités d’évaluation.

Une grille d’analyse de la demande en début de processus évaluatif, permettant de préciser l’objet du travail, les conditions et les moyens fournis a été développée par le HCSP et son utilisation est recommandée au début de chaque processus évaluatif. La grille passe en revue les points clés permettant d’apprécier la faisabilité de l’évaluation, son utilité et l’adhésion des acteurs. En pratique, cet outil aide les évaluateurs à analyser le plan et le contexte de son évaluation de façon systématique, et permet de structurer la discussion avec les commanditaires. Cette grille s’est montrée d’une grande utilité pour aider les évaluateurs à définir le contenu et les modalités de la réponse à apporter.

En termes de contenu, de grandes constantes se retrouvent parmi les évaluations successives menées depuis 2007 par le HCSP. Tout d’abord, les questionnements portent toujours sur l’efficacité, la pertinence, la cohérence et la gouvernance. Par ailleurs, les résultats sont toujours analysés de préférence en termes d’impact plutôt que de processus. Enfin, le HCSP ne traite pas le sujet de l’efficience (rapport de l’efficacité à l’effort consenti ou aux ressources dévolues). En réponse à ces questionnements, des constats répétés soulignent des évolutions nécessaires du système de santé : l’insuffisance des systèmes d’information, les difficultés à évaluer l’impact faute d’indicateurs disponibles ou d’objectifs explicites, la difficulté de la déclinaison régionale et de l’articulation national-régional et la temporalité de l’évaluation par rapport au renouvellement des plans. Le périmètre relativement variable des évaluations conduit à s’interroger sur le champ d’intérêt spécifique du HCSP. En particulier, la prise en compte de l’évaluation des objectifs nationaux de santé publique comme indicateur d’impact constitue une plus-value qui est apparue dans le temps. Enfin, la diversité des options méthodologiques, des approches et des outils mobilisés, souligne le besoin de poursuivre la modélisation des approches évaluatives du HCSP.

L’objectif poursuivi demeure en effet la construction d’un cadre méthodologique commun d’évaluation au HCSP, et de saisir l’opportunité d’accompagner la réflexion sur l’évaluation dès la conception des politiques. Un enjeu non négligeable est de permettre au HCSP de jouer pleinement son rôle dans l’évaluation et l’appui à la conception des politiques de santé. Pour ce faire, il est nécessaire que le financement des plans prévoie l’évaluation dès leur conception. Or un certain nombre de plans ou de programmes ne sont pas réellement financés (et donc leur évaluation), même si l’évaluation est systématiquement évoquée au moment de leur rédaction.

Haut de la page

L’évaluation du deuxième plan national santé environnement (PNSE2)

La démarche adoptée est celle d’une évaluation ex post. Le HCSP a été saisi de cette évaluation en novembre 2012 par le ministère en charge de la santé, suite à la conférence environnementale. Dès les mois de mai – juin 2012, un contact avait été pris avec les administrations compétentes afin de dessiner les contours de l’évaluation. L’Inspection Générale des Affaires Sociales (IGAS), le Conseil Général de l’Environnement et du Développement Durable et l’Inspection Générale de l’Education Nationale et de la Recherche ont également été saisis pour procéder à l’évaluation. Un temps important a été dévolu à l’élaboration de la méthodologie, qui a été soumise à un comité consultatif représentant les acteurs du Grenelle de l’Environnement (organisations non gouvernementales, administrations compétentes, élus, partenaires sociaux, etc.). Beaucoup d’enseignements ont été tirés de ces échanges en amont de l’évaluation.

En vue d’apprécier le degré d’atteinte des objectifs fixés par le PNSE2, le comité d’évaluation mis en place a décidé de ne pas couvrir la totalité des 58 actions du plan. Les actions ont été priorisées et une trentaine d’entre elles, couvrant 10 domaines de la qualité des milieux environnementaux et de travail, ont été retenues selon une grille multicritères, en s’assurant de n’omettre aucun secteur environnemental important. Dans le champ de l’environnement, les effets prennent souvent place sur des décennies, c’est pourquoi des indicateurs intermédiaires ont été retenus, tels que la baisse de l’exposition des populations au niveau du territoire national et la réduction des inégalités territoriales et sociales. Le choix des actions a conduit à solliciter un grand nombre de données, publiques ou non, et à procéder à des entretiens avec de nombreux acteurs, notamment régionaux. Ces résultats ont été synthétisés et soumis pour avis au comité consultatif au mois de juillet 2012.

D’un point de vue général, le plan reste très panoramique et ses priorités ne sont pas toujours discernables. La dynamique engagée aux niveaux national et régional est toutefois réelle et le pilotage clairement identifié. Pour autant, l’évaluation reste difficile pour des raisons ayant trait aux limites de certains indicateurs adoptés (ou non) par le PNSE2 ou à l’absence d’informations pertinentes.

Quelques illustrations des résultats obtenus parmi les 10 grands thèmes explorés sont présentées. De nombreuses actions ont été mises en œuvre en matière d’air intérieur, mais les résultats sont difficiles à évaluer faute de données répétées dans le temps. Les données disponibles ont néanmoins permis de confronter la qualité de l’air aux valeurs de référence produites par le HCSP. S’agissant du bruit, les données n’ont pas été rendues publiques dans un certain nombre de territoires, malgré l’obligation prescrite par une Directive européenne. Seules 60 % des cartes de bruit avaient ainsi été publiées à échéance 2007 et 20 % à échéance 2012. Au total, 23 habitants sur 1 000, hors Paris, sont exposés à des niveaux sonores excédant les valeurs recommandées par la directive européenne. Cette information du public vise à lui permettre de questionner les autorités publiques afin de pousser à la mise en œuvre d’actions. Enfin, concernant les eaux destinées à la consommation humaine, le constat conclut à la baisse des non conformités pour les pesticides et la plupart des paramètres mesurés.

L’évaluation de plans régionaux santé environnement (PRSE2) a permis de constater qu’il existait un grand attachement à ce que les plans régionaux ne soient pas de simples déclinaisons du plan national mais comprennent une véritable analyse des enjeux et des priorités locales. C’est ce qui a pu être construit au travers de partenariats et de tandems ARS-DREAL (ARS : Agence régionale de santé ; DREAL : Direction Régionale de l’Environnement, de l’Aménagement et du Logement). Du fait du système d’évaluation débutant, l’exercice d’évaluation des PRSE reste délicat. Il a été constaté que des améliorations sont possibles concernant la réduction des inégalités sociales de santé. La régionalisation est positive, mais il est regrettable qu’elle se fasse au prix de la difficulté du benchmarking. Chacun construit en effet sa démarche et son système d’information sans tirer le meilleur des expériences et des enseignements d’autres régions. Une coordination interrégionale serait donc nécessaire.

Le deuxième plan national santé environnement, dans sa construction, son suivi et son pilotage, présente des améliorations sérieuses par rapport au premier plan (PNSE1). Il marque un début d’ouverture de l’accès du public aux bases de données sur la qualité des milieux de vie, selon une directive européenne de 2003 issue d’une convention sur le droit à l’accès public sur la qualité des milieux. Cette ouverture doit être consolidée.

Au travers des 10 domaines explorés, des préconisations ont été dégagées concernant la construction du plan, son suivi, ainsi que des domaines thématiques, afin d’alimenter la réflexion des instances préparant le PNSE3, dont le Premier ministre a annoncé qu’il devrait être rendu public d’ici à la fin de l’année 2014. On constate que de nombreuses actions figurant dans le PNSE2 concernent par exemple les risques émergents, qui par nature, posent la question de leur évaluation. Plusieurs actions transversales sont sources de difficultés d’évaluation. Il est nécessaire de s’interroger sur l’évaluation d’actions qui ne disposent pas d’indicateurs.

Enfin, l’évaluation dépend du temps disponible pour la mener à bien, ainsi que du temps requis pour que les actions mises en œuvre puissent se traduire par des résultats. Des objectifs atteignables ont ainsi été fixés en fonction des ressources disponibles. Sur la question de l’accès aux données, certaines sont accessibles mais ont été conçues de telle façon qu’elles ne se prêtent pas à l’évaluation, se limitant souvent à vérifier le respect de la réglementation. D’autres sont disponibles, mais demandent un temps important pour être analysées. Enfin, un certain nombre de données sont inaccessibles.

Haut de la page

Expérience de l’évaluation d’une politique publique dans un autre champ - étude de cas : une évaluation utile en Nouvelle-Calédonie du programme Cadres Avenir

Le programme présenté est issu de la signature des accords de Matignon en 1988 qui a mis le territoire de Nouvelle-Calédonie sur une trajectoire de décolonisation. Le programme Cadres Avenir est conçu selon le constat qu’au début des années 1980, 3 % seulement des jeunes Kanak accèdent à l’enseignement secondaire. La volonté des signataires de ces accords a été de mettre en œuvre une politique qui permette, à son terme, aux populations d’accéder à la pleine responsabilité, voire à l’indépendance. Un programme dit « de rééquilibrage » et « d’émancipation » a été conduit sans discontinuer. Le niveau de résultat en termes d’insertion professionnelle est de l’ordre de 95 % sur une durée de plus de 20 ans. Les données de suivi du programme permettaient donc de constater que les objectifs étaient atteints. Toutefois, l’évaluation utile ne s’arrête pas à cette conclusion. La deuxième question, fondamentale pour utiliser l’évaluation, revient à se demander pourquoi et comment cette efficacité a été atteinte. L’objectif était la mise en évidence des facteurs de l’efficacité dans la perspective du transfert des acquis de cette expérience vers d’autres territoires et la mobilisation de ces facteurs dans d’autres conditions, dans les autres territoires ou régions d’outre-mer mais aussi en métropole.

Lors de la préparation du programme d’évaluation, les acteurs locaux se sont impliqués (dimension cognitive) afin d’acquérir la connaissance sur les facteurs de résultats. Ils ont souhaité une évaluation de nature formative, en ajoutant au programme défini par l’État central un objectif visant à identifier les points de progrès possibles pour les acteurs locaux. Les objectifs du projet ont par conséquent été élargis et le questionnement adapté, notamment en s’interrogeant sur les questions d’efficience. La démarche était double : sommative pour l’État central, qui souhaitait connaître l’efficacité du programme, et formative pour les acteurs locaux, qui souhaitaient améliorer leur gestion du programme, avec une autonomie relative des deux niveaux. Un comité local d’évaluation a été constitué, dont le rapport d’évaluation a fait apparaître les facteurs clés de réussite.

L’évaluation a produit cinq recommandations, dont la finalité est d’améliorer l’efficacité du programme, en réponse aux attentes des acteurs locaux. Par cette évaluation, l’État s’est documenté pour agir ailleurs qu’en Nouvelle-Calédonie, celle-ci s’étant elle-même documentée pour son propre compte. Dans le processus d’évaluation, les acteurs locaux ont eux-mêmes piloté un processus formatif, en se déplaçant de leur fonction cognitive vers une fonction politique. Le déterminant de l’efficacité a été le caractère participatif de la partie locale de l’évaluation. En ce qui concerne l’État, l’utilisation des leçons de l’évaluation dans d’autres programmes que celui de la Nouvelle-Calédonie suppose un travail qui n’a pas encore été réalisé. Pour produire un résultat, il est préférable que l’intention opérationnelle soit à l’origine de la décision d’évaluer. Elle doit être le projet du responsable du programme évalué.

L’utilité de l’évaluation suppose en effet une implication des parties prenantes, à commencer par le responsable de l’objet évalué. Cette observation pose la question de la définition des parties prenantes et de leur participation au processus évaluatif. Les parties prenantes sont ainsi constituées des responsables du plan, des utilisateurs, des bénéficiaires, etc. Dans l’exemple présenté, il a été décidé d’avoir recours à un évaluateur externe, qui est l’animateur d’un processus dans lequel les parties prenantes sont actives et apportent une connaissance sur l’action et les résultats. Ainsi conçu, le processus de production de l’évaluation produit un effet d’apprentissage. Il s’agit donc d’une évaluation participative endo-formative.

En France, l’évaluation commence généralement par inquiéter, ce qui n’est pas le cas en Nouvelle-Calédonie. En Nouvelle-Calédonie, le ressort est l’émancipation du territoire. La responsabilité du programme évalué est l’évaluation de la chaîne de responsables. Une démarche est impulsée par l’État central, et les acteurs locaux ont conduit deux évaluations (sommative et cognitive). La responsabilité se divise entre le responsable politique et le responsable opérationnel.

Il est noté au cours du débat que l’auto-évaluation peut apporter de nombreux enseignements. De plus, il faut souligner que les liens d’intérêt peuvent constituer l’un des obstacles à l’évaluation participative. Selon certains participants, c’est la qualité du processus participatif qui permet de neutraliser cet élément négatif.

Haut de la page

Méthodologie de l’évaluation mise en œuvre par le HCSP

Les évaluations successives ont conduit depuis quelques années à une confrontation des points de vue et au passage de la théorie à la pratique. En effet, la diversité des experts au sein du HCSP et de la Commission spécialisée « Évaluation, Stratégie et Prospective » a conduit à un travail sur la méthodologie de l’évaluation des politiques de santé publique. Une réflexion en trois temps a été menée, comprenant l’élaboration des objectifs, l’évaluation des plans et programmes et l’évaluation continue des politiques.

Les évaluations se déroulent dans le cadre de la loi de santé publique de 2004 autour de 100 objectifs couvrant les principales pathologies. Les plans sont construits comme des outils permettant d’atteindre ces objectifs. Cinq plans stratégiques de santé publique ont été initialement élaborés, évalués par le HCSP à une exception près (la lutte contre la violence, les comportements à risque et les addictions). Mais le nombre de plans élaborés a considérablement augmenté pour atteindre 51 plans mis en œuvre entre 2004 et 2012. Forte du besoin de répondre à cette demande potentielle d’évaluation, une réflexion méthodologique portant sur l’évaluation de plans de santé a été produite au cours du deuxième mandat du HCSP.

Les plans et les programmes doivent être conçus comme des processus d’adaptation d’un système à un ensemble de pressions. Or il apparaît que la cible théorique du système à l’issue de ce processus d’adaptation n’est pas toujours explicitement décrite. Le plan doit être un ensemble de mesures cohérentes concourant à un objectif explicite. Certaines mesures interviennent à des niveaux différents, ce qui impose de les avoir définies précisément. Ainsi, des mesures très opérationnelles auront ainsi des objectifs spécifiques, parfois très limités alors que d’autres viseront directement un impact sur la santé de la population cible. Il est par conséquent nécessaire de clarifier dès la conception du plan la nature des besoins et les moyens utilisés pour y répondre. L’évaluation devrait donc être incluse dans la programmation, ce qui est le parfois le cas mais de manière très hétérogène.

Des référentiels d’évaluation existent dans plusieurs pays. La littérature sur l’évaluation des plans et des programmes de santé est très vaste, mais quatre points sont communs à toutes les évaluations ou référentiels.

• 1 - Un cadre conceptuel

Ce cadre décrit le temps de l’évaluation et l’organisation logique du plan permettant d’atteindre les objectifs.

a - Le temps de l’évaluation. Les évaluations réalisées à ce jour sont toutes des évaluations « ex post » à l’exception du plan cancer 2, évalué par le HCSP à mi-parcours. À ce jour aucune évaluation « ex ante » n’a été réalisée faute de demande spécifique émanant des concepteurs de plans.

b - Le cadre logique du plan. Le HCSP a élaboré un référentiel interne dans lequel les objectifs généraux répondant à des besoins sont déclinés en objectifs spécifiques et opérationnels. Ce référentiel distingue aussi ce qui est du suivi des mesures, qu’il n’appartient pas au HCSP de réaliser, et ce qui est de l’évaluation. Plusieurs paramètres sont évalués par le HCSP :

• La pertinence : il s’agit de savoir si les objectifs répondent aux besoins de la population à une période donnée. Cet élément est difficilement évaluable.
• La cohérence qui évalue les liens logiques entre objectifs généraux, spécifiques et opérationnels. Ces liens garantissent l’efficacité du plan.
• Les effets du plan et de ses mesures. Le HCSP a pour mission principale durant l’évaluation de se positionner sur l’évaluation des effets, qu’il s’agisse de l’efficacité ou des impacts. En revanche, il ne dispose pas des moyens nécessaires pour juger de l’efficience et de l’utilité d’un plan.

• 2 - Un modèle explicatif des problèmes de santé

Il existe plusieurs modèles permettant de décrire les liens entre des déterminants et des problèmes de santé. Le modèle de Green et Kreuter (« Precede – Proceed ») permet de poser le diagnostic de santé en plusieurs étapes : social, épidémiologique, environnemental et comportemental, éducationnel et organisationnel, administratif et politique. Il présente donc l’avantage d’identifier le niveau d’action d’une mesure et de mettre en place les indicateurs de résultats adéquats. Il permet aussi de décrire les différents niveaux d’action des mesures d’un plan et d’identifier des interférences potentielles ou des manques.

• 3 - Le modèle d’intervention

L’effet d’une intervention s’explique par une succession d’effets souvent implicites : participation, réaction, apprentissage, changement et action sur le problème de santé visé ou un de ses déterminants. Pour une action démontrée comme « evidence-based », ce travail d’explicitation de l’effet d’une mesure n’est pas nécessaire. En revanche, dans le cas d’une intervention innovante il peut être utile voire indispensable de préciser ces étapes pour estimer son effet potentiel. Le plan de lutte contre la résistance aux antibiotiques déployé par les Centers for Disease Control and Prevention (CDC) aux États-Unis a, par exemple, mis en place des interventions à plusieurs niveaux, pour atteindre l’objectif général de réduction du recours abusif aux antibiotiques.

• 4 - Une démarche standardisée

Comme la plupart des autres instances d’évaluation de politiques publiques, le HCSP propose une démarche en plusieurs étapes : rencontre avec les parties prenantes, description du programme, définition du schéma d’évaluation et des questions évaluatives, recueil des informations, élaboration et justification des conclusions, et partage des conclusions. Ce dernier point est essentiel à l’utilité de l’évaluation et mériterait d’être développé dans les années qui viennent.

Deux questions restent en suspens : la participation des acteurs au processus et l’évaluation de la performance du système. Une évaluation est d’autant plus performante que le programme a été conçu dans la perspective d’une évaluation, c’est-à-dire en se fondant sur un modèle logique permettant de relier les effets à des interventions.

Les questions d’efficience sont écartées car elles impliquent une réflexion préalable sur les méthodologies adéquates et les systèmes d’information disponibles. Le problème de l’efficience ne peut, en outre, être abordé sans disposer des mesures d’efficacité. De façon plus générale, la question de l’efficience n’est pas posée dans les plans, qui sont rarement assortis de coûts des interventions et d’objectifs d’optimisation des moyens.

La mobilisation cohérente d’un certain nombre de ressources s’inscrit généralement dans un processus déjà engagé. Il existe un continuum de temps. La séparation tranchée entre une évaluation ex ante et ex post a un caractère artificiel. Une évaluation ex post devrait pouvoir servir d’évaluation ex ante du plan suivant. Pour autant, il est utile de s’interroger sur l’utilité de l’évaluation. Le décideur public voudrait pouvoir disposer d’une évaluation ex post d’un plan ou d’une politique et d’une aide méthodologique pour élaborer une nouvelle politique sous réserve que celle-ci n’interfère pas avec ses priorités. Il convient donc aux évaluateurs de prendre en compte cette attente pour que l’évaluation produite soit utile.

Le HCSP est compétent pour répondre à l’un ou l’autre des registres selon les besoins, mais il ne peut assumer les deux rôles sur le même objet. La question du jugement porté sur la façon d’agir se pose également puisque les experts impliqués dans une évaluation ex ante posent nécessairement la question de la pertinence des mesures et de moyens mis en œuvre.

On peut observer qu’au cours de ses deux mandats, le « logiciel » du HCSP en termes d’évaluation a changé pour privilégier le service rendu au système. La loi de santé publique de 2004 a de ce point de vue fixé un cadre très (trop) complet avec les 100 objectifs. La stratégie nationale de santé introduisant de nouveaux thèmes comme la prévention, les soins de premier recours ou la démocratie sanitaire obligera à poursuivre la réflexion méthodologique sur l’évaluation. Il en va de même de l’articulation entre le pilotage et la mise en place d’un programme qui doit être mieux précisé pour assurer l’efficacité des interventions.  Enfin, une réflexion sur la performance du système de soins ou de santé devra faire l’objet d’une réflexion méthodologique comme celle menée au Canada, en Belgique ou celle proposée par l’Organisation mondiale de la santé (OMS).

En conclusion, le HCSP insiste sur la finalité de l’évaluation qui doit être utile et utilisée. Si le décideur intègre dans son processus décisionnel bien d’autres paramètres que l’évaluation des actions précédentes, il est difficile d’imaginer une évaluation sans l’élaboration de recommandations qui ont vocation à être prises en compte. L’évaluation est d’abord un temps analytique, à partir de l’action et des résultats qu’elle a provoqués. À partir du bilan, les points sur lesquels il y a lieu de faire porter un effort sont identifiés, ce qui invite à s’interroger sur le mode de l’intervention, qu’il s’agisse de sa nature ou de son implémentation. Des réponses opérationnelles peuvent être ensuite apportées, ce qui correspond à l’élaboration de l’action publique. L’évaluation constitue donc un temps d’instruction de la décision et devrait donc être plus intégrée à l’élaboration des politiques.

Haut de la page

L’élaboration des politiques de santé publique – Quelles méthodologies pour l’élaboration des politiques de santé publique ?

Comment se construit un plan de santé publique ? L’exemple du plan cancer 3

Dans cet exposé, le plan est envisagé comme une politique publique. Il s’agit d’un ensemble d’activités impliquant des acteurs privés et publics interdépendants, coordonnés et ciblés sur un problème défini politiquement comme collectif. Le modèle envisagé dans les années 1970 débute par l’irruption d’un problème et sa mise à l’agenda, suivie d’études, d’une décision, d’une mise en œuvre, enfin de l’obsolescence ou de l’abrogation formelle, correspondant pour le plan cancer à l’édiction du plan suivant. L’évaluation peut se positionner temporellement au niveau des études (ex ante), de la mise en œuvre (in itinere) pouvant permettre d’infléchir la fin du plan en cours ou de préparer le plan futur, ou au moment de l’obsolescence (ex post).

Sur le thème du cancer, un premier plan s’est déroulé de 2003 à 2007, puis un deuxième de 2009 à 2013 et un troisième est prévu de 2014 à 2019. Cette succession de plans a entraîné une multiplication d’évaluations. Or ces dernières mobilisent beaucoup de temps, de ressources et d’énergie. Il est donc nécessaire d’opérer un choix.

En 2012, trois types de matériaux « évaluatifs » étaient disponibles pour appuyer la réflexion en vue d’un troisième plan :

• un important dispositif de suivi avec un contenu très voire trop abondant, des échéances extrêmement rapprochées, une centralisation très forte et des objectifs de suivi par conséquent limités ;
• une démarche évaluative entamée, du fait d’un rapport d’évaluation à mi-parcours, d’autres travaux issus du HCSP, mais qui ne permettaient pas une évaluation véritable et complète du deuxième plan cancer, aucune donnée ne permettant en outre d’évaluation ex ante en vue du suivant ;
• une remontée d’informations issues des ARS, mise en place tardivement, au moment de la demande d’élaboration d’un troisième plan.

Avec ces matériaux, un travail a été réalisé au sein de la « mission Vernant » en charge de rédiger des propositions pour un futur plan cancer 2014 - 2019. Ce dispositif, qui bénéficie d’une légitimité forte, est conçu comme un cercle concentrique avec en son centre une personnalité pilotant la mission, puis un cercle de quatre personnes et cinq groupes de travail thématiques, chacun d’entre eux procédant à des auditions successives relatives à cinq thèmes. Ce processus s’est déroulé pendant quelques mois, avec à son terme des réunions spécifiques transversales. Il a été demandé à chaque personne auditionnée d’énoncer les éléments de bilan qu’elle retenait du deuxième plan cancer et une à cinq propositions pour le troisième plan cancer. L’absence d’acteurs de terrain, partiellement compensée par les messages reçus sur les sites de l’Inca et de la Ligue contre le cancer, a pu être perçue comme élitiste.

Un rapport rendu public a eu pour objet d’éclairer le décideur sur le plan cancer et peut-être sur la manière d’aborder d’autres pathologies. La période d’achèvement du rapport et la mise en place de groupes de travail se sont chevauchées.

Les pistes d’amélioration sont de :

• réduire la production de rapports mais augmenter le discernement et l’évaluation ;
• adopter une véritable démarche évaluative et participative avec des moyens dédiés ;
• améliorer les liaisons nationales/régionales/locales.

Haut de la page

Politique nationale de santé publique et plans régionaux : quelle articulation pour l’évaluation et l’élaboration ?

Au cours des deux dernières décennies, la planification et l’évaluation des politiques de santé se sont imposées à tous les niveaux, mais le positionnement relatif du niveau régional et du niveau national a fluctué. Les années 1990 ont été marquées par l’émergence du volet régional, avec la mise en place des conférences régionales de santé et l’expérimentation de projets régionaux de santé (PRS), autour de quelques priorités choisies par les  régions. Ces dynamiques ont été légitimées par les ordonnances Juppé en 1996. À cette époque, sont également mis en place dans toutes les régions des Programmes régionaux d’accès à la prévention et aux soins (PRAPS) sans qu’il n’existe de plan national de référence.

En 2004, la loi relative à la politique de santé publique supprime toute notion de priorité, introduit des objectifs nationaux et annonce cinq plans stratégiques. Elle prévoit qu’un plan régional de santé publique soit arrêté en vue de la réalisation des objectifs nationaux. On assiste alors à un essor massif des plans nationaux.

En 2009, la loi “Hôpital, patients, santé, territoires” (loi n°2009-879 du 21 juillet 2009 portant réforme de l’hôpital et relative aux patients, à la santé et aux territoires, dite HPST) bouleverse le cadre institutionnel régional. Les ARS nouvellement créées doivent élaborer un PRS transversal, qui intègre la prévention, les soins et le champ médicosocial, tout en s’inscrivant dans les orientations de la politique nationale de santé qui se traduisent à travers de multiples outils (plans nationaux, contrats pluriannuels d’objectifs et de moyens de l’ARS, de l’assurance-maladie, …). Le PRS doit comporter un plan stratégique régional qui fixe les objectifs et les orientations de santé pour la région. Dans ce contexte, alors que se multiplient les plans nationaux, la question de l’articulation régional-national est plus que jamais d’actualité.

Haut de la page

Constats et propositions du Groupe de travail transversal « Santé en régions » du HCSP

Un groupe de travail « santé en régions » mis en place au sein du HCSP a engagé une réflexion sur cette articulation à partir des évaluations de cinq plans nationaux produites par le HCSP sur la période 2012-2013.

Les constats établis à partir de ses observations sont les suivants.

Tout d’abord, la dimension régionale apparait peu lisible dans les plans nationaux, d’une part parce que toutes les mesures nationales n’ont pas vocation à être mises en œuvre en région, et d’autre part parce que, pour les mesures qui ont vocation à l’être, les plans ne font aucune préconisation particulière. En outre, les acteurs régionaux sont peu ou pas associés à la construction et au pilotage des plans, et ce d’autant plus que ceux-ci ont d’emblée une portée nationale. Enfin, les systèmes d’information apparaissent particulièrement insuffisants et ne permettent pas de porter un regard évaluatif. Par ailleurs, il est souvent difficile en région d’identifier les modalités de pilotage de la déclinaison des plans nationaux, mais aussi d’apprécier la mise en œuvre des mesures qui composent ces plans, notamment pour celles qui ne concernent pas les soins hospitaliers. Outre les problèmes que cela pose pour l’évaluation des plans nationaux, cette situation interroge plus largement sur leur impact potentiel.

Le constat établi par le groupe de travail du HCSP doit toutefois être mis en perspective, notamment parce que les plans étudiés concernent la période de mise en place des ARS. De plus, de nouvelles formes de plans sont apparues au cours des années récentes, qui présentent seulement des grandes orientations stratégiques (plan « psychiatrie-santé mentale ») voire simplement un thème pour un plan à élaborer en région (plan « sport santé bien-être »).

Aujourd’hui, l’enjeu est de trouver les modalités d’une synergie entre la stratégie nationale de santé et les PRS, alors même que la dynamique qui s’amplifie autour des contrats locaux de santé pose la question de l’articulation régional/local. Et dans cette perspective, quelques impératifs liés entre eux se dégagent : favoriser la mobilisation des acteurs régionaux et locaux, clarifier les responsabilités et les apports attendus des différents niveaux, et améliorer la lisibilité de la politique de santé.

En termes de méthode, cela suppose de permettre aux ARS d’adapter leur PRS, en ayant la possibilité de faire un choix explicite entre les différents objectifs, mesures/actions des plans qui découleront des priorités de la stratégie nationale de santé (possibilité d’avoir des objectifs/mesures/actions obligatoires et d’autres qui soient optionnels).

Il importe également d’associer de façon effective aux choix de l’ARS les différentes instances locales que sont la conférence régionale de la santé et de l’autonomie (CRSA), les deux commissions de coordination des politiques publiques et les conférences de territoire, pour amplifier la mobilisation en région et favoriser l’adaptation de ces choix aux réalités locales.

Une attention particulière doit être portée aux systèmes d’information pour garantir la faisabilité du suivi et de l’évaluation, et pour favoriser une observation locale de qualité permettant d’opérer des choix de priorités. Des indicateurs, robustes et en nombre limité, doivent être choisis pour toutes les priorités, qu’elles soient retenues ou non en région. Ces indicateurs doivent être partagés entre niveaux et entre institutions, pour garantir notamment leur comparabilité et permettre de les agréger. La dimension qualitative du suivi et de l’évaluation doit également être prise en compte.

Pour améliorer la qualité et l’efficience du dispositif, l’articulation des différents niveaux doit être une préoccupation constante. Et dans cet objectif, il conviendrait pour chaque plan national d’animer une dynamique de réseau, d’une part en associant les acteurs régionaux à la préparation, au suivi et à l’évaluation, et d’autre part en créant et en maintenant une plateforme ressources accessible à tous qui rassemble les textes, référentiels d’intervention validés, données, outils de pilotage et de suivi…  et qui permette, au fil du plan, de mutualiser les expériences.

Enfin, pour permettre cette synergie entre le niveau national et le niveau régional, les questions de la durée des plans (faut-il développer les programmations sur de plus longues périodes, avec des évaluations intermédiaires ?) et de leur échelonnement dans le temps méritent d’être posées.

Haut de la page

Cas de l’évaluation du Plan régional de santé Bourgogne 

À titre d’exemple, la Bourgogne dispose d’un PRS classique ayant abouti en 2012, à un document élaboré sur la notion de parcours. Quatre pathologies ont été retenues sur huit thèmes et quatre populations. L’effort porte sur le parcours de santé des personnes concernées. Entre cinq et dix points de rupture sont identifiés, sur lesquels une stratégie de réponse est entreprise. Le dispositif d’évaluation intervient à mi-parcours et en fin de parcours. Sur un petit nombre de thèmes, des questions évaluatives sont déterminées au moment où est élaborée la partie du plan régional. Le système de planification fonctionne avec très peu de composantes d’évaluation, et il est peu articulé entre le niveau régional et le niveau national, d’autant plus que les défauts se reproduisent aux deux niveaux. Le système de planification est très segmenté tant au niveau national que régional, le PRS ayant en effet été construit comme une addition de schémas. La planification est très peu nourrie par l’évaluation et coupée des conditions réelles de mises en œuvre, à savoir un cadre partenarial et territorial.

Toutes les régions ont commencé à progresser sur ces questions et tentent de s’appuyer sur de petites évolutions du niveau national permettant de redonner du dynamisme à la planification régionale. Les plans nationaux sont un accélérateur de la mise en œuvre du projet régional. En matière de plan cancer, certaines propositions du rapport ne correspondent pas aux éléments mis en œuvre en région.

Haut de la page

Débat

Un nombre excessif de plans nuit à la politique publique et à la possibilité de recourir aux évaluations.

À cette fin, il est nécessaire de dégager un fil conducteur dans les évaluations qui pourraient se concentrer sur des questions choisies et ce à travers les plans. De même, comme les évaluations, la recherche en santé publique a pour objectif d’améliorer le nombre de politiques publiques basées sur des preuves scientifiques. Il importe donc de trouver comment impliquer les chercheurs dans l’évaluation et l’élaboration des politiques publiques de santé.

Comment faire pour que le plan cancer devienne un plan évalué en temps réel, vivant, revu de façon permanente ? Il n’est pas certain qu’un plan quinquennal soit logique dans un domaine aussi mouvant que la cancérologie par exemple. Un pilotage continu semblerait plus adapté pour intégrer des évolutions de contexte. Ainsi, le positionnement des réseaux régionaux par rapport aux ARS et leur lien avec les cancéropôles sont une question qui a évolué dans le temps et qui aurait bénéficié d’un tel type de pilotage. Ainsi des plans mettant en œuvre un pilotage continu (et pas seulement un suivi) fondé sur des indicateurs pourraient être une alternative à des plans à durée d’action fixée.

Comment impliquer les chercheurs et les associer à ce type de démarches ? Il est tout à fait possible de réaliser des évaluations expérimentales publiées dans des revues renommées. Pour bénéficier de cette qualité d’évaluation scientifique, un certain nombre de conditions doivent être réunies dont la pertinence de la question posée ou l’adéquation du schéma expérimental retenu. À titre d’illustration, des appels à projets de recherche ont été lancés par l’Institut de Recherche en Santé Publique (IReSP) dans le domaine de la prévention primaire ou de l’éducation thérapeutique du patient, en incitant les chercheurs à se rapprocher du terrain et à monter des projets collaboratifs avec les acteurs de terrain. Cette approche pourrait être intégrée à des politiques de santé développées dans un domaine particulier et qui prévoiraient ce volet recherche en implémentation.

Comment construire des politiques sans se « déconnecter » de l’évaluation ? S’agissant des régions, il existe une frontière entre la construction des plans et la méthode de l’évaluation. Au niveau national, le travail réalisé ces dernières années a placé l’évaluation à une place plus importante dans l’élaboration des politiques publiques. Des méthodologies appropriées et standardisées pourraient être proposées pour évaluer la mise en œuvre par les régions de plans nationaux. L’évaluation ne peut en effet se résumer à un instrument de suivi ou de pilotage mais doit aborder la question de l’effet des mesures sur la base d’indicateurs et mieux intégrer l’approche quantitative ET qualitative.

Comment intégrer les parties prenantes ?

Les « parties prenantes » sont les structures, institutions et personnes concernées par le plan. Elles intègrent aussi la société civile, représentée par des associations qui sont de plus en plus puissantes dans le domaine de la santé et de l’environnement. Elles souhaitent participer à l’élaboration des plans, à leur suivi et à leur évaluation, ce qui pose la question de la place à leur accorder dans ces processus. En France, le moment de l’évaluation peut se confondre avec le moment du dialogue ou de confrontation sociale, ce qui nuit aux conclusions de l’évaluation qui risquent de perdre de leur objectivité nécessaire.

L’IReSP tente de promouvoir la recherche communautaire, pour faire coproduire la recherche par les chercheurs, les organisations, les patients. Mais dans les administrations, les organisations et les agences, de moins en moins de personnes sont en mesure d’assurer l’interface avec le domaine académique et donc de soutenir de telles approches pourtant largement développées dans d’autres pays comme le Canada.

L’évaluation est une démarche mise en œuvre selon des étapes différentes. Un moment est ainsi consacré à la détermination des questions évaluatives. Le fait que des associations puissent être associées à la réflexion débouchant sur des questions évaluatives est extrêmement positif. L’étape de la collecte et de l’analyse des données relève des évaluateurs. Le débat autour des résultats et des recommandations peut faire intervenir à nouveau les associations et ce dans un cadre clairement défini. Il est important aussi de distinguer les associations de patients et d’autres parties prenantes comme les médecins traitants qui peuvent légitimement faire valoir des points de vue différents.

Haut de la page

De la théorie à la pratique

Propositions du HCSP

La démarche a pour objet de développer une évaluation reposant sur des principes clairs et partagés. Il est assez surprenant, aux termes de la succession de plans, de voir combien l’absence de plans est assimilée à une inactivité. Ceci explique le nombre très important de plans élaborés depuis 2004.

L’utilité de l’évaluation peut être définie comme sa capacité à participer au processus d’amélioration du système par la prise en compte des recommandations lors de l’évaluation des politiques publiques. L’utilité de l’évaluation passe par l’implication des acteurs clés dans la définition des questions évaluatives et dans le partage des conclusions. Cela concerne l’ensemble des parties prenantes, y compris les bénéficiaires. L’utilité de l’évaluation repose également sur l’explicitation du référentiel, défini par le socle de connaissances et le système d’information utilisé. La garantie de la transparence du processus d’évaluation, la distinction entre l’évaluation et le contrôle sont des éléments essentiels pour l’implication des acteurs clés et donc l’utilité du processus d’évaluation.

La démarche menée par le HCSP a pour objectif de formaliser les liens entre l’évaluation et la construction des plans de santé publique. Les conditions pour une évaluation utile et partagée sont l’inscription de l’évaluation dans la continuité du processus de l’action publique, le positionnement d’une expertise externe en amont de l’élaboration et en aval de la mise en œuvre des interventions, l’implication des acteurs clés et l’évolution de l’élaboration des plans de santé publique en promouvant l’évaluation ex ante.

L’évaluation ex post est réalisée en parallèle de l’action publique. L’intérêt du dispositif ex ante est de maintenir une certaine mémoire collective de l’action publique. Cette évaluation permet d’accélérer l’évaluation ex post et de supprimer des délais nuisant à la continuité de l’action publique. Cela suppose de positionner l’expertise externe dans le schéma idéal entre des temps techniques internes au processus de réflexion, concertations, synthèses, recommandations et arbitrages. L’expertise en amont pourrait être positionnée au moment de la construction, alors que l’expertise avale est positionnée au moment des temps techniques. Cette distinction entre 2 temps aurait l’avantage de renforcer l’intérêt de l’évaluation mais aussi la prise en compte de l’évaluation dès l’élaboration des politiques.

Le dispositif suppose en outre une structure d’expertise pluridisciplinaire. Les experts concernés ne doivent être ni des acteurs opérationnels, ni des bénéficiaires du plan, ni des juges. Les évaluateurs du comité d’évaluation doivent répondre aux critères de compétence, d’expérience et d’indépendance, et garantir ainsi la qualité et l’impartialité indispensables à l’acceptation des résultats de l’évaluation par les parties prenantes.

S’agissant de l’implication des acteurs clés, la question de l’auto-évaluation est centrale, dès lors que l’évaluation est déplacée en ex ante et doit donc être posée. L’évaluation ex ante est en effet un outil de préparation et de pilotage des interventions, qui prépare l’évaluation ex post. Elle permet d’expliciter les objectifs, les ressources et les bénéfices attendus. Les conditions de sa mise en œuvre sont les suivantes : définir les impacts attendus avec les acteurs clés, élaborer la chaine logique, s’assurer que les informations sont disponibles, que les hypothèses retenues sont étayées, que les effets des actions sont bien pris en compte, et prévoir des ajustements rapides.

Pour l’évaluation ex ante l’objectif est de partager avec les acteurs clés, la définition du cadre logique et les impacts. D’autre part, l’input des acteurs clés doit être favorisé. L’auto-évaluation, qui n’a pas vocation à remplacer l’évaluation externe peut renforcer cette implication des acteurs clés. L’écoute des acteurs doit cependant être formalisée et systématisée et se placer dans un cadre clairement défini au préalable.

Au sein de la Commission spécialisée « Évaluation, Stratégie et Prospective » du HCSP, ces propositions ont été motivées par le désir d’utilité. Pour que le travail de l’évaluateur soit utile, il doit être approprié par les destinataires et donc répondre à leurs attentes et à leurs contraintes. Ce principe conduit à plusieurs propositions tournant autour de l’idée de partage et de transparence. Le système d’implication actuel n’est pas suffisant en ce qu’il ne permet pas de véritable appropriation des travaux. Les notions d’évaluation ex ante et d’auto-évaluation proposées par le HCSP s’inscrivent dans ce sens.

Haut de la page

Conclusion de la table ronde

La stratégie nationale est définie, et la question de son évaluation doit être posée. La notion de formalisation des relations entre l’évaluateur, l’opérateur des mesures et les commanditaires de l’évaluation ; la notion d’auto-évaluation constituent des points importants, tout comme l’évaluation ex ante, la temporalité du processus évaluatif et le temps nécessaire à l’évaluation. L’interaction entre les différentes formes d’évaluation et la place du Haut Conseil de la santé publique dans l’ensemble du dispositif mis en place posent la question du financement de l’évaluation, qui doit être prévue dès la mise en place d’une stratégie ou d’un plan.

Il est jugé très bénéfique de rendre compte des évaluations pour co-construire l’avenir.

Haut de la page

Perspectives

L’évaluation est maintenant installée dans le paysage de la santé publique et son apport est admis par tous. En effet, compte tenu des enjeux sanitaires mais aussi financiers, l’évaluation des interventions visant à améliorer l’état de santé d’une population est reconnue comme une nécessité. Son utilité réelle pose toutefois question dans la mesure où elle intervient souvent a posteriori, lorsque l’action s’est déroulée et même le plus souvent lorsque l’intervention suivante est décidée. En effet, le temps de l’évaluation n’est pas celui de la décision politique ou de l’action.

Pour développer une évaluation utile, celle-ci doit prendre en compte cet aspect et l’intégrer comme une contrainte. Le recours systématique à des évaluations ex ante, conçues dès la construction des plans permettrait d’éviter les inconvénients des évaluations ex post et renforcerait l’utilité des évaluations comme probablement l’efficacité et l’impact des politiques publiques.

Par ailleurs la prise en compte du point de vue des bénéficiaires est une piste que souhaite explorer le HCSP. En effet, les évaluations actuelles privilégient le point de vue du système et rendent ainsi peu compte du l’amélioration du service rendu. Cette évaluation est recommandée par des organismes internationaux comme l’OMS mais nécessite de mettre en œuvre des méthodologies particulières et de développer la recherche en implémentation.

Enfin, l’appropriation par les acteurs de la démarche d’évaluation et de ses résultats constitue un moyen important pour augmenter son utilité. De ce point de vue l’auto-évaluation est une autre piste que souhaite explorer le HCSP en veillant toutefois à respecter les principes de l’évaluation externe.