Les événements 2017

Evaluation interne et externe : garder le cadre, retoucher le tableau

ARTICLE du 17/07/2017 - Gerontonews

 

Dans un tout récent rapport, l'Inspection générale des affaires sociales (Igas) estime qu'"il est important de conserver" le dispositif d'évaluation interne et externe" instauré par la loi du 2 janvier 2002 rénovant l'action sociale, et propose des "pistes d'amélioration" pour le parfaire.

Les évaluations interne et externe, rendues contraignantes par la loi 2002-2, doivent permettre d'améliorer la qualité de la prise en charge et des prestations proposées, notamment, en Ehpad.

Oui, mais le dispositif est-il parfaitement adapté ? Pour en avoir le coeur net, le gouvernement précédent avait demandé à l'Igas de plancher sur le sujet. L'inspection livre ses conclusions dans ce rapport publié le 11 juillet.

Dans ce document de 224 pages daté de juin, l'Igas prévient d'abord que sa mission "porte sur la mise en oeuvre et l’exploitation des évaluations interne et externe" mais pas "sur le contrôle et l’amélioration de l’offre sociale et médico-sociale en général, ni sur l'Anesm [Agence nationale de l'évaluation et de la qualité des établissements et services sociaux et médico-sociaux] en tant que structure".

Rappelons que l'Anesm, créée sous la forme d'un groupement d'intérêt public (GIP) de 10 ans, a été prorogée jusqu'en avril 2018. La Haute autorité de santé (HAS) a pris en charge ses fonctions support en 2015 et les deux organismes partagent désormais les mêmes locaux. L'hypothèse de leur fusion est régulièrement évoquée.

L'Igas relève que l'Anesm a produit 57 recommandations de bonnes pratiques professionnelles (RBPP). Elle rappelle que si ces recommandations ne sont pas "normatives", le "processus d'évaluation fondé sur le respect des RBPP conditionne actuellement le renouvellement de l’autorisation, ce qui montre toute l’importance des documents ainsi produits". 

Des recommandations de bonnes pratiques "connues et reconnues"

Selon une enquête réalisée par l'Igas auprès des agences régionales de santé (ARS) et des directions régionales et départementales de la jeunesse, des sports et de la cohésion sociale (DRDJSCS), "le nombre de recommandations est très majoritairement estimé suffisant" dans le champ des personnes âgées, exceptée l'aide à domicile qui "[pourrait], selon les professionnels du secteur, disposer de davantage de RBPP."

"Les RBPP sont toujours jugées utiles au secteur, elles sont connues et reconnues", avance l'inspection. "Selon les ARS, elles sont 'tout à fait exploitables' ou 'plutôt exploitables' à 79% en moyenne: de 64% (taux le plus bas) pour les établissements de lutte contre la toxicomanie à 87% pour les établissements pour adultes handicapés et les établissements pour personnes âgées". "Les conseils départementaux rencontrés par la mission vont dans le même sens", assure aussi l'inspection.

L'Igas revient également sur la procédure d'évaluation des évaluateurs externes par l'Anesm, "chargée [de les] habiliter, et non de [les] sélectionner". "Les organismes habilités sont nombreux (1.314 au 31 décembre 2015) et très hétérogènes", juge-t-elle.

Elle estime que "le cahier des charges fixé" à ces organismes "n’est pas suffisamment précis", un écueil déjà pointé en début d'année par Didier Charlanne, le directeur de l'Anesm.

"Ce texte contient des exigences en matière de déontologie visant à garantir l’absence de conflit d’intérêts" et "il appartient" aux établissements et services "de s'en assurer, ce qui leur a posé souvent problème selon les déclarations faites à la mission". "Les ARS ont rencontré également des problèmes pour ce contrôle", rapporte-t-elle.

L'Igas évoque aussi "un biais méthodologique": c'est à la structure "de choisir son évaluateur, de le rémunérer, de réceptionner le rapport, dont il est propriétaire, et de le transmettre aux autorités. Il se trouve ainsi dans une relation de client par rapport à son évaluateur, donc de dépendance. Cette situation s’oppose à celle applicable aux établissements de santé pour lesquels l’évaluateur [...] est mandaté et rémunéré par la HAS".

Un appui national "limité"

Si les structures médico-sociales se sont dans l'ensemble bien appropriées la démarche malgré sa lourdeur, l'inspection estime précisément que la mise en oeuvre "n'a pas été facilitée par l'échelon national", "l'appui national" étant "resté limité". Un appui local, via les ARS notamment, a été organisé à partir de fin 2013 pour l'évaluation externe, au vu du faible nombre de structures passées par la démarche.

L'Igas loue d'ailleurs les autorités d'autorisation, qui, alors que "près de 25.000" établissements et services "sont concernés par des échéances identiques", se sont "organisées pour faire face à un afflux de dossiers à exploiter".

Plus globalement, l'inspection estime que la démarche d'évaluation a eu "un réel impact sur la qualité des prestations", même si "la mesure" de cet impact "s’avère difficile, faute d’indicateurs suffisamment robustes et partagés permettant de prendre en compte l’évolution de la prestation et du ressenti par les bénéficiaires".

"La mesure de l’évolution de la qualité de l’offre depuis la mise en oeuvre de la démarche d‘évaluation interne et externe est considérée comme une tâche difficile par les autorités de tarification: si 50% des ARS la jugent possible, seulement 30% des DRDJSCS déclarent pouvoir mesurer l’évolution de la qualité de l’offre", écrit-elle aussi.

Elle souligne néanmoins que les ARS sont "56% à citer les processus d’évaluation comme outil le plus efficace, derrière les référentiels (69%) et les indicateurs qualité (63%)" et les directeurs de structures "58% à répondre 'plutôt oui' et 23% 'tout à fait'" à la question "les conclusions de l’évaluation externe vous ont-elles permis d’améliorer la qualité des prestations délivrées ?".

Parmi "les faiblesses" du dispositif, l'Igas relève "le lien quasi automatique entre le rapport d’évaluation externe et le renouvellement de l’autorisation" qui est "contraignant", "le lien exclusif entre le rapport d’évaluation externe et le renouvellement de l’autorisation" qui lui "n’est pas pertinent", le fait que "la procédure d’évaluation n’est pas un instrument de recomposition de l’offre", que "la démarche d’évaluation continue a inévitablement des conséquences financières" et que "le processus d’évaluation n’est pas adapté à toutes les structures".

12 propositions

L'inspection propose en conséquence des "améliorations", en "conservant le cadre du modèle existant". Elle fait 12 propositions:

  • Demander à l'Anesm d'élaborer un cadre minimum commun de références pour l’évaluation interne, adapté à chaque catégorie d'établissements et de services (échéance juin 2018)
  • Etendre progressivement aux différentes catégories d'établissements la reconnaissance de correspondance partielle entre un référentiel de certification et le cahier des charges pour la réalisation des évaluations externes (direction générale de la cohésion sociale-DGCS, en lien avec l'Anesm, juin 2018)
  • Poursuivre et généraliser à tous les types de prise en charge le développement d’indicateurs de qualité (Anesm, juin 2018)
  • Etendre le champ de compétence de l’actuel tableau de bord de l'Agence nationale d'appui à la performance des établissements de santé et médico-sociaux (Anap) pour en faire un outil commun incluant les indicateurs de qualité (DGCS, en lien avec l'Anap et l'Anesm, décembre 2017)
  • Supprimer les remontées d’informations redondantes pour l’alimentation des tableaux de bord (DGCS, décembre 2017)
  • Demander à l'Afnor d’élaborer en lien étroit avec l'Anesm une norme d’évaluateur externe et exiger des organismes habilités qu’ils soient certifiés sur la base de cette norme (DGCS, en lien avec l’Anesm, juin 2018)
  • Préciser le cahier des charges de l’évaluation externe pour améliorer la qualité des rapports, harmoniser leur présentation et en faciliter l’exploitation (DGCS, en lien avec l’Anesm, décembre 2017)
  • Systématiser un retour de l’exploitation individuel ou collectif des rapportsd’évaluation externe vers les structures (autorités chargées de l’autorisation)
  • Examiner les conditions de délivrance d'une autorisation temporaire, lorsque les conditions de prise en charge le justifient (DGCS, septembre 2017)
  • Pour les établissements et services engagés dans un contrat pluriannuel d'objectif et de moyens (CPOM), faire précéder chaque signature de CPOM d’une évaluation interne, remise au moins 6 mois avant la date prévue de signature (DGCS, décembre 2018)
  • Supprimer le caractère exclusif du lien entre évaluation externe et renouvellement de l’autorisation (DGCS, décembre 2018)
  • Sortir les centres locaux d'information et de coordination gérontologiques (Clic) du dispositif d’évaluation interne et externe (DGCS, décembre 2017).

Interrogés dans une enquête fin 2015, plus de 300 directeurs d'Ehpad voyaient, en majorité, le dispositif comme "une opportunité", mais avaient eux aussi donné quelques pistes d'amélioration.

Enfin, début 2016, l'Association européenne des évaluateurs et certifiés 'Afnor' (A2E) avait exprimé son avis sur les rapports d'évaluation externe.

 

L'avis des professionnels 'Afnor' sur les rapports d'évaluation externe

Pour l'Association européenne des évaluateurs et certifiés 'Afnor' (A2E), l'hétérogénéité des pratiques des autorités de tutelle rend le traitement des rapports d'évaluation externe compliqué et partant, le renouvellement d'autorisation des ESSMS, peu objectif. L'A2E prône différentes solutions pour "consolider" et "sécuriser" la démarche.

Quinze ans après la loi 2002-2, les quelque 25.000 établissements et services sociaux ou médico-sociaux (ESSMS) autorisés antérieurement à sa promulgation, sont entrés en phase finale de renouvellement de cette autorisation, qui doit se clore en janvier 2017. Préalable à ce renouvellement, ils devaient faire réaliser leur évaluation externe au plus tard début janvier 2015.

L'A2E a jugé l'exercice "utile, positif et indispensable en termes politique et de crédibilité du secteur", mais il reste des points à améliorer, selon sa vice-présidente, Françoise Toursière, qui a signé un communiqué fin février.

Cette association regroupe les professionnels, certifiés 'Afnor', de la performance, de la bientraitance et de la qualité dans les secteurs, médico-social, social et sanitaire. L'A2E organise notamment des rencontres en lien avec l'actualité.

Dans ce cadre, elle a rassemblé ses adhérents à Montpellier "pour connaître les suites données par les autorités de tarification aux rapports d’évaluation externe des établissements et services" et "avoir l’avis de Joël May [directeur général adjoint à l'ARS Auvergne-Rhône-Alpes NDLR] sur l’avenir supposé des évaluations".

L'A2E tient à rappeler que les résultats de l’évaluation externe ne conditionnent pas, à eux seuls, le renouvellement de l’autorisation. D'autres critères entrent en compte, comme "la qualité des prestations offertes, la satisfaction des usagers, la motivation des équipes, le positionnement de type conventionnel et le respect d’une organisation correspondant à un financement planifié". De même, une évaluation externe "satisfaisante" ne pèse pas lourd face à "une absence de financement".

Traitement "hétérogène" des rapports d'évaluation

L'association entrevoit donc "un hiatus juridique, une absence de logique" et incite à différencier "le fond et la posture", expliquant que "certains directeurs pourraient être enclins à briller auprès des autorités au lieu de travailler à l’amélioration de la qualité".

Selon elle, les réflexions qui interviennent "avant le renouvellement" d'une autorisation portent par exemple sur "l'utilité sociale réelle" d'un ESSMS sur son territoire, sur son positionnement, ou encore sur sa "réponse aux besoins et attentes" des usagers.

L'A2E considère que, depuis 2012, les autorités de tarification "ont clairement privilégié l’analyse des évaluations externes" à celle des évaluations internes. Or, "en fonction des autorités" aux manettes, (agences régionales de santé -ARS-, conseils départementaux ou encore préfectures), le traitement de ces rapports est vu comme "hétérogène".

Sans parler des "moyens humains disponibles", des "priorités" ou encore de "l’absence de feuille de route dans l’application du décret de 2007", fixant le contenu du cahier des charges de l'évaluation externe.

Si l'association concède que "des protocoles ont pu être signés entre ARS et conseils départementaux", et relève "des grilles de lecture adoptées dans certaines régions", elle souligne que "les renouvellements accordés à l’identique font penser que, peut-être, une occasion d’adapter, en concertation et de manière globale les missions des structures, leur positionnement sur le territoire et donc leur utilité sociale a été manquée".

Elle pointe à nouveau une hétérogénéité concernant "les pratiques et les possibilités" des autorités s'agissant de "la nécessité d’un retour aux directeurs" (comme promis par l'ARS Aquitaine).

 

"Déconnexion" entre évaluation et renouvellement de l'autorisation

L'A2E qualifie aussi d'"hypothétique" le lien entre "évaluations externes et planification à travers les schémas d’organisation" dans la mesure où "les analyses réalisées ne permettent d’apprécier ni les capacités et opportunités d’évolution des missions, ni les positionnements sur les territoires." Cela constitue "un point faible des rapports", selon elle.

Autres difficultés pointées, "la limitation du temps ajoutée à une insuffisance de cadrage tant auprès des directeurs que des autorités".

L'association identifie encore une "déconnexion entre évaluation et renouvellement de l’autorisation", indiquant qu'il s'agit du "seul exemple où une autorisation d’activité est liée sur le seul fondement d’une évaluation qui ne repose pas uniquement sur des critères objectifs". Outre les hétérogénéités soulevées, elle évoque "les conditions d’habilitation et de suivi des organismes habilités" ainsi que "les liens commerciaux entre ceux-ci et les commanditaires".

De plus, l'A2E rappelle que "deux régimes d’autorisation" coexisteront à partir de janvier 2017: "l’un basé sur la seule évaluation externe et qui concernera la majorité des structures; l’autre sur des critères objectifs que sont la compatibilité avec les schémas en termes de réponses aux besoins et la compatibilité avec les Priac (dotations annuelles affectées par la Caisse nationale de solidarité pour l'autonomie -CNSA- pour les dépenses de fonctionnement) en termes financiers et qui concernera les nouvelles institutions et les extensions"... De quoi en perdre son latin, selon l'association.

"Evaluation exogène" et "référentiels opposables"

Après avoir posé ce diagnostic, l'association formule plusieurs pistes de "consolidation" et de "sécurisation du dispositif d’évaluation des ESSMS":

  • une "évaluation exogène basée une certification de type Haute autorité de santé [HAS] sur certains segments de l’organisation, du fonctionnement et des types d’accompagnement, concertés avec les opérateurs et arrêtés par un organisme indépendant"
  • la transformation de certains segments des recommandations de bonnes pratiques en référentiels opposables
  • la diminution du nombre d’organismes habilités [dont fait partie l'Afnor, NDLR] avec "un renouvellement quinquennal conditionné au respect d’un certain nombre de critères et au moins ceux mentionnés dans le décret de 2007", comme une "expérience dans le secteur médico-social" et une "formation aux pratiques évaluatives des évaluateurs".

Interrogés fin 2015 sur les "évolutions" à apporter au dispositif d'évaluation externe, la moitié des 306 directeurs d'Ehpad ont prôné "une homogénéisation de la forme des rapports d'évaluation externe", suivie à 34% par "un renforcement des conditions d'habilitation des évaluateurs" et "la mise en place d'une certification" (23%).

Ajouter un commentaire