Accueil du site > Programmes et rapports > Evaluation de la qualité des services rendus par l’AIDR et impact sur la (...)

Evaluation de la qualité des services rendus par l’AIDR et impact sur la professionnalisation de ses membres

Résumé du rapport d’evaluation - Inter-Mondes Belgique - septembre 2015

Ce texte présente les résultats de l’évaluation de la « Qualité des services rendus par l’AIDR et impact sur la professionnalisation de ses membres en référence au modèle EFQM  ». Conformément aux termes de références, il ne s’agit donc pas de l’évaluation de l’intégralité du programme de l’AIDR, mais seulement de sa composante « professionnalisation par la Qualité ».

La méthode utilisée a été la suivante : un travail par questionnaire auprès des différents membres du réseau, une mission de terrain du 4 juin au 16 juin 2015 au Togo, Bénin, Burkina Faso (soit une douzaine de jours), ainsi que des entretiens complémentaires par skype. Le présent document résume les principaux constats établis selon les deux étapes – questionnaire et mission de terrain et reprend brièvement les principales analyses transversales et recommandations.

1. Résultats des questionnaires : les services et produits délivrés (appréciation quantitative)

Les questionnaires portaient sur deux éléments essentiellement : la qualité des services dispensés par l’AIDR à ses membres (formations, outils) et celle des produits (site, fiches pratiques, capitalisations, rencontres spécifiques, …). Le taux de participation à ces questionnaires a été très élevé ( 87%). La cohérence dans les réponses selon les pays est également forte. Les résultats peuvent donc être considérés comme très significatifs.

S’agissant des services, ils font apparaître que :

  • Plus de 81% juge les formations pertinentes (81% très bonne et 19% satisfaisantes)
  • L’efficience des formations - c’est-à-dire la pédagogie utilisée, les supports fournis, etc. est appréciée par 90% des membres (avec une répartition de 44% de très bonne et de 46% de satisfaisante)
  • La praticabilité des formations - c’est-à-dire la capacité de les mettre en œuvre rapidement dans l’organisation sans appui extérieur est jugée très bonne par 17 % et satisfaisante par 32 %. Elle est donc jugée insuffisante par 51% des membre
  • Les services jugés les moins pertinents sont les formations sur les performances sociales, et les formations sur le genre. Pour cette dernière cependant cela s’explique par le fait que ce n’est pas une thématique nouvelle et que les membres en attendaient des contenus plus détaillés par rapport à leurs contextes précis et leurs domaines d’activité. C’est l’inverse pour la formation sur les "performances sociales" qui est un thème totalement nouveau pour les membres.
  • Les deux services les plus appréciés sont les outils financiers de l’AIDR et le "costing and pricing" ; soit des services très liés aux préoccupations financières immédiates. Vient ensuite le service en management des connaissances.

Les commentaires ainsi que les entretiens ultérieurs permettent donc de mieux comprendre ces appréciations et à les remettre en perspective des contextes d’acteurs.

S’agissant des produits, ils montrent que :

  • 71% des membres les considèrent comme pertinents (71% très bon, 28% satisfaisant et 1,3% insuffisant) . Les résultats sont de 53% très bon, 37% satisfaisant et 10% insuffisant au niveau de l’efficience. Ils sont de 36% très bon, 45% satisfaisant et 20% insuffisant au niveau de la praticabilité.
  • L’appréciation la plus faible au niveau de la pertinence des produits est faite essentiellement sur les produits que l’on trouve sur le site UNGANA.
  • Les produits les plus appréciés sont : le forum et les capitalisations (viennent ensuite les articles).

L’appréciation est toutefois, comme les entretiens et commentaires le montrent, fort liée à la difficulté à produire (comme chacun s’est engagé à le faire), à lire, et à tirer parti de ce qui est produit.

Globalement, il s’avère donc que les services sont plutôt bien appréciés en termes de choix des thèmes et des formateurs mais jugés souvent insuffisamment applicables rapidement par les organisations membres de l’AIDR aux réalités des terrains. Le modèle financier et assurantiel (en tant que « culture » d’organisation) domine trop le choix des formateurs et des contenus des thématiques (bien que les thématiques soient jugées pertinentes). On ne peut pourtant pas en déduire que la capacité de professionnalisation à travers les services, est insuffisante, car bien des choses se font tout de même et se mettent en pratique. Mais il faut en conclure qu’elle pourrait être sensiblement améliorée, notamment si l’on identifiait plus rigoureusement les différentes attentes et besoins à partir d’une définition plus rigoureuse du modèle d’organisation que l’on veut promouvoir/expérimenter ainsi qu’une caractérisation plus fine des différentes formes organisationnelles et des degrés de proximité des membres au modèle de référence.

Les produits sont un peu moins appréciés mais jugés plus pratiques. Leur potentiel de professionnalisation est cependant aussi à questionner car ils sont encore insuffisamment utilisés.

Pourtant bien d’autres apports de la mise en réseau participent à renforcer les membres selon leurs propres témoignages. C’est en grande partie ce que nous avons cherché à vérifier dans la seconde partie de ce travail.

2. Entretiens de terrain : Approfondissement selon les critères de l’évaluation et de la qualité (appréciation qualitative)

La pertinence d’une démarche Qualité EFQM appliquée à l’AIDR ne fait aucun doute. Elle repose notamment sur l’importance de sortir d’une « culture » projet pour entrer dans une culture « organisation » voire « service ». L’EFQM permet en effet d’articuler exigences internes d’une organisation (notamment en termes de définition de politiques, internes, de gestion de partenariat et de ressources, de gestion des ressources humaines, de mises en processus…) et exigences externes (satisfactions individus (clients/usagers/salariés) et satisfactions collectives (communauté, société locale, pays). Les équilibres à trouver entre ces différentes exigences mériteraient pourtant d’être plus investiguées. Cette investigation pourrait être améliorée en précisant le modèle organisationnel de référence en termes de sens (pourquoi cette nouvelle forme d’organisation basée sur l’ « entreprenariat de développement » ? pourquoi améliorer la rentabilité de l’entreprise ? conquérir des marchés ? lutter contre pauvreté et inégalités ? améliorer la qualité des services ? dans quelle mesure ce type d’organisation permet-il de mieux faire de l’économique un principe de solidarité et d’influence ?.

En termes d’efficacité, les indicateurs de qualité sont largement à la hauteur de ce qui avait été prévu dans le programme. Si l’on s’en tient à ces indicateurs de résultats, ils sont même plus élevés. Mais en termes de Qualité, c’est-à-dire d’effets sur la professionnalisation, les constats sont plus discutables. D’une part parce que beaucoup de ces organisations avaient été créées ou renforcées par d’autres (dont le CIDR), d’autres part comme on l’a vu parce que les services et produits ne sont pas suffisamment adaptés à ce que sont et font actuellement les organisations membres. Par contre, le simple accès au réseau AIDR conduit déjà, de multiples façons, à renforcer sa professionnalisation. L’efficacité doit donc s’apprécier plus largement et les indicateurs du cadre logique devraient être affinés, enrichis, car ils sont trop formulés comme de simples "outputs". De nombreux éléments conduisent à penser que la professionnalisation réside moins dans les services fournis en termes de formations qu’à travers les forums, le coaching, les échanges entre pairs, qu’ils soient formels ou informels,… c’est à dire tout ce qui constitue la vie du réseau et des plateformes. Tout cela étant bien évidemment perfectible car en construction.

L’efficience est donc mitigée : à la fois bonne d’un point de vue rapport cout/efficacité (output), elle se révèle plus faible dans la manière de réunir les ressources intellectuelles et matérielles à même de renforcer les compétences des membres et l’organisation du réseau. Cela semble une évidence dans le cas de beaucoup de formations encore trop formatées sur le modèle des IMF pour beaucoup de membres. Mais le rééquilibrage est déjà en cours notamment dans les plateformes. C’est plus délicat en ce qui concerne l’organisation du réseau, mais là aussi une évolution positive est mentionnée par beaucoup d’organisations membres, liée notamment à la mise en place d’un secrétariat exécutif et au renforcement de plateformes nationales.

Tout ceci permettant déjà certains effets voire impacts à la fois sur le local ou sur le national. Les exemples repris dans le corps du rapport sont emblématiques du potentiel de l’AIDR.

Reste une série de questions "en friche" qui pourraient nous semble-t-il considérablement renforcer le réseau si elles étaient mieux investies.

3. Questions qui mériteraient plus d’investissement

3.1. Comment penser autrement l’articulation entre économique , social et politique ?

  • Des mutuelles de santé aux façons de construire un esprit mutualiste ?
  • De l’agriculture familiale (ou d’entreprise) au faire famille (ou faire organisation) ?
  • Comment passer de la gestion financière de « filières » à la gestion des « problématiques agro-économiques » à l’échelle de territoires ?

3.2. Quelle professionnalisation, pour quelle Qualité ?

  • Le « projet AIDR » : professionnel par rapport à son organisation ou par rapport à sa société ?
  • De la Qualité pour l’organisation à celle pour la société en passant par le réseau…

4. Le programme était-il dimensionné pour de tels enjeux ?

Il nous semble que la réponse tombe sous le sens. De tels enjeux ne peuvent se traiter à l’échelle de 3-4 ans mais plutôt sur 15-20 ans.

Le présent programme en prenant essentiellement pour cible les organisations et, de manière plus partielle et accessoire le fonctionnement du réseau, est-il bien cohérent ? Bien que nettement plus orienté sur la déconcentration du réseau à travers le secrétariat exécutif et les plateformes que le précédent programme, il restait manifestement sur l’idée que le fonctionnement réseau était déjà suffisamment solide et constitué (à travers règles et normes), que pour permettre ce renforcement. Il semble que ce ne soit pas le cas. Différents symptômes - départs ou exclusion pour l’instant limités de membres, retraits provisoires, retards de cotisation (au final intégralement versées), griefs, - indiquent peut-être une crise latente qu’il s’agit de prendre au sérieux. L’effort à faire doit tout naturellement être concentré d’abord sur le réseau, sur ce (et ceux) qui l’anime(nt) depuis les plateformes jusqu’au secrétariat exécitif. Actuellement les constats sont que les plateformes fonctionnent un peu par défaut, c’est-à-dire "à la dernière minute", quand il faut absolument se mobiliser pour atteindre les engagements fixés. Le manque de répondant conduit naturellement le secrétariat exécutif à être plus présent avec des risques d’injonction paradoxale (nous sommes plus présents pour que vous soyez plus autonomes). Le manque de reconnaissance officielle des plateformes dans les pays, et surtout la nécessité de disposer d’un véhicule financier clairement identifiable, limitent les possibilités de mettre en pratique et de rendre effectif le "fundraising privé" comme prescrit dans les formations. Par contre, la mise en place d’un Secrétariat Exécutif est salué unanimement et son travail reconnu comme vital. Tout ceci montre l’importance d’encore mettre la priorité sur le réseau pendant quelques temps.

Le futur programme serait à mieux camper sur le temps long pour un positionnement plus stratégique.

5. Conclusions

Un programme particulièrement important, mais qui devrait être revu et renforcé.

Le fait que la coopération au développement traditionnelle ait "dépassé sa date limite de consommation" n’est plus nouveau aujourd’hui. Si l’AIDR propose des alternatives intéressantes de manière générale - dans son fonctionnement, les formes organisationnelles et les activités des membres - force est de constater qu’elle reste aussi sur certains paradigmes anciens. Des IMF aux ONG de développement en passant par les ESOP, la plupart des structures-membres du réseau proposent des cultures d’organisations hybrides entre le modèle associatif et le modèle d’entreprise. Toutes recherchent de nouvelles manières de partager la maitrise des dimensions économiques, la création de richesse, une certaine rentabilité, tout en assurant la redistribution au sein de populations et l’impact plus national en termes de participation à la définition de politiques sectorielles. Pourtant beaucoup de références restent encore sur le paradigme d’un "social" réduit à l’amélioration de la situation d’individus : femmes, jeunes, pauvres… plutôt que la façon de s’organiser, de se relier, de faire collectif, de faire société (toutes choses qui, faut-il le dire, sont à l’origine de bien des fabriques de pauvreté et d’inégalités). Ce n’est donc toujours pas les mécanismes d’appauvrissement qui sont les cibles, mais leurs conséquences, logées dans les "états" de personnes, d’individus, considérés le plus souvent isolément. Cela peut paraitre paradoxal sachant que le programme vise aussi à renforcer la société civile dans sa capacité d’interpellation. Le changement "sociétal", au sens de l’amélioration du fonctionnement des sociétés (en partant de l’échelle familiale, puis de l’organisation, jusqu’à l’échelle nationale voire sous-régionale) n’est pas encore un référent pour déterminer les exigences d’une démarche Qualité.

A part cette réflexion préalable, le programme s’avère très pertinent, à la hauteur des attentes du point de vue de l’efficacité (mais celles-ci pourraient être placées plus haut), relativement efficient, et déjà porteur d’effets, voire d’impact. Tout porte à croire qu’il aura dépassé la plupart des objectifs formulés dans le temps qui lui reste.

Le programme est donc intéressant et utile, sous réserve de recommandations qui sont précisées ci-après. L’importance du questionnement repris dans ce rapport témoigne de la richesse des échanges et du degré de réflexion permis par cette mise en réseau. Il faut y voir aussi un résultat de la démarche Qualité de l’AIDR.

Le programme devrait être renforcé, pendant 4 à 5 ans au moins, le temps de constituer une masse critique suffisante à l’échelle des pays, et de réaliser les réajustements nécessaires avant de pouvoir poursuivre sur sa lancée de manière plus autonome, à partir de financements qui seraient plus de "croisière".

6. Recommandations

Les différentes recommandations sont reprises selon deux catégories :

  • les recommandations plus identitaires et liées à la vie du réseau
  • les recommandations plus pratiques

6.1. Recommandations essentielles sur l’identité, le fonctionnement du réseau (ce qui fonde la Qualité)

1. Mettre en débat le modèle d’entreprenariat prôné par l’AIDR de façon volontaire et en faire un réel travail commun d’élaboration. C’est pour nous une recommandation essentielle dans la mesure où elle permettra de rendre explicite une certain façon de penser et de faire organisation et entreprenariat. Les formes sont diverses mais ce qui nous semble vital pour le réseau serait d’en dégager quelques principes majeurs qui fédèrent, comme nous avons commencé à le faire dans ce travail.

2. Développer les capacités critiques et la réflexivité chez les formateurs

  • a. Ouvrir un chantier interne sur les risques et opportunités d’une professionnalisation transversale, par rapport à une professionnalisation plus sectorielle.
  • b. Mieux tenir compte des contextes pays et du niveau de maturité des organisations à la fois dans la façon dont les thématiques sont traitées lors des formations, et la façon dont les attentes sont reçues et discutées au niveau des plateformes.
  • c. Introduire des dimensions plus culturelles dans les formations afin de mieux en discuter (les pratiques africaines de recrutement et de gestion des ressources humaines) ?

3. Réaliser un travail sur la régulation

  • a. Quelles valeurs/normes explicites se donner (ou renforcer) collectivement pour sous-tendre les règles ?
  • b. Quelles règles (revoir en particulier la question des cotisations et celle du Comité stratégique)
  • c. Quelles sanctions (en positif comme en négatif)
  • d. Quel cadre définissant le rapport à la régulation (Comment envisage-t-on le collectif ? Qui décide ? Comment on décide de décider ? Quelles "loyautés" entre soi…)

4. Plus travailler l’influence sur les politiques publiques.

  • a. Quels axes et quelles stratégies selon les axes retenus ?
  • b. Engager des négociations entre Etat et Plateformes sur les dérogations pour la RSE des privés, l’accès aux marchés publics pour des entreprises de développement.

6.2. Recommandations "pratiques"

Sur les produits et services

5. Mettre en processus les formations :

  • a. Secrétariat exécutif - "Amorce" : important comme premières séances plutôt d’information ou de sensibilisation
  • b. Plateforme -"Approfondissement" : Ensuite reprise de la thématique est par les plateformes qui permettent une formation plus précise et plus pratique et Mise en place d’un dispositif de suivi si possible avec le consultant
  • c. Organisations membres - "Implémentation" : Suivi de la mise en œuvre et facilitation-coaching éventuel interne (plateforme) ou extérieur

6. Elargir les thèmes des formations, reconnaître nos compétences en formation. Continuer formations sur mobilisation, KM (+à destination des cadres), et élargir formations en

  • a. Cartographie des incidences (APME2A),
  • b. Suivi-évaluation orienté effet et impact (APME2A, APIL)
  • c. Communication autour des résultats, des effets et impacts
  • d. Elaboration de budgets et calcul des couts de nos services (tous)
  • e. Calcul actuariel
  • f. Mesure de l’apport de nos actions dans budget national ou sectoriel (ministère)

7. Renforcer et repositionner parmi les actions prioritaires le coaching des pairs. Il ne s’agit pas d’en faire une prestation rémunérée mais de trouver les modalités pour reconnaître et valoriser les compétences internes ;

8. Envisager d’autres modes de communication et de présentation à côté de l’écrit en particulier sur le site UNGANA ;

9. Renforcer les travaux croisés où des pairs viennent aider à capitaliser ou à étudier de nouveaux secteurs ou modalités d’intervention.

Sur la professionnalisation "AIDR"

10. Documenter comment on parvient, chacun à son niveau, à articuler les exigences organisationnelles (de définition de politiques propres et de saine gestion des ressources humaines, financières et matérielles) aux exigences d’impact dans sa société.

11. Replacer les considérations relatives au personnel et à la GRH dans le contexte de chacun des pays à travers une petite étude diagnostic menée dans les pays sur les pratiques réelles et leurs raisons d’être.

12. Prévoir des activités pour les administrateurs des organisations afin de faciliter leur mobilisation envers le réseau

13. Commanditer une étude afin de définir un modèle conceptuel à des dispositifs de suivi-évaluation d’effets/impacts adaptés aux différentes organisations "AIDR"

Sur le fonctionnement du réseau

14. Faire une petite étude sur le référentiel à prendre en compte pour le calcul des cotisations ;

15. Mettre en place une structure ou une fonction d’arbitrage, de médiation, permettant de diminuer le cout de transaction, c’est-à-dire les dépenses en négociation, en arbitrage et en remobilisation, liées aux tensions ;

16 Revoir le statut du Comité Stratégique dans un sens ou dans un autre. Que l’on formalise ce comité comme instance de décision ou qu’on en fasse un organe de suivi-contrôle ou encore de conseil, il importe qu’il soit inscrit dans les textes ;

17. Valoriser les personnes sur une base objective du travail accompli pour le réseau

18. Plus investir le travail des plateformes

  • a. Favoriser le développement de partenariats intra-pays
  • b. Aider à financer le montage de programmes communs de professionnalisation-*
  • c. Elaborer des stratégies pays au niveau de chaque plateforme

Documents joints

Le management des connaissances au service du développement