Son principe définit que trois sources différentes d'information sont nécessaires pour valider la fiabilité d'une information. Le domaine d'application de l'analyse a-t-il été clairement délimité ? Une période d'évaluation d'une dizaine d'années peut donc comprendre quatre ou cinq programmes. Quels problèmes doivent être pris en compte? Au delà des trois critères de base (professionnalisme, indépendance et capacité de travail en équipe), et des éventuelles exigences relatives aux profils des experts du panel, certains commanditaires peuvent avoir des exigences de composition (ex : experts de nationalité spécifique, recherche d'équilibre entre les experts représentant des points de vue différents sur un programme, demande de représentation d'une catégorie de personne dans le panel comme les bénéficiaires, les consommateurs, etc.). Les diagrammes des problèmes sont établis au cours de la phase de structuration et sont donc présentés dans les notes et rapports produits au cours de cette phase. La mesure de cet accroissement peut s'appuyer sur l'évolution des notes obtenues par les élèves dans l'ensemble des matières ou être limité aux deux matières jugées les plus importantes. Commencer par des questions faciles qui permettent de mettre en confiance le répondant. L'animateur doit veiller à structurer la réunion en étapes, avec des moments de restitution intermédiaire au groupe. Bien entendu, la période d'évaluation, telle qu'elle est définie par les termes de référence, est généralement couverte par plusieurs documents de stratégie et de programmation, chacun d'eux pouvant comprendre des analyses ou des informations sur la situation du pays, de certains secteurs, ou de certaines régions. Ou bien a-t-il donné lieu à des ateliers ou à des séminaires? Ces entretiens conviennent particulièrement en début d'évaluation, à un niveau très global pour «défricher» le sujet. (0 comments). Les termes de référence de l'évaluation précisent la période et les instruments financiers à évaluer. Des données précises (géographiques - pays, région ou sectoriels) sont également disponibles sur le développement et les économies non membres de l'OCDE. Auteur : Hôpitaux Universitaires La Pitié Salpêtrière - Charles Foix Si l'étude des forces et celle des faiblesses nécessitent d'être approfondies, deux outils peuvent être utilisés pour fournir des pistes d'investigation : l'audit des ressources et l'analyse des meilleures pratiques (comparaison à l'intérieur d'un pays entre ce qui fonctionne bien et ce qui fonctionne moins bien suivant certains indicateurs), Les opportunités sont les possibilités extérieures positives, dont on peut éventuellement tirer parti, dans le contexte des forces et des faiblesses actuelles. Ils sont nécessaires à la compréhension et l'articulation du questionnaire, quelle que soit sa façon d'administrer. Différents types d'entretien peuvent être conduits selon les phases d'exécution de l'évaluation pays. Par cette démarche, il s'agit d'apporter à l'évaluation, une compréhension de la façon dont les dynamiques propres à une société, les hiérarchies sociales, les rapports sociaux de sexe, les croyances religieuses, les représentations en vigueur concernant le travail, l'argent, la richesse, la pauvreté influent sur les possibilités de recevoir et de mettre en œuvre des programmes de coopération. Les contextes spécifiques des pays dans lesquels l'étude est conduite peuvent en effet fortement limiter le choix des outils, notamment du fait des contraintes logistiques et des coûts de mise en œuvre. absence de relations horizontales, absence de boucles de rétroaction (les effets devenant des causes et inversement). Ils n'y sont pas forcément décrits en tant que tels. Comme tous les outils aboutissant à une matrice, le reproche qui peut être fait à l'analyse SWOT est son côté réducteur et simplificateur. Ce sont des données descriptives dans des domaines sectoriels, sociaux et économiques. Un focus group est un type d'entretien de groupe composé de personnes concernées par une politique de développement ou une intervention. Il est utile de prévoir les moyens pour introduire le questionnaire auprès des personnes à interroger. (0 comments), Submitted by kgr, on Mon, 19/01/2015 - 21:02 Une question ouverte laisse la réponse libre dans sa forme et dans sa longueur. L'entretien individuel permet de collecter des informations quantitatives mais surtout qualitatives. Diagnostic rapide d'une organisation, territoire, programme-me, secteur à partir de l'analyse des forces et des faiblesses combinée avec l'analyse de l'environnement / contexte en termes d'opportunités et de menaces. Compte tenu de la polyvalence, évoquée précédemment, de la majorité d'outils, il convient de tenir compte des critères de rationalisation et d'optimisation dans leur choix. Le système d'indicateurs proposé par la Direction Générale du Développement de la Commission Européenne pour les évaluations de performances de l'aide aux pays, a été mis au point en collaboration avec d'autres bailleurs (les Etats membres, la Banque Mondiale, le PNUD et l'OCDE-CAD). l'un de ces mêmes objectifs se rattache à deux objectifs de rang supérieur (intermédiaire 2). afin de valider que les sites proposés conviennent bien et ne présentent pas de problème spécifique (ex : site visité par toutes les évaluations ou au contraire site dangereux, etc.). Nombre de connections téléphoniques (fixes et portables) pour 1000 habitants, 11. Elle nécessite une bonne définition et estimation de l'information recherchée, et des publics auprès desquels l'obtenir. Le Baromètre mondial sur la Corruption et l'Indice de Corruption des Pays Exportateurs complètent l'IPC. Les stratégies de coopération et les politiques d'intervention des donneurs nationaux ou multinationaux obéissent à des visées explicites ou implicites. On observe que sa mise en œuvre peut s'avérer relativement complexe dans certains contextes, particulièrement lorsque des résultats de nature différente sont attendus simultanément d'une même action. est basée sur la disponibilité des données. Les évaluateurs et responsables de l'évaluation peuvent estimer raisonnable de s'en tenir aux programmes correspondant au dernier document de stratégie. Il conviendrait de mieux exploiter les bases de données d'indicateurs lors des évaluations pays réalisées par la Commission Européenne. Toutefois, tout au long de l'entretien, il doit en maîtriser l'évolution, en évitant d'être poussé vers le hors-sujet ou de trop longtemps s'appesantir sur le même point. S'il existe des spécificités culturelles ou dialectales, il est préférable d'effectuer localement le recrutement (comme les agents de développement, les instituteurs, les techniciens, etc). Submitted by kgr, on Mon, 19/01/2015 - 21:01 Le choix de chacun des outils et leur combinaison sont-ils justifiés de manière claire et convaincante ? Les avantages de l'outil proviennent essentiellement de la très bonne connaissance des sujets à évaluer par les experts. La programmation de chacun des outils prend-elle en compte l'ensemble des tâches nécessaires à leur mise en œuvre ? Les critères de choix proposés ici ont pour objet de guider l'évaluateur dans les arbitrages nécessaires à la finalisation de la méthode. Un rôle d'intégrateur : il doit assurer une critique positive de la production de chacun des membres afin d'améliorer les réflexions produites. Dans une stratégie d'aide bilatérale, le donneur est la Commission Européenne et son partenaire est en général un État ou des institutions publiques nationales. difficulté éventuelle à exprimer des points de vue, des critiques. aider au "réalisme" de l'approche en particulier sur celle des faiblesses. Si des sous-contractants sont mis à la disposition du panel pour réaliser des études pour le compte du panel, c'est lui qui supervise ces travaux, leur conduite et leur finalisation. En revanche pour le secteur de l'aide au développement, cette analyse préalable est nécessaire, si l'on veut que les participants à l'analyse comprennent bien les questions qui leur seront posées. Selon la complexité de l'intervention, le recours à une méthode de simulation peut s'avérer nécessaire. Par ailleurs, cet entretien préparatoire sera l'occasion de discuter ouvertement de l'expérience et de l'approche de l'expert et de recueillir ses impressions générales sur l'aide au développement dans son pays. Une fois reconstitué, le diagramme raisonné des objectifs puis celui des effets débouchent sur deux démarches parallèles concourant à l'évaluation de la stratégie pays : Les deux démarches sont figurées sur le tableau ci-après. Ces tables sont particulièrement adaptées lorsque des enquêtes ont eu lieu lors des études de cas. Cette étape consiste en la lecture de documents plus spécialisés, par thèmes ou par discipline. L'évaluateur décline les questions les unes après les autres, sans laisser la possibilité à la personne interrogée de développer d'autres points. aux formes de restitution, répondant aux attentes du commanditaire, voire aussi des personnes rencontrées qui peuvent souhaiter un retour sur l'utilisation des informations recueillies auprès d'elles. Elles ont fait alors ressortir le simplisme des formulations sans la justification de la finalité pédagogique. les responsables locaux des programmes de coopération peuvent en valoriser les effets dans le sens de l'intérêt général ou en capter les bénéfices pour des intérêts de groupes, de castes, de communautés. Représentation simplifiée de la réalité Comme tout graphe, c'est une représentation simplifiée de la réalité dont l'efficacité dépend d'un degré raisonnable de simplification. Certains indicateurs sont maintenant fournis aux pays et permettent également certaines comparaisons au niveau : Ces comparaisons peuvent aider à identifier les meilleures pratiques à inclure dans l'identification des "forces". La décomposition du temps de travail est indiquée dans le tableau récapitulatif. A cette fin, elle peut s'appuyer sur des supports visuels ou auditifs, ainsi que sur des exercices, des simulations, des moments de synthèse, de récapitulation etc. adéquats : ils doivent suffisamment bien montrer les progrès accomplis. Dans une certaine mesure, toutefois, et à un certain degré de détail, les problèmes deviennent communs. A titre d'exemple, les critères suivants pourraient être choisis pour l'évaluation ex ante d'une série d'actions d'un programme de gestion des déchets urbains dans un pays en développement : Chacun des critères peut, si besoin, être décomposé en sous critères, par exemple l'implication des bénéficiaires peut être décomposée en sous critères du type : consentement à payer, consentement à fournir une partie du travail, etc. en un diagramme peut permettre de vérifier la cohérence de l'analyse et la pertinence des objectifs au regard de cette analyse. Leur révision ou l'élaboration de nouveaux programmes marquant une réorientation sensible sont des actes habituels de l'activité de programmation en cours de période budgétaire. Il serait hasardeux de proposer ici des montants, ceux-ci variant dans des proportions importantes selon le type de pays dans lequel l'enquête est réalisée. La recherche nécessaire d'un consensus sur la perception des menaces et opportunités exige un savoir faire spécifique (SWOT). Le rapport final est destiné à un large public, en général davantage intéressé par les résultats que par la méthode de l'évaluation. Toutefois, les diagrammes des problèmes ne permettent pas de traduire visuellement les liens de type boucle de rétroaction (les effets devenant des causes et inversement). Faire une ou plusieurs études de cas consiste donc avant tout à partir d'un ou de plusieurs exemples réels, afin d'obtenir une connaissance approfondie du sujet étudié et si possible d'en tirer des enseignements pour l'ensemble de l'évaluation. Pour un document donné (stratégie ou programme), l'analyse de la situation fait rarement l'objet de plusieurs versions successives. Les analyses multicritères sont souvent basées sur des processus lents et itératifs, qui peuvent nécessiter une part de négociation importante et de longue durée. Il permet alors de collecter des témoignages. Ces seuils sont généralement établis en fonction du degré de précision des données qui permettent de mesurer le critère. Selon les données disponibles, la collecte et la reconstitution des données peuvent exigées des ressources importantes. Les premières utilisations connues, notamment celle de l'USAID, sont liées à la construction des cadres logiques. Dans un domaine aussi vaste que les stratégies mises en œuvre au niveau d'un pays, il convient de ne pas en sous-estimer les limites. Dans le cadre de l'évaluation, ce besoin de temps peut s'avérer être une limite. Ainsi, sur la base de plusieurs critères, les décideurs sont en mesure d'intégrer, dans un cadre prospectif ou rétrospectif, la diversité des opinions concernant les projets, pour formuler un jugement. Constituer le panel d'experts en ayant comme objectif premier l'indépendance de ses membres est une manière sûre d'éviter ce biais. Comme ceux retenus par la Direction Générale du Développement de la Commission Européenne, ces indicateurs sont plus orientés vers les résultats que vers les ressources. Le questionnaire comportait-il des questions croisées ? Groupe reconstitué de représentants des différents groupes d'intérêts stratégiques en présence. En revanche, elle ne permet pas de statuer sur la pertinence ou sur l'intérêt qu'il y a à mettre en place et poursuivre cette intervention. Ils sont donc complétés par des outils de rationalisation des choix (par exemple, l'analyse coût-efficacité). Une fois les critères établis, il convient pour chaque acteur de juger chaque action à comparer au regard de chacun des critères. à l'objectif global correspond l'impact global. Dans les autres zones géographiques, seuls les programmes font l'objet d'un accord entre les deux partenaires, tandis que les stratégies sont l'occasion d'une communication pour information. C'est à partir de ces objectifs que seul ou en partenariat le donneur définit le(s) champ(s) prioritaire(s) de l'assistance. La manière de conduire concrètement les études de cas diffère un peu selon les types, mais fait malgré tout référence à des standards applicables à toutes (ou presque) exposés dans la partie " comment réaliser l'étude de cas? Les indicateurs de contexte doivent également permettre de caractériser l'aide au pays concerné, c'est-à-dire le type d'aide, les montants, la répartition sectorielle et la part relative de la Commission européenne parmi les autres bailleurs, etc. Elle est utilisée pour porter un jugement comparatif entre des projets ou des mesures hétérogènes. Les outils retenus permettent-ils de répondre de manière optimale aux objectifs de l'évaluation ? Cet outil sert à fournir une information imagée et donc souvent plus crédible, dans les situations où l'information de base fait défaut (cas fréquent en évaluation pays). Mais il faut également pouvoir disposer de temps pour d'autres entretiens non prévus, en particulier dans le cadre d'entretiens en évaluation pays. La synthèse des études est importante car elle permet, au-delà de l'identification du contenu de chacun des facteurs, une mise en relation entre eux. L'analyse multicritère est avant tout un outil lié à la prise de décision. Basée sur une analyse des données disponibles mais aussi sur une série d'entretiens, elle peut avoir pour but selon les cas, de recueillir : A partir de ce recueil d'information, elle aide à une meilleure compréhension des phénomènes, nécessaire à l'analyse finale développée dans le rapport d'évaluation. Chacun de ces diagrammes ne devrait pas comprendre plus d'une vingtaine de boites. Les entretiens doivent être réalisés par une personne : Nombre limité de personnes que l'on peut rencontrer à coût raisonnable. Submitted by kgr, on Sat, 24/01/2015 - 00:03 des facteurs internes au processus, chaque objectif retenu justifiant les objectifs de rang inférieur. La grille de questionnement est constituée de toutes les consignes, les thèmes et les questions que l'on souhaite aborder dans l'entretien. Chacune des opérations de rationalisation sera en outre justifiée par une note technique. Les combinaisons suivantes ne sont ni exhaustives ni limitatives. Il s'agira alors d'une enquête ponctuelle sur une question pointue auprès d'une catégorie d'acteurs bien circonscrite paysment, notamment. Le nombre d'entretiens dans une journée est limité. Il convient en la matière de s'interroger : La méthode d'analyse ne garantit pas une haute qualité des données. L'évaluateur doit identifier: Une fois les catégories d'acteurs définies, l'évaluateur peut planifier les entretiens, en essayant de trouver un équilibre entre une vision rationalisée et optimisée de son propre temps et une vision souple et humaine du temps de l'autre. Les formes principales d' un panel d'experts en évaluation, Diversification de la composition du panel, le domaine est au contraire très complexe, Le cas d'une sélection par étape, selon les thèmes de l'évaluation, Les documents mis à la disposition du panel d'experts, Références spécifiques à l'utilisation de panels d'experts en évaluation pays. DFID (DEPARTMENT FOR INTERNATIONAL DEVELOPMENT),1999: Sustainable livelihoods guidance sheets, UK Government. Le diagramme doit être testé auprès des auteurs des documents de base et des documents complémentaires afin de valider les classements en rang et les liens entre objectifs. Case study Evaluation, November 1990. En évaluation pays, la réalisation d'études multisites est donc une quasi nécessité. Comment analyser et interpréter les résultats ? participer à la définition des actions, variantes ou scénarios à intégrer dans l'analyse multicritère. L'examen des meilleurs cas et/ou les pires cas: Les études de cas vont cibler les projets ou programmes regroupant les succès et les échecs intéressants pour l'évaluation. Parfois les documents de stratégie mélangent les objectifs et les effets attendus, il faut alors traduire les effets attendus en objectifs. Bien qu'il ne soit pas possible de proposer a priori toutes les combinaisons et associations souhaitables entre outils, certaines considérations méritent d'être formulées dans le but d'assurer l'homogénéité de performance des outils tout au long de la séquence : Test de deux outils utilisables en évaluation pays - enquête par questionnaire et focus group - réalisé dans le cadre de l'évaluation Bénin.