1En 2011, nous avons publié une revue systématique de la littérature dans laquelle nous avons examiné l’utilisation de l’audit clinique dans les pays à faibles ou moyens revenus (Pirkle et al., 2011). Nous avons trouvé que cette approche était très prometteuse pour améliorer la qualité des soins dans les services de santé et qu’il existe de plus en plus d’arguments concernant sa faisabilité et son utilité dans ce contexte. Cependant, nous avons également observé que la plupart des audits cliniques pratiqués dans ces pays n’ont jamais été évalués en termes de validité et de fiabilité. Autrement dit, nous n’avons pas de preuves scientifiques que les audits cliniques utilisés à ce jour ont la capacité d’être reproductibles (fiabilité), ni qu’ils mesurent réellement ce qu’ils devraient mesurer (validité), à savoir la qualité des soins obstétricaux.

2Étant donné cette lacune dans nos connaissances, notre équipe a donc décidé de développer un audit clinique fiable, valide et adapté au contexte ouest-africain. Nous avons ciblé les soins intra-partum et post-partum immédiats. Dans l’annexe 7a, nous présentons le questionnaire d’audit qui a été élaboré à cette fin. Dans les paragraphes suivants, nous allons détailler chaque étape suivie pour développer cet outil, afin de guider le lecteur dans l’élaboration d’un audit clinique sur critères explicites dans son propre environnement.

3Avant de commencer la présentation détaillée du développement d’un audit clinique, nous présentons au tableau 3 un sommaire des étapes essentielles pour la mise en œuvre de cette approche, ainsi qu’une justification de chaque étape.

DÉFINIR LE THÈME DE L’AUDIT

4La première étape pour développer un audit clinique est de bien définir le sujet de l’étude. Par exemple, êtes-vous intéressé par la pratique générale ou par une complication spécifique ? Dans notre cas, nous avons décidé de mesurer la pratique générale pour les soins intra-partum et post-partum immédiats et pour deux complications obstétricales (l’hémorragie du post-partum immédiat et l’éclampsie). Le choix du thème devrait tenir compte de l’épidémiologie locale et de la faisabilité du changement des pratiques cliniques au sein de la structure de santé auditée. Par exemple, dans certains centres de santé primaire (de première ligne), un audit des pratiques de transfusion sanguine ne sera pas utile ; dans des contextes avec une faible prévalence du VIH, un audit des pratiques de prévention de la transmission mère-enfant sera peut-être moins pertinent qu’un audit de la prise en charge des cas d’éclampsie. En général, plus le sujet d’étude est spécifique, plus le nombre de critères nécessaires pour l’audit clinique sera réduit. Dans notre exemple, nous avons inclus 7 critères pour chaque complication et 29 critères pour les soins généraux (voir annexe 7a).

PRENDRE UNE DÉCISION SUR LA PÉRIODE D’ÉTUDE

5La définition du sujet de l’étude va de pair avec le choix de la durée de l’étude. Plusieurs questions vont permettre de guider ce choix. Sur quelle période de temps l’audit clinique initial va-t-il se dérouler ? Allez-vous renouveler l’audit clinique après la mise en œuvre des actions d’amélioration ? Combien de temps et combien de fois après le premier audit ? Pour une complication rare, il sera nécessaire de considérer une période d’étude assez longue pour trouver suffisamment de cas et arriver à des conclusions intéressantes pour améliorer les soins obstétricaux. Dans la pratique courante (basée sur des considérations d’ordre statistique), le nombre minimum de cas à auditer est de trente cas. Le choix des dates à échantillonner pourrait être aléatoire ou déterminé par des circonstances spécifiques. Par exemple, si l’été dernier il y a eu une augmentation des cas de mort-nés, un audit des cas de mortinatalité pendant cette période serait justifié. Si vous envisagez de répéter l’audit clinique pour mesurer les progrès effectués, il serait alors pertinent de recommencer l’audit l’été prochain pour évaluer les soins dans les mêmes circonstances. Dans tous les cas, la période de temps choisie doit être pertinente par rapport au contexte institutionnel et épidémiologique, et par rapport aux objectifs que vous vous êtes fixés. Un audit clinique des dossiers obstétricaux de patientes admises il y a trois ans serait moins pertinent pour l’évaluation de la pratique clinique actuelle, qu’un audit des dossiers des six derniers mois.

SÉLECTIONNER L’ÉCHANTILLON DE CAS À AUDITER

6L’échantillon de cas doit être représentatif des patientes dont vous souhaitez évaluer la qualité de la prise en charge. En pratique, on sélectionne tous les cas de façon exhaustive lorsque le nombre est restreint (audit d’une complication obstétricale, par exemple). Lorsque le nombre de cas est important, on peut soit tirer au sort trente dossiers cliniques parmi l’ensemble des cas, soit sélectionner une série de trente patientes dans l’ordre chronologique de leur admission. Il faut donc tenir compte dans le choix de la méthode d’échantillonnage de la possibilité que vous aurez de repérer de façon exhaustive tous les cas à auditer. Il est essentiel également de retrouver tous les dossiers cliniques que vous aurez sélectionnés parmi les cas. La qualité de l’archivage des dossiers cliniques est alors déterminante pour cette étape de l’échantillonnage.

7Dans notre exemple d’audit clinique des soins obstétricaux au Mali et au Sénégal, nous nous sommes basés sur le registre des accouchements pour repérer les trente dernières patientes accouchées dans chaque hôpital participant à l’audit. Concernant les cas de complications (hémorragie du post-partum immédiat et éclampsie), l’identification des cas a été plus difficile car l’information ne figurait pas systématiquement dans les registres. Ainsi, nous avons dû examiner tous les dossiers disponibles des trois derniers mois pour identifier les cas de complication à auditer, au lieu de les repérer par le biais du registre d’accouchement. Un autre problème s’est présenté pour les cas des HPPI. Pour des raisons diverses, il était très rare de trouver un cas d’HPPI identifié comme tel dans le dossier clinique. En revanche, les soins effectués pour la prise en charge des HPPI étaient bien notés. Par conséquent, nous avons pu identifier les cas d’HPPI de façon indirecte en se basant sur les informations concernant les traitements. Cette approche nécessitait un auditeur qualifié pour analyser l’information de façon fiable.

8En résumé, si l’information dans les registres hospitaliers est fiable, la procédure d’audit sera facile car l’auditeur/auditrice aura simplement besoin de retrouver les dossiers obstétricaux correspondant aux cas à auditer (sous réserve que l’archivage soit performant). Si l’information dans les registres n’est pas fiable, il faudra examiner tous les dossiers cliniques, ce qui peut alourdir considérablement la démarche d’audit clinique. Il faut considérer ces aspects d’échantillonnage bien avant le début de l’audit, car ces considérations peuvent influencer la façon dont les dossiers d’intérêt seront choisis, le temps nécessaire pour compléter l’audit, et même le choix du thème de l’audit clinique. Notre exemple avec l’HPPI souligne le fait que, souvent, il ne sera pas possible de repérer une complication de manière simple ; donc, au moment de définir le thème de l’audit, il faut réfléchir à la stratégie que vous allez mettre en œuvre pour identifier tous les cas de manière fiable. Nous croyons fermement que la seule façon de bien prendre en compte ces aspects concernant l’échantillonnage est de faire une étude pilote, un sujet que nous allons discuter plus tard.

ÉTABLIR UNE LISTE DE CRITÈRES EXPLICITES DE BONNES PRATIQUES OBSTÉTRICALES

9Après avoir déterminé le thème de l’audit et pris en compte certaines considérations concernant l’échantillonnage, il faut établir une liste des bonnes pratiques obstétricales. Nous avons vu au chapitre précédent comment choisir des critères explicites de la qualité des soins pertinents et facilement mesurables. Pour rappel, on établit la liste des critères sur la base de la littérature scientifique et des avis d’experts. Par exemple, pour choisir les critères explicites de l’audit clinque au Mali et au Sénégal, nous avons consulté la base de données Cochrane, le WHO Reproductive Health Library, les recommandations pour la pratique clinique du Royal College of Obstetricians and Gynecologists, de la Société africaine de gynécologie- obstétrique et de la SOGC, incluant le cours Gesta international adapté au contexte des pays à faibles ressources, ainsi que différentes études scientifiques. Les critères sont sélectionnés sur la base de leur importance pour le sujet audité, de la force des preuves scientifiques qui les sous-tendent, et de la facilité à les mesurer en utilisant les dossiers obstétricaux. Pendant cette phase de développement, la liste doit être exhaustive. Il s’agit de la liste de critères candidats. Après quelques révisions, cette liste diminuera ; mais au début, il vaut mieux commencer avec une liste exhaustive.

FAIRE RÉVISER LA LISTE DES CRITÈRES CANDIDATS PAR DES EXPERTS EXTERNES

10À cette étape, il faut soumettre la liste de critères candidats à des experts extérieurs à votre équipe pour un avis indépendant. En général, consulter trois à cinq experts suffit. Il est important d’inclure des experts externes pour des raisons de neutralité, ainsi que pour bénéficier d’un regard neuf. Dans une situation extrême où un aspect essentiel de la prise en charge n’aurait pas été identifié par le personnel de santé de votre service, seul l’avis d’un expert externe assurera que cet aspect soit pris en compte dans l’audit.

11Le rôle des experts est d’évaluer la pertinence des critères suggérés, de proposer des idées concernant d’autres critères à inclure et de suggérer les critères à exclure. Il faut choisir les experts en fonction de leur expertise concernant le sujet de l’étude. Par exemple, un expert en anesthésie ne sera pas un bon choix pour un audit examinant le suivi du travail.

SÉLECTIONNER LES AUDITEURS OU AUDITRICES

12Un des avantages de l’audit clinique est que la personne qui évalue les dossiers obstétricaux à partir du questionnaire d’audit élaboré n’a pas besoin d’être un expert en obstétrique. Quand l’audit est soigneusement conçu, un personnel non médical ou un stagiaire médical peuvent effectuer le travail, sous réserve qu’ils aient été bien formés à l’utilisation du questionnaire d’audit. Il est même possible d’impliquer du personnel d’un autre service dans cette phase de l’audit. Il est évident qu’un membre de la maternité comprend mieux qu’une personne de l’extérieur la façon dont les dossiers sont remplis et archivés. Cependant, l’évaluation du dossier clinique par un membre de la maternité peut être biaisée en raison des conflits d’intérêts possibles. Par exemple, si la personne a été impliquée dans les soins d’une patiente incluse dans l’étude, il est possible que cette personne soit plus « généreuse » dans son interprétation du dossier (même si elle le fait de manière complètement inconsciente).

RÉDIGER UN MANUEL D’UTILISATION POUR LES AUDITEURS

13Avant de débuter l’audit au Sénégal et au Mali, notre équipe a créé un « manuel d’utilisation » pour les auditrices. Dans ce manuel, nous avons expliqué brièvement le but de l’audit clinique, comment effectuer l’évaluation à partir du questionnaire d’audit, et certaines abréviations communes qui se trouvent dans les dossiers obstétricaux. En développant le manuel pour nos auditrices, nous avons clarifié la procédure que nous souhaitions suivre pour cet audit. Le fait d’expliquer les items du questionnaire à quelqu’un d’autre nous a permis d’identifier certaines questions qui n’étaient pas bien formulées. Un manuel d’utilisation est particulièrement utile dans les situations où il existe plusieurs auditeurs. Il contribue au fait que chacun suit la même démarche.

FORMER LES AUDITEURS/AUDITRICES

14Avant de mettre un auditeur ou une auditrice devant son premier dossier obstétrical, il faut le former. Dans notre cas, nous avons consacré deux jours à la formation des auditrices. Le premier jour, nous avons fait une formation théorique en présentant le manuel d’utilisation et des exemples fictifs. Le jour suivant, nous avons fait un audit en utilisant de vrais dossiers d’une maternité non incluse dans notre étude. S’il n’est pas possible d’utiliser une autre structure de santé pour faire cette formation, une bonne façon de s’entraîner avec de vrais dossiers est de faire l’audit sur une période de temps qui ne sera pas incluse dans l’étude.

TESTER L’AUDIT SUR UN SOUS-ÉCHANTILLON

15Nous recommandons fortement que l’audit soit testé avant son utilisation. Cet effort additionnel aide à assurer la faisabilité de l’audit, la clarté des critères inclus dans l’audit, et aide les auditeurs/auditrices à comprendre comment extraire les informations des dossiers obstétricaux, y compris certains aspects concernant l’archivage. Il est possible qu’après cette phase test, un certain nombre de critères s’avèrent impossibles à vérifier dans les dossiers cliniques. Les questions en lien avec ces critères devront être supprimées. D’autres questions apparaîtront insuffisamment claires et vont devoir être modifiées. Enfin, certains termes médicaux ou certaines abréviations communément utilisées pourront poser des problèmes aux auditeurs en l’absence d’un lexique. Une étude pilote expose également l’auditeur ou auditrice au problème de l’archivage des dossiers obstétricaux. Dans certains cas, il est difficile de retrouver tous les documents médicaux correspondant à un cas. Dans notre expérience, la localisation des dossiers a souvent pris plus de temps que l’audit en tant que tel. C’est seulement en acquérant une expérience de la méthode d’archivage utilisée localement, voire en l’améliorant, que l’audit clinique devient plus efficace. Pendant la phase pilote, nous suggérons que les auditeurs ou auditrices notent toutes les abréviations utilisées dans les dossiers obstétricaux, ainsi que les difficultés vécues lors de l’audit. Les abréviations trouvées dans les dossiers ne sont pas forcément les mêmes d’un établissement de santé à un autre (ou même d’un membre de la maternité à un autre), et une liste exhaustive aide les auditeurs à faire un travail fiable. Nous fournissons dans l’annexe 7b un lexique qui nous a servi au Sénégal et au Mali. Enfin, un compte rendu des difficultés vécues pendant la phase pilote aidera à améliorer la procédure d’audit, y compris par des modifications des critères inclus dans l’audit.

INTÉGRER LES CHANGEMENTS INDIQUÉS PAR L’ÉTUDE PILOTE

16Dans cette dernière phase, vous devez intégrer les changements (modifications, ajouts, suppressions) indiqués lors de la phase pilote. Il est conseillé d’utiliser notes et les conseils des auditeurs ou auditrices pour effectuer cette étape. Dans notre expérience, nous avons consacré une demi-journée à discuter avec nos auditrices pour clarifier certaines questions du questionnaire d’audit. Ensuite, les experts externes ont effectué une dernière révision du questionnaire d’audit.

CONCLUSION

17Le développement rigoureux d’un audit clinique basé sur les critères explicites requiert un peu de temps et d’effort ; mais une fois que les outils sont élaborés (questionnaire d’audit et manuel d’utilisation), la phase d’évaluation de la qualité à partir des dossiers cliniques est assez rapide. Pour illustrer cette étape de l’audit clinique, nous présentons en annexe 7a le questionnaire que nous avons élaboré pour évaluer la qualité des soins intra-partum et post-partum immédiat au Sénégal et au Mali. Nous avons évalué la fiabilité de cet outil en comparant les résultats de l’audit entre deux auditrices indépendantes. Nous avons également évalué sa validité en étudiant l’association entre le score de qualité et le risque de mortinaissance. Ces résultats sont disponibles dans l’article de Pirkle et collaborateurs cité ci-dessous. Même si nous avons montré que le questionnaire ainsi élaboré est fiable et valide, celui-ci reste avant tout dépendant du contexte. Un questionnaire qui fonctionne bien dans un contexte ne fonctionnera pas nécessairement bien dans un autre. Nous vous suggérons donc de vous inspirer de cette expérience pour développer vos questionnaires d’audit en tenant compte des particularités de votre propre contexte.