1Afin de mettre l’élection québécoise de 2012 en perspective, il convient de revenir sur la performance des sondages dans les élections et les référendums québécois des dernières années. Au Québec, pendant longtemps, les sondages ont occupé une place médiatique plus importante qu’ailleurs au Canada, sans doute à cause de l’importance des enjeux et de la répartition souvent quasi égalitaire de la population concernant ces enjeux. Cette place a été accompagnée d’un biais systématique plus ou moins important selon les élections, entre autres lors de la campagne électorale de 1998. Des erreurs se sont produites malgré une grande rigueur méthodologique des sondages québécois et des innovations intéressantes comme la répartition non proportionnelle des « indécis », que nous préférons appeler les « discrets », suivant en cela Drouilly (1997).

2Dès 1970, les chercheurs constatent que le Parti libéral du Québec (PLQ) est généralement sous-estimé par les sondages. Dans un article paru dans Le Soleil en 1981, Pinard affirme que :

l’appui au PQ a été généralement surestimé en 1970, en 1976 et lors du référendum de 1980. La raison en est simple : c’est que les électeurs qui refusent de participer à un sondage et que ceux qui refusent de révéler leur intention de vote sont généralement des électeurs qui, par leurs traits sociaux et leurs opinions, sont généralement plus enclins envers les autres partis qu’envers le PQ (Pinard dans Ledermann, 1988 : 36).

3Toutefois, la sous-estimation est plus ou moins importante selon les élections et plusieurs hypothèses sont faites sur les raisons qui expliquent cette situation. Pinard (2005) élabore une explication fondée sur l’ambivalence des Québécois à l’égard de la souveraineté du Québec, ambivalence qui serait à son maximum quand ils sont insatisfaits du gouvernement libéral en place, que le Parti québécois (PQ) apparaît comme une solution de rechange, mais qu’ils ne sont pas nécessairement d’accord avec la position du PQ sur la question nationale. Drouilly (1997) insiste sur le profil sociopolitique des discrets qui ferait que ces derniers sont plus fréquemment des partisans du PLQ.

4On peut également se référer à la théorie de la spirale du silence proposée par Elizabeth Noëlle-Neuman en 1973, théorie résumée ainsi par Glynn, Hayes et Shanahan (1997) : les gens qui estiment que le climat actuel ou prévisible de l’opinion est hostile à leur propre point de vue se taisent pour éviter de se retrouver isolés. Bodor (2012) souligne que la spirale se produit uniquement dans certains contextes et en particulier en présence d’un climat hostile dans l’opinion publique, exacerbé par des aspects moraux caractérisant les opinions comme appartenant à deux camps définis comme « bons » et « mauvais ».

5Ces explications aident à mettre en perspective les raisons pour lesquelles le PLQ, ou le camp du NON dans le cas des référendums, est sous-estimé seulement dans certains contextes. Il est toutefois plus facile de réinterpréter les situations a posteriori que de déterminer a priori, en se basant sur des données validées permettant de caractériser l’état de l’opinion publique, qu’une élection sera ou non susceptible d’entraîner une « spirale du silence » qui contribuerait à la sous-estimation systématique d’un parti par les sondages. Il faudrait pour cela être capable d’élaborer des mesures fiables du niveau d’hostilité du climat de l’opinion envers les divers partis.

Les élections et référendums depuis 1970

6Pinard (2005) montre que, de 1970 à 2003, quatre élections ont donné lieu à une forte sous-estimation de l’appui au PLQ, soit celles de 1970, 1976, 1981 et 1998. Lors des cinq autres élections – 1973, 1985, 1989, 1994 et 2003 – la sous-estimation a été nettement moins forte. Par la suite, lors de l’élection de mars 2007, l’Action démocratique du Québec (ADQ) a été sous-estimée alors que l’élection de décembre 2008 a donné lieu à une légère sous-estimation de l’intention de vote pour le PQ. L’analyse des résultats des élections permet également de noter que, lorsque le PLQ prend le pouvoir de façon majoritaire (1970, 1973, 1985, 1989, 2003, 2008), son vote se distingue de celui du parti le plus proche par cinq à 24 points alors que, à l’exception de l’élection de 1976, lorsque le PQ prend le pouvoir, même de façon majoritaire (1981, 1994, 1998), son vote se situe à moins de trois points de pourcentage de celui du PLQ. Dans les élections où le PQ prend le pouvoir, la répartition des intentions de vote est donc généralement plus égalitaire que lorsque le PLQ prend le pouvoir. Il est possible que cette situation s’accompagne d’un climat de l’opinion publique plus exacerbé. De fait, sauf en 1970, la sous-estimation du PLQ est plus importante lorsque le PQ prend le pouvoir.

7Devant cette situation, la question de la meilleure manière de répartir les discrets s’est posée dès les années 1970 et des hypothèses de répartition ont été faites (Ledermann, 1988). Ce n’est toutefois que lors du référendum de 1995 que semble s’être établie chez les sondeurs et dans l’ensemble des médias la pratique d’une répartition non proportionnelle telle que suggérée par Drouilly (1997), soit 75 % au Non dans ce cas. Cette pratique amenait une prédiction quasi parfaite des résultats.

8L’élection de 1998, première élection postréférendaire, opposant le premier ministre Lucien Bouchard et Jean Charest, devenu chef du PLQ, est « passée à l’histoire » comme une erreur d’estimation des sondages. À cette époque, tous les sondeurs québécois procédaient à une répartition non proportionnelle des discrets, allouant 60 % de ces derniers au PLQ, 30 % au PQ et 10 % à l’ADQ, une répartition basée sur l’écart moyen entre les sondages et les résultats des élections précédentes. Malgré cette répartition, les six sondages publiés durant la dernière semaine de la campagne ont estimé l’intention de vote pour le PQ en moyenne cinq points plus élevée que celle pour le PLQ, alors qu’à l’élection, le parti de Jean Charest, à 44 %, a recueilli un point de plus que celui de Lucien Bouchard. L’erreur moyenne a donc été de six points. Des analyses menées après l’élection par Durand, Blais et Vachon (2001, 2002) ont montré que des mouvements entre les partis avaient bien eu lieu sur le plan individuel : 13 % des répondants au sondage postélectoral avaient déclaré un vote différent de l’intention de vote déclarée pendant la campagne. Toutefois, les mouvements étaient allés dans toutes les directions pour un effet final nul. Les analyses ont montré que des problèmes de couverture de la population – entre autres, le fait que les sondages ne pouvaient joindre les personnes âgées vivant en résidence – et de non réponse pouvaient expliquer l’écart. La recherche montrait que la clientèle électorale du PLQ était moins susceptible d’être jointe par les sondages et d’y collaborer à un point tel que même une attribution des discrets deux fois plus importante au PLQ qu’au PQ ne permettait pas de donner une estimation fiable du vote. Cette conclusion impliquerait toutefois que le PLQ serait toujours sous-estimé par les sondages, à moins que sa clientèle de prédilection ne change, ce qui n’est pas le cas.

9Au cours de l’année 2002, alors que les sondages montraient un engouement pour l’ADQ, ce qui a propulsé ce parti au premier rang dans les intentions de vote, les sondeurs ont pris la décision de cesser toute attribution non proportionnelle des discrets. La campagne électorale de 2003 a finalement opposé le PQ, avec Bernard Landry comme chef, et le PLQ, avec Jean Charest à sa tête. Deux mois avant le début de la campagne, les intentions de vote pour les trois partis étaient à égalité. Au moment du déclenchement de la campagne, toutefois, le PLQ et le PQ avaient devancé l’ADQ et étaient à égalité en tête. C’est seulement au moment du débat à mi-campagne que le PLQ réussira à se différencier du PQ et poursuivra sa montée aux dépens du PQ et de l’ADQ. En attribuant 50 % des discrets au PLQ et 25 % au PQ et à l’ADQ – de façon à refléter la montée de l’ADQ –, on arrive à une prédiction à peu près parfaite des intentions de vote pour les trois partis (Durand, 2003). Le vote sera de 46 % pour le PLQ, 33 % pour le PQ et 18 % pour l’ADQ.

10La campagne électorale de 2007 était considérée comme presque jouée d’avance, le PLQ étant au départ considéré comme le gagnant assuré. Au final, l’ADQ finira deuxième, reléguant le PQ dirigé par André Boisclair au troisième rang, dans une législature où le PLQ formera un gouvernement minoritaire. Les derniers sondages de la campagne ont sous-estimé l’ADQ de cinq points. En répartissant les discrets selon la même formule 50-25-25 qui a été utilisée en 2003, le vote déclaré est sous-estimé significativement pour l’ADQ, faiblement pour le PLQ et surestimé pour le PQ. Nos analyses (Durand, 2007) ont montré que 16 % des répondants au dernier sondage CROP de la campagne déclaraient dans un sondage postélectoral avoir voté pour un parti différent de celui pour lequel ils avaient l’intention de voter. Ces mouvements avaient favorisé le PQ plus que l’ADQ.

11La campagne électorale de 2008 survient 20 mois plus tard. Entretemps, Pauline Marois a remplacé André Boisclair à la direction du PQ. Plus encore qu’en 2007, le résultat de cette élection était considéré comme connu d’avance, ce qui explique sans doute le faible nombre de sondages1. Le PLQ obtiendra 42 % des voix contre 35 % au PQ et 16 % à l’ADQ, cela avec un taux de participation historiquement bas de 57,4 %. CROP et Léger Marketing ont tous deux sous-estimé le vote pour le PQ et surestimé celui du PLQ, une situation exceptionnelle qui peut en partie être attribuée à la faible participation. Celle-ci s’est fait sentir surtout dans les comtés où les jeux étaient faits, habituellement acquis au PLQ (Durand, 2009).

12À l’aube de la campagne électorale de 2012, on était en droit de se demander si la campagne ressemblerait à l’une des campagnes précédentes. Plusieurs indices laissaient penser qu’elle était susceptible de rendre difficile la tâche des sondeurs. En début de campagne, il semblait y avoir consensus sur le fait que, malgré la présence relativement forte de « tiers partis », principalement la Coalition avenir Québec (CAQ) et Québec solidaire (QS), la campagne se caractérisait par l’opposition entre deux « camps » relativement hostiles, en raison, entre autres, du conflit étudiant qui avait polarisé le Québec le printemps précédent. Il s’agissait d’une situation propice, selon Bodor (2012), à une spirale du silence entraînant la sous-estimation du camp « décrié ». Le PLQ avait été fortement malmené dans les médias au cours des mois précédents pour un certain nombre de raisons et il était considéré comme étant en difficulté par la plupart des commentateurs. La CAQ avait réussi à recruter des candidats plus crédibles que ceux de l’ADQ en 2003 et 2007, elle semblait mieux organisée et on peut penser qu’elle présentait une image médiatique plus positive que celle de l’ADQ en 20072. De plus, la CAQ, comme l’ADQ en 2002, avait pris la tête dans les sondages au cours de l’année précédente. Enfin, le PQ avait réussi à refaire l’unité et, confiant, il laissait entendre qu’un gouvernement majoritaire était à sa portée. Tout semblait en place pour une sous-estimation du vote pour le PLQ en ce sens que la crise étudiante du printemps précédent avait cristallisé les positions et que les autres partis paraissaient plus acceptables socialement que le PLQ.

Les sondages de la campagne

13Le tableau 10.1 présente les résultats des quatre derniers sondages3 faits par les trois firmes en présence, soit Léger Marketing, qui utilisait son propre panel Web, CROP, qui employait une méthodologie téléphonique classique et Forum Research, qui privilégiait le mode téléphonique automatisé. Trois méthodologies différentes ont été utilisées, ce qui est une première dans l’histoire des sondages au Québec.

14La stabilité générale des estimations et la concordance entre les estimations des firmes, à quelques exceptions près, est frappante. Pour le PLQ, Léger Marketing, CROP et Forum ne sont jamais à plus de trois points d’écart et les estimations varient entre 26 % et 31 %, à l’exception du sondage Forum de la troisième semaine qui situe le PLQ à 35 %. Pour ce qui est du PQ, on note trois estimations similaires à 33 % pour Léger dans les trois dernières semaines et une variation entre 32 % et 34 % pour CROP. Les estimations de Forum sont plus variables, allant de 29 % à 36 %. Enfin, pour ce qui est de la CAQ, CROP estime qu’il y a eu une hausse des intentions de vote pour ce parti en début de campagne, ce qui n’est pas validé par les autres firmes. Toutefois, les estimations de CROP ne se distinguent significativement de celles de Léger que pour la deuxième semaine. La prédiction du vote au moyen d’une analyse de régression de l’ensemble de ces sondages donnait 33,3 % au PQ, 27,6 % à la CAQ et 27,1 % au PLQ4. Comme les résultats de l’élection sont de 31,9 % pour le PQ, 31,2 % pour le PLQ et 27,1 % pour la CAQ, seule l’estimation du vote du PLQ est significativement en dehors de la marge d’erreur avec une sous-estimation de 3,6 points de pourcentage.

TABLEAU 10.1. Estimation des intentions de vote pendant la campagne, par firme de sondage (en pourcentage)

15Comme on l’a vu pour les élections précédentes, cette situation peut s’expliquer par le vote des discrets. Par souci de cohérence, nous avons réparti les discrets de la même manière dont nous l’avions fait lors des élections de 2003 et 2007, soit 50 % au PLQ, 25 % au PQ et 25 % à la CAQ5 (Durand, 2003, 2007). Aucun discret n’était attribué aux autres partis, soit QS, Option nationale (ON) et le Parti vert du Québec (PVQ), puisque ces partis sont généralement surreprésentés dans les sondages. Ces hypothèses donnent des estimations de l’intention de vote qui s’éloignent de celles qui sont publiées et cela, surtout pour les sondages dont les taux de discrets sont plus élevés. Or, ces taux sont très variables. Ils vont de 6 % en début de campagne à moins de 3 % à la fin pour les sondages automatisés de Forum. Ils se situent entre 8 % et 11 % dans les sondages par panel Web faits par Léger Marketing, à l’exception du sondage de la première semaine d’août (16 %). Pour ce qui est des sondages téléphoniques classiques faits par CROP, les taux de discrets se sont situés autour de 18 %, sauf pour le premier sondage où le taux était de 11 %. Ces taux élevés dans les sondages téléphoniques avec interviewers tendraient à valider la présence d’une spirale du silence.

GRAPHIQUE 10.1. Évolution des intentions de vote pendant la campagne de 2012, répartition non proportionnelle des discrets (50 % PLQ, 25 % PQ, 25 % CAQ)

16Le graphique 10.1 montre l’évolution estimée des intentions de vote au moyen d’une analyse de régression linéaire avec le temps comme variable indépendante, en utilisant la répartition non proportionnelle des discrets. La prédiction du vote est assez juste pour le PQ (32,5 %) et pour la CAQ (27,2 %), mais légèrement sous-estimée pour le PLQ (28,9 % comparativement à un vote de 31,2 %). La répartition proposée permet donc de compenser assez bien tous les facteurs qui ont pu entraîner une sous-estimation de l’intention de vote pour le PLQ. Les sondages de l’élection de 2012 se révèlent donc meilleurs que ceux de 1998, qui sous-estimaient de six points le vote du PLQ, malgré une attribution de 60 % des discrets à ce parti.

17Nous avons également émis l’hypothèse que la sous-estimation du PLQ soit liée à une mauvaise estimation du vote des non-francophones. Ces analyses ont montré que la variation dans la proportion de non francophones expliquait une partie non négligeable de la variation des estimations de Forum et que la mauvaise estimation de leur vote par Léger et CROP expliquait en partie la sous-estimation du PLQ par ces firmes6. Toutefois, la répartition non proportionnelle des discrets permet de corriger en majeure partie cette sous-estimation.

Que s’est-il passé ?

18Il reste une hypothèse que l’on ne peut négliger, soit celle d’un mouvement de dernière minute favorable aux libéraux. Elle est peu plausible, étant donnée la forte stabilité des intentions de vote pendant la campagne, mais elle ne peut pas être écartée du revers de la main sans être vérifiée. Pour ce faire, nous avons demandé à CROP de rappeler les répondants à son troisième sondage réalisé du 12 au 14 août. Le sondage, très court, demandait aux répondants s’ils étaient allés voter, s’ils étaient indécis durant la semaine précédant leur vote7, pour qui ils avaient voté et si les sondages avaient rendu leur décision plus facile ou plus difficile à prendre8. Sur les 1000 répondants du sondage préélectoral, 844 ont répondu au sondage postélectoral. Les résultats, après repondération de ces répondants pour refléter la population, sont présentés au tableau 10.2.

19Plus de 15 % des répondants refusent de révéler leur vote alors que, dans les études précédentes réalisées avec la même méthodologie, cette proportion variait entre 8 % (Durand, Blais et Vachon, 2001, 2002) et 11 % (Durand, 2007). Il peut s’agir d’un indice supplémentaire de la présence d’une spirale du silence. Si on utilise la répartition proportionnelle des discrets9, le PQ passe de 30,8 % d’intentions de vote à un vote déclaré de 36,3 %10. En utilisant la répartition non proportionnelle des discrets (50, 25, 25), il passe de 29,9 % à 34,3 %. Concurremment, la CAQ passe de 29,7 % à 24,4 %11 (répartition proportionnelle) ou de 29,0 % à 24,5 % (répartition non proportionnelle). La part de vote du PLQ demeure pratiquement inchangée.

TABLEAU 10. 2. Intentions de vote, résultat électoral et votes déclarés, avant et après répartitions proportionnelle et non proportionnelle des discrets (en pourcentage)

20Deux interprétations sont possibles. Il peut y avoir eu un mouvement de la CAQ vers le PQ dans les derniers jours de la campagne. Cette hypothèse est congruente aux résultats du dernier sondage de Forum Research mené la veille de la campagne, de même qu’aux résultats du sondage postélectoral que Richard Nadeau et Éric Bélanger présentent au chapitre 12. Ce mouvement pourrait relever d’une réponse à l’appel fait par le PQ dans les derniers jours de la campagne visant à encourager la population à lui donner un mandat majoritaire. De plus, la même situation s’était produite en 2007. En outre, en fin de campagne, il devenait évident pour l’électeur informé que la CAQ ne pouvait pas former le gouvernement, ce qui a pu encourager un vote « utile » de ceux qui s’opposaient au PLQ. L’autre explication est celle d’un effet de désirabilité sociale chez les électeurs proches du PQ : certains auraient voté pour la CAQ, mais ne seraient pas à l’aise avec leur choix et déclareraient un vote plus conforme à leur tendance partisane. Il demeure que le vote pour le PLQ est sous-estimé quand on utilise une répartition proportionnelle, mais parfaitement estimé lorsque l’on utilise une répartition non proportionnelle. Par contre, quelle que soit la répartition des discrets utilisée, le vote pour le PQ est surestimé par rapport aux résultats de l’élection et celui pour la CAQ, sous-estimé. Une conclusion s’impose : s’il y a eu mouvement en fin de campagne, cela signifie que le PQ était légèrement derrière le PLQ pendant la campagne, à égalité avec la CAQ.

21Les matrices de transfert de vote présentées au tableau 10.3 nous en apprennent plus sur les mouvements entre les partis, ainsi que sur le comportement des discrets. La matrice A indique le vote déclaré en fonction de l’intention de vote exprimée. Le PQ est celui qui conserve le mieux ses intentions de vote, puisque près de 80 % de ceux qui déclaraient avoir l’intention de voter pour ce parti déclarent être allés voter pour lui. La CAQ ne conserve que 61 % des intentions de vote préélectorales et semble avoir perdu presque également au PQ (6,4 %) et au PLQ (4,9 %). QS a perdu une intention de vote sur cinq au profit du PQ. Enfin, près des deux tiers des discrets du sondage préélectoral révèlent leur comportement. Ils sont nettement plus nombreux à déclarer ne pas être allé voter (26 %) ou avoir voté pour le PLQ (17,6 %), plutôt que pour le PQ (8,2 %) ou la CAQ (5,2 %).

22Si on regarde les transferts dans l’autre direction (matrice B), soit d’où provient le vote pour les divers partis, on note que le PQ a gagné surtout des intentions de vote pour la CAQ et pour Québec solidaire, alors que la CAQ n’a gagné qu’un peu des intentions de vote pour PLQ. Quant au PLQ, il tire ses gains de la CAQ et... des discrets (14 % du vote déclaré pour le PLQ).

TABLEAU 10.3. Matrices de transfert de vote (intentions de vote et votes déclarés, en pourcentage)

A. Vers où sont allées les intentions de vote ?

B. D’où viennent les votes déclarés ?

***

23L’objectif des sondeurs et des analystes est de savoir si et quand une campagne électorale est susceptible de donner lieu à une prédiction inadéquate du vote par les sondages. Que ce soit dû à une hypothétique spirale du silence, à l’ambivalence des Québécois ou à une autre raison, dans certaines circonstances, les sondages sont biaisés. Cela peut être associé à des comportements des électeurs, comme de ne pas répondre à la question d’intention de vote, de donner une réponse erronée ou carrément de refuser de répondre aux sondages. À cela s’ajoute l’impact du profil sociodémographique des partisans de chaque parti qui peut être associé à des problèmes de couverture plus ou moins importants.

24Si on se fie à l’historique des sondages au Québec, cette élection était fortement prédisposée à une mauvaise estimation des sondages, puisque les problèmes d’estimation surviennent plus fréquemment quand le PQ prend le pouvoir, ne serait-ce que parce que, dans ce contexte, l’écart entre le vote pour le PQ et pour le PLQ a habituellement été très mince et que le climat de l’opinion est exacerbé. De plus, la marge d’erreur est alors à son maximum. Dans ces circonstances, la préoccupation du démocrate est que les sondages puissent influencer le vote, ce qui pervertirait d’une certaine manière la démocratie. Dans le sondage CROP réalisé durant la troisième semaine de la campagne, 60 % des répondants affirmaient avoir lu ou entendu des résultats de sondage. De plus, 24 % déclaraient se fier assez ou beaucoup aux sondages pour savoir qui gagnerait l’élection et 37 %, un peu. Les sondages ont donc une certaine notoriété et sont considérés comme minimalement crédibles par une majorité d’électeurs. Dans le sondage postélectoral, 27 % des répondants ont affirmé que leur comportement avait été influencé par les sondages, soit en rendant leur décision plus difficile (9 %) à prendre, soit en la rendant plus facile (18 %).

25Les résultats présentés amènent à se questionner sur les moyens qui doivent être utilisés pour s’assurer de transmettre à la population des résultats de sondage fiables. Il faut d’abord tenter d’améliorer la méthodologie des sondages. On pourrait sans doute réduire la proportion de discrets ou mieux estimer leur vote en plaçant la question sur l’intention de vote plus loin dans le questionnaire. On pourrait également prendre en compte les caractéristiques des discrets, en utilisant, par exemple, des méthodes d’imputation des valeurs manquantes. On pourra sans doute affiner l’estimation en améliorant la couverture et les échantillons, par exemple, en incluant les numéros de cellulaires dans les sondages téléphoniques et en mettant en place des outils pour tirer des échantillons probabilistes pour les panels Internet. Enfin, les analyses ont révélé un problème dans l’estimation du vote des non-francophones. Il s’agit d’une question dont on ne s’est pas préoccupé précédemment en partie parce que la concentration géographique des non-francophones et leur impact limité sur les résultats dans les comtés pivots rendaient la question accessoire pour prédire le nombre de comtés remportés par chaque parti. Toutefois, comme ils atteignent maintenant 20 % de la population et que leur dispersion géographique est de plus en plus prononcée, il faudra commencer à se préoccuper de bien estimer ce vote et son évolution.

26Enfin, les médias ont un rôle extrêmement important à jouer dans la transmission des résultats des sondages et leur mise en contexte. Or, il apparaît évident que la plupart des journalistes n’ont pas une appréciation appropriée de la signification de la marge d’erreur. De plus, les médias qui, à une certaine époque, donnaient l’information à la fois sur les intentions de vote avant répartition, après répartition proportionnelle et après répartition non proportionnelle des discrets, ont abandonné cette pratique. En ne donnant qu’un chiffre, on amplifie l’impression que les sondages donnent des prédictions exactes qu’il n’est pas nécessaire d’analyser et d’interpréter plus avant, induisant ainsi le public en erreur.