Den slutgiltiga prognosen

Partierna

partypredfinal

Blocken

blockpred

Utveckling av partistöd

partytrend

Publicerat i Alliansen | Märkt , , , , , , , , , , , , | 4 kommentarer

Utvärdering – hur gick det?

Efter fyra månaders intensiva prognosförsök står vi nu här med facit i hand. Så hur gick det?

Prognoser är sällan antingen helt rätt eller helt fel. Att utvärdera resultatet är därför till viss del en subjektiv bedömning. Totalt sett är dock min uppfattning att även om flera delar av prognosen gick bra är resultatet som helhet sämre än jag hade hoppats på.

Men låt oss börja med de goda nyheterna. Inför valet ställde jag fyra övergripande frågor, nämligen:

  1. Vilket block blir störst?
  2. Åker något parti ut?
  3. Kommer F! in?
  4. Blir SD vågmästare?

Svaren jag gav var: Vänstersidan, Nej, Nej och Ja, och alla dessa prognoser visade sig stämma. Prognosen lyckades också bättra än en enkel sammanvägning av data från de olika opinionsinstituten. Så sett ur den synvinkeln hjälpte modellen oss att få ut så mycket information som möjligt från opinionssiffrorna som fanns tillgängliga.

Men där slutar de goda nyheterna. Prognosen var den här gången klart sämre än 2006 och 2010. Och som vi kan se i grafen nedan lyckades också två enskilda institut, Novus och United Minds, bättre än min modell i sina sista mätningar inför valet. De grå staplarna längst till höger visar den totala skillnaden mellan skattningen och det slutgiltiga valresultatet. pollavvikelse

Det var framförallt två partier som beredde instituten problem: SD och MP. SD fick ungefär 3% mer än planerat medan MP fick 2% mindre. Problemen med att mäta SD är välbekanta och har diskuterats här tidigare. MP fick dock ett slutgiltigt resultat som var lägre än de uppmätta stödet i någon mätning under hela 2014! Som BottenAda noterade, MP:s lägsta resultat under 2014 var 6.9% i en YouGov mätning i maj. Annars har partiet generellt legat på mellan 9 och 11% i mätningarna, alltså ungefär 50% mer än valresultatet. FP fick bara sitt valresultat eller lägre i 2 av de 38 mätningar som utfördes från juli och framåt. Annars har partier generellt legat 1.5% över det faktiska resultatet. Opinionssiffrorna har helt enkelt inte varit pålitliga. Och dessutom sämre än både 2006 och 2010.

Som en avslutande sammanfattning är här två grafer som jämför min slutgiltiga prognos med det faktiska resultatet. Om vi först tittar på partinivå ser vi att prognosen hade störst avvikelse för SD, MP och FP, medan den var ganska nära för S, C, och F!. Medelfelet på 0.95 var ungefär dubbelt så högt som 2010, där det uppgick till 0.49.

partyresvsprogPå blocknivå var felet något mindre, åtminstone i procentuella termer, men på grund av den klara överskattningen av MP var prognosen ändå längre ifrån jag hade hoppats.

blockpredvsresultSå sammantaget kan man säga att resultatet är blandat. De stora frågorna om regeringsmakten och partiers in och utträde ur riksdagen kunde besvaras. Och jag har inte sett någon alternativ prognosteknik (regressionanalys, vanlig opinionssammanvägning, etc) som lyckades bättre än DLM-modellen. Trots detta var utgången nedslående, eftersom medelvärdesprognoserna var så pass långt ifrån det faktiska resultatet, och klart längre ifrån än tidigare val. För att lyckas bättre 2018 behöver vi både finjustera modellen och få in bättre opinionsdata.

Att driva den här bloggen har varit kul. Och gett mig skäl att göra något annat än bara titta på golf på söndagar. Hoppas att ni också fick ut något av det.

 

Extra kommentarer för prognosnördar om hur modellen kan förbättras

Nu med resultatet i hand finns det en del saker att ta fasta på inför nästa valrörelse för att förbättra prognosen. Jag leker med en del olika idéer nu som antagligen kommer att tillämpas i någon form i framtida modeller.

Det första är att lägga in en cyklisk term som tar hänsyn till hur partierna brukar utvecklas veckorna innan valet. Småpartierna brukar gå framåt, MP brukar gå bakåt, SD brukar gå klart framåt. Ekonomer lägger in sådana cykliska termer i sina modeller över ekonomins utveckling eftersom en del säsongsbetonade effekter (nedgång under sommaren, uppgång vid jul) är förutsägbara. Sådant borde inkluderas här också för att göra prognosen bättre även sex månader innan valet.

SD:s stöd verkar vara lättare att mäta vid internetundersökningar än via telefon- eller face-to-face-intervjuer. Internetresultaten för SD borde få större tyngd än de siffror som har kommit fram genom alternativa metoder.

DLM-modellen är flexibel och kan utöver opinionsdata också inkludera regressionstermer. Därför kan man plocka in även ekonomiska variabler, väljarnas ranking över de viktigaste frågorna, söktermer på internet och annat som kan ge en fingervisning om vartåt det barkar. Att inkludera förklarande faktorer på det sättet i modellen borde ge både ökad precision och bättre möjlighet att komma med rimliga prognoser i god tid innan valet.

Publicerat i Alliansen | Märkt , , , , , , , , , , , , , , , | 1 kommentar

Vad är sannolikheten att…

Så här på valdagen kan det vara bra att summera hur sannolikheten ser ut för några av de mest spännande frågorna, såsom:

  1. Vilket block blir störst?
  2. Åker något parti ut?
  3. Kommer F! in?
  4. Blir SD vågmästare (eller: får något block egen majoritet)?

Svaret på den första frågan kan man se i min standardprognos för blocken: de rödgröna har fortfarande 95% chans att bli största block. För ungefär en vecka sedan tog Alliansen in ca 5 procentenheter av vänstersidans försprång,  men efter det verkar opinionsläget ha stabiliserat sig. De rödgröna ser ut att gå mot en seger med ungefär 5.5%.

blockpred

Både Centern och KD har gjort starka mätningar de senaste veckorna. Dessutom är det sällsynt i svenska val att ett parti åker ut riksdagen efter att det har legat klart över spärren i mätningarna. Snarare brukar småpartier gå framåt i valet. Sannolikheten att någon åker ut är därför låg. Fi har tagit in några tiondels procent de senaste veckorna men ser fortfarande ut att missa spärren.

CKDFII dagsläget bedömer jag sannolikheten att Fi kommer in till 13%. Både C och KD har mer än 95% chans att komma in.

Slutligen, blir SD vågmästare? Detta är ju samma fråga som frågan om något block får egen majoritet, och i dagsläget är det osannolikt att de största blocket, de rödgröna, når upp till de nödvändiga 50 procenten.

leftmajorityVänstersidans mest sannolika resultat i dagsläget är 45.7%. Men detta resultat måste räknas om efter valet beroende på hur det har gått för de andra partierna – framförallt om Fi har kommit in eller inte (exakt hur detta görs kan ni se i koden till dagens inlägg). Efter omräkningen är det mest sannolika resultatet 47.8%, och då är det fortfarande bara en 4% chans att de får egen majoritet. Följaktligen är det mer än 95% chans att SD blir vågmästare.

Så SD har goda chanser att få en stark ställning efter valet. Samtidigt handlar SD:s vågmästarställning lika mycket om politik efter valet som det faktiska valresultatet. Om något borgerligt parti byter block, om viktiga överenskommelser görs över blockgränserna, eller om Fi tar sin 13 procentiga chans och kommer in, så undermineras SD:s vågmästarroll.

Mina fyra korta svar på frågorna ovan blir därför:

  1. De röd-gröna blir störst. Antagligen runt 5-6% större.
  2. Inget parti åker ut (>95% sannolikhet)
  3.  F! kommer med ca 90% sannolikhet inte in
  4. SD har mer än 95% chans att bli vågmästare

Med dessa halv-kvalificerade gissningar tackar jag för den här valrörelsen. Imorgon börjar analysen av vad som gick fel.

Publicerat i Alliansen | 3 kommentarer

Är vissa institut mer opålitliga? Och är vissa partier svårare att mäta? Version II

I maj gjorde jag en första analys av hur det går för de olika opinionsinstituten och av den relaterade frågan om vissa partier är svårare att mäta. Nu i valspurtens slutskede när mätningarna avlöser varandra kan det vara läge att titta på frågan igen med alla de senaste siffrorna. Tekniskt sett vet vi inte hur väl instituten lyckas innan valresultatet är i hamn. Men det kan ändå vara intressant att undersöka om enskilda institut eller partier utmärker sig.

Låt oss börja med frågan om partierna. I grafen nedan har jag plottat min modells uppskattning för det ”sanna” stödet för varje parti vid en viss tidpunkt och mätningarna från varje institut. Ett parti som är svårt att mäta har stor spridning mellan de högsta och minsta uppskattningarna och därmed många mätpunkter som ligger långt ifrån den svarta linjen.

partifacet

Det verkar finnas en tydlig konsensus kring en del partier. S, M och C, exempelvis, uppvisar opinionsresultat som generellt ligger samlade runt linjen och det är ovanligt med mätningar som ligger utanför konfidensintervallet. SD, MP och V uppvisar mycket större variation. SD får ofta mätningar på mellan 8 och 13.5% inom samma vecka(!) och även V och MP har ibland så pass stor spridning att det är svårt att veta i vilken riktning trenden går.

En annan fråga är om det finns institut som ovanligt ofta avviker från vad vi tror att det riktiga stödet för partierna är. Om vi först tittar på de sex mindre partierna kan vi (i den något plottriga grafen) se att ett par institut utmärker sig. Alla institut kan ha märkvärdiga resultat för ett enskilt parti i en enskild mätning – problem blir det först när man konsekvent i mätning efter mätning uppmäter statistiskt osannolika resultat för ett parti. Sentio är ett exempel på detta. De ger konsekvent väldigt höga uppskattningar för SD och väldigt låga för MP. Skop har också flera avvikande resultat medan framförallt Sifo och Novus i stort lyckas undvika systematisk ”bias”. Intressant är också att SCB:s skattningar ligger långt ifrån, även om de har så pass få mättillfällen att det är svårt att avgöra om det finns en trend.

institutsmaller6

Tittar vi på de två största partierna ser vi att det finns mer konsensus än för de sex mindre. Sifo och Novus uppvisar igen tecken på pålitlighet genom att ha mätningar som dels ligger nära linjen och dels skiftar mellan att ligga över och under den. Här ser man också att United Minds uppvisar ovanligt låga resultat för M medan Skop uppvisar ovanligt höga.

institutlarger2

Som vanligt finns all kod till dagens inlägg på Github.

 

Publicerat i Alliansen | Märkt , , , , , , , , , | Lämna en kommentar

6 dagar kvar = slutspurt = omedelbara uppdateringar

 

PartiernapartyprogBlockenblockpredMed sex dagar kvar är det officiellt slutspurt. Den sista veckan kommer jag därför att uppdatera prognosen varje gång en ny opinionsundersökning publiceras. Mindre löpande text, mer grafer. För den som inte orkar vänta på mina uppdateringar finns all min kod på Github.

De stora förändringarna sedan förra prognosen är att MP fortsätter tappa, SD fortsätter gå framåt och KD har gjort en närmast otrolig upphämtning, trots (eller tack vare?) relativt lite uppmärksamhet i valrörelsen. De röd-gröna har dock ett fortsatt stabilt övertag.

partytrend

 

Publicerat i Alliansen | Märkt , , , , , , , , , , , , | Lämna en kommentar

Fortsatt stabilt övertag för vänstersidan

Med bara 9 dagar till valet avlöser de nya mätningarna varandra. Vi har redan fått in fem nya mätningar den här veckan och måndagens prognos kan därför uppdateras för att ta hänsyn till alla de senaste siffrorna.

I stort bekräftar de nya mätningarna mycket som vi har sett tidigare: KD och C ligger stabilt över spärren, MP och SD fortsätter att tampas om tredjeplatsen, och F! har det fortsatt svårt. En uppmärksammad DN/Ipsos-mätning gav F! 4% men resultatet var inom felmarginalen och partiet har inte upprepat bedriften i några andra undersökningar. Prognosen här är därför fortfarande att de missar riksdagsspärren.

partiprogPå blocknivå har väldigt lite förändrats – vänstersidan leder alltjämt med mer än 10 procentenheter. Det är egentligen intressant att högerpartierna inte har tjänat mer på krisen i Ukraina. Om någon hade frågat mig för 2 månader sedan vad som hade kunnat hända för att Alliansen skulle hämta igen sitt underläge hade ett krig i Europa legat högt upp på listan. När omvärlden är osäker är väljarna mindre benägna att vilja ha maktbyte och högerpartier generellt åtnjuter större förtroende i frågor som gäller rikets säkerhet. Trots detta händer ingenting i opinionen och de rödgröna ser fortfarande ut att gå mot en komfortabel seger.

blockprog

Publicerat i Alliansen | Märkt , , , , , , , , , , , | 3 kommentarer

Får de rödgröna egen majoritet? Version II

Sedan förra inlägget om de tre röd-gröna partiernas chanser att uppnå egen majoritet har en del saker hänt som gör det värt att revidera prognosen. S och V har fortsatta tappa något, KD har gått framåt och så har även SD. Alla dessa förändringar bidrar till att det inte är lika sannolikt att de röd-gröna får egen majoritet längre.

Det säkraste sättet för vänstersidan att få egen majoritet är att få mer än 50% av rösterna direkt på valdagen. Detta är fortfarande ett möjligt alternativ, men inte lika sannolikt som tidigare (prognosen i dagsläget är att de får strax under 48%). Men efter valet kommer röster som har lagts på partier som inte kommer in i riksdagen att omfördelas till dem som faktiskt klarade spärren. Om F!, Piratpartiet och andra får en del av rösterna men missar spärren ger detta en boost till de röd-grönas resultat. Samma sak händer om KD inte kommer in.

Sannolikheten att KD kommer in bedöms nu till 88%. Om F!, Piratparitet och de andra inte kommer men totalt får 4% av rösterna omvandlas vänstersidans 47.8% av rösterna till 49.83% av platserna. Så vad är den konditionella sannolikheten för att de röd-gröna får egen majoritet efter valet givet sannolikheten för att KD kommer in? Jo, 49.83 + ”resultatet om KD inte kommer in (51.9)” * ”sannolikheten att KD inte kommer in(0.12)”, vilket blir 49.9%.

leftmajSå efter valet, om dagens prognos står sig, borde de röd-gröna tillsammans få 49.9% av platserna i riksdagen vilket ger en kumulativ sannolikhet (det färgade området) på 49.7% att de får egen majoritet. Med andra ord, en chimpans som singlar slant kan säga lika mycket om vänstersidans chans att få egen majoritet som jag kan i dagsläget.

Som vanligt numera är all kod till dagens inlägg tillgänglig på Github.

 

Publicerat i Alliansen | Märkt , , , , , , , , , , | Lämna en kommentar