סקרי בחירות, בעיות בסטטיסטיקה והצעה לפתרונן

הסטטיסטיקן הראשי ונשיא האגודה הישראלית לסטטיסטיקה דנים בתפקידם של סקרי בחירות בחברה שלנו, הסיבות האמתיות לפערים בין תחזיות הסקרים ותוצאות האמת, וגם להעלות הצעה לפתרון הבעיות שגרמו לשגיאות בתחזיות ששודרו בטלוויזיה.

פרופ’ דני פפרמן ופרופ’ דוד שטיינברג

אין ספק שיום הבחירות לא ייזכר כשעתו הגדולה של מדע הסטטיסטיקה. קמפיין הבחירות של החודשים האחרונים התאפיין בסקרים רבים שהתפרסמו בעיתונים והוצגו בכלי התקשורת. בליל הבחירות, הציגו הסוקרים לאומה את התחזיות שלהם, שהתבססו על מדגם קטן מכלל הקלפיות. השנה היו פערים לא קטנים בין תוצאות הבחירות לבין תוצאות הסקרים האחרונים שפורסמו, וגם ובעיקר, בין התחזיות ממדגם הקלפיות בשעה 22:00 בלילה ותוצאות האמת.

הגיעו הדברים לידי כך שבסקרים שעורכת הלשכה המרכזית לסטטיסטיקה (למ”ס) הידועים במהימנותם, ניכרת בשבוע האחרון ירידה בשיעור המשיבים כאשר חלק מהנדגמים לא הססו ללגלג על יכולת הסקרים לספק אומדנים מדויקים של התופעות הנחקרות. ברצוננו לדון כאן בתפקיד של סקרי בחירות בחברה שלנו, הסיבות האמתיות לפערים בין תחזיות הסקרים ותוצאות האמת, וגם להעלות הצעה לפתרון הבעיות שגרמו לשגיאות בתחזיות ששודרו בטלוויזיה.

ראשית דבר, חשוב להבין מה המטרה של סקר. סקרים מתבצעים כדי לקבל תמונת מצב של החברה בנקודת זמן נתונה. תמונה זו יכולה לשקף דעות פוליטיות (כדוגמה הסקרים לקראת הבחירות), נושאים חברתיים וכלכליים, נושאים של איכות סביבה וכדומה. חברה מסחרית המתלבטת אם כדאי להשיק מוצר חדש יכולה לאסוף מידע חשוב על ידי ביצוע סקר שיבדוק עד כמה המוצר אטרקטיבי לצרכנים. עיריות מבצעות סקרים לקביעת סדר עדיפויות בין פרויקטים שונים, המתחשב ברצון התושבים. סקרים ממלאים תפקיד חשוב ביותר למנהל ולמדיניות ממשלתית. הלמ”ס מבצעת סקרים רבים ומגוונים לפי חוק, על מנת לאפשר את ניהול המדינה תוך התבססות על מידע מוצק. אחד מאותם מוסדות מדינה המשתמש באופן קבוע בתוצאות סקרי הלמ”ס לקביעת מדיניות הוא בנק ישראל, שגם מבצע סקרים משל עצמו.

האם סקרים מסוגלים לתת צילום מצב מהימן?

אנו משוכנעים שהתשובה חיובית, כל עוד הסקרים מתבצעים ומנותחים כראוי. מדע הסטטיסטיקה מפותח דיו על מנת לדגום ולחשב אומדנים מדויקים תוך התמודדות עם בעיות כמו חוסר השבה, טעויות השבה, מדגמים קטנים ועוד. חשוב גם להדגיש שיחד עם חישוב האומדנים, מחושבים גם מדדים למידת דיוקם. יחד עם זאת, חשוב להצביע על מספר היבטים הנחוצים, לדעתנו, על מנת לקרוא בחכמה את תוצאות הסקרים ולהבין את מוגבלויותיהם. בביצוע הסקרים יש צורך להקפיד על כללים סטטיסטים ידועים לבחירה מקרית של המשתתפים בסקר. כללים אלו דואגים שהמדגם לא יהיה “מוטה”, עם ייצוג לא שווה של קבוצות שונות באוכלוסייה. אם נוצרת הטיה עקב חוסר השבה, יש שיטות סטטיסטיות ידועות לתיקון האומדנים תוך שימוש במידע נוסף. למשל, אם משתתפי הסקר כללו פחות גברים מאשר חלקם באוכלוסייה, ניתן “לנפח” את המשקל של הגברים שנסקרו. בנוסף, בחירה מקרית של המשתתפים מאפשרת לכמת את גודל הטעות האפשרית של הסקר.

איך אפשר להסביר את הפערים בין הסקרים שלפני יום הבחירות לבין תוצאות הבחירות?

• כאמור, סקרים מצלמים מצב ביום נתון. סקר שהתבצע שבוע לפני הבחירות אינו מתיימר “לנבא” את תוצאות הבחירות, אלא לשקף את הלך הרוח בציבור אילו נערכו הבחירות ביום שבו בוצע הסקר.
• יתרה מכך, כפי שנידון בהרחבה רבה בספרות המדעית, תוצאות הסקרים משפיעות לא אחת על תוצאות הבחירות, כאשר בוחרים מחליטים למי להצביע בהתאם לתוצאות הסקרים. למעשה, בעידן המודרני לא תמיד ברור האם הסקרים מנבאים את תוצאות הבחירות, או שתוצאות הבחירות מושפעות מתחזיות הסקרים. כך למשל, בבחירות 2015, חלק ניכר של תוספת ההצבעה לליכוד בא על חשבון הבית היהודי, ככל הנראה בתגובה לסקרים האחרונים בהם התגלה יתרון למחנה הציוני על פני הליכוד. הסקרים שלפני הבחירות לא הצליחו לבטא שינויים אלו במידה מספקת, בעיקר בגלל שהשינויים התרחשו בתקופה מאוד קצרה בין הסקרים האחרונים לבין הבחירות.
• חשוב גם לזכור שלכל סקר יש מידה לא מעטה של אי-ודאות. רוב סקרי הבחירות בנויים ממדגם של כ-500 משיבים. מדגם בגודל כזה מספיק על מנת לתת תמונה מספיק אמינה של המנדטים הצפויים לכל מפלגה, אך עם טעות של כ-3-2 מנדטים.
אנו חוזרים ומתריעים – סקר בחירות אמור לשקף את המצב ביום הסקר, ולא ביום הבחירות. אין לצפות מסקרים הנערכים לפני יום הבחירות לנבא נכון את תוצאות הבחירות, בפרט אם חלים שינויים בדפוסי ההצבעה ביום הבחירות עצמו, כפי שהתרחשו בבחירות האחרונות.

ומה לגבי התחזיות של ליל הבחירות?
לכאורה, כל המגבלות שצוינו לעיל לגבי סקרים הנערכים לפני הבחירות אמורות להיעלם, חוץ אולי מגודל המדגם, שכן סקרי הטלוויזיה נערכים ביום הבחירות עצמו. ואמנם, התחזיות היו מדויקות דיין בחיזוי התוצאות של המפלגות הקטנות, אך כשלו בחיזוי חלוקת המנדטים בין שתי המפלגות הגדולות, כאשר גודל וכיוון הטעויות לגבי שתי מפלגות אלו נשא השלכות פוליטיות משמעותיות ביותר. יחד עם זאת, חשוב לזכור שהתחזיות ממדגמי הטלוויזיה נשענות על מספר מרכיבים חיוניים: בחירה נבונה של קלפיות המדגם, מודל סטטיסטי חכם המסוגל להשתמש בתוצאות המדגם לתחזית כלל ארצית, יכולת לאבחן מגמות לאורך שעות היום (וזאת כדי לפצות על כך שההצבעה ממשיכה עד השעה 22:00 אך המדגם חייב להיסגר בסביבות השעה 20:00 ובכך לאפשר את חישוב התחזית עד השעה 22:00), ואולי חשוב מכל, שיתוף פעולה של הציבור הנסקר במדגם הקלפיות. שיתוף הפעולה מתבטא בשני היבטים. הסכמה להשתתף במדגם הטלוויזיה, והצבעה זהה במדגם הטלוויזיה ובהצבעת האמת.

מהן החוליות החלשות בשרשרת זו?
ניתוחים של הסוקרים לאחר יום הבחירות הראו שהמדגמים והמודלים בהם השתמשו נתנו תחזיות מאוד מדויקות כאשר הם התבססו על תוצאות האמת מקלפיות המדגם ולא על ההצבעה הנפרדת בקלפיות הטלוויזיה.
ניתן להסיק לכן כי הטעות באומדן מספר המנדטים של שתי המפלגות הגדולות נבעה משתי הבעיות האחרונות:
• שינויים באופן ההצבעה בשתי השעות האחרונות
• חוסר שיתוף פעולה מספק מצד הנדגמים. הסוקרים דיווחו על היקפי סירוב גבוהים בבחירות האחרונות בהשוואה לשנים קודמות. חוסר שיתוף פעולה יכול להטות את המדגם ואת תוצאות התחזית. בניגוד לסקרים הרגילים, בהם נאסף מידע צולב מהנסקרים וממקורות מנהליים כדי לבחון ולתקן הטיות כאלו, אין מידע זמין ביום הבחירות המאפשר לבצע תיקונים כאלו.

כיצד ניתן להתמודד עם בעיות אלו?
לצערנו, אין סיבה לחשוב שמידת שיתוף הפעולה עם מדגמי הטלוויזיה תשתפר. גם דפוס הצבעה שונה בשעות האחרונות להצבעה יכול לחזור על עצמו, כאשר מצד שני, קשה להסיק מבחירות בשנה מסוימת לבחירות בשנה אחרת. חשוב לציין בהקשר זה שאין מידע מספיק לגבי פרופיל המצביעים בשעות השונות, אם כי מידע כזה ניתן לאסוף ולנתח. כמו כן, איסוף מידע צולב אינו אפשרי בלחץ של יום בחירות. לכן, המשך קיום מדגמי הקלפיות במתכונת הנוכחית עלול לגרום לתרחיש חוזר של שוני משמעותי בין התחזיות לבין תוצאות האמת.

לדעתנו, יש דרך ברורה ואפילו פשוטה כדי להגיע לתחזיות מדויקות ביום הבחירות – לבסס אותן על תוצאות האמת במדגם הקלפיות, ולא על הצבעה נפרדת מאותן קלפיות שעורכים אמצעי התקשורת. בדרך זו יהיה “שיתוף פעולה” מלא של המשתתפים בסקר, והוא ישקף את ההצבעה בכל שעות היום, כולל בשעתיים האחרונות. על מנת להתבסס על תוצאות אמת, יהיה צורך לספור במהירות את הקולות בקלפיות שנבחרו כקלפיות מדגם, ולשם כך יהיה צורך בתגבור צוותי הספירה הרשמיים באותן קלפיות מועטות (כ-60 קלפיות במתכונת העכשווית), על מנת לזרז את הספירה. לחלופין, ניתן לדגום מתוך קלפיות האמת, למשל, לספור כל פתק רביעי, אך ייתכן שהדגימה רק תסרבל את תהליך הספירה. תגבור משמעותי של צוותי הספירה כרוך בעלות זניחה בהשוואה לעלות המדגמים הנוכחיים. המחיר שייגבה מהציבור הוא שנהיה חייבים לחכות שעה נוספת לקבלת התחזיות. לדעתנו, שעה של איחור היא מחיר ראוי לתחזית אמינה. אנו פונים לאמצעי התקשורת לאמץ את הצעתנו, לדאוג לספירה מהירה בקלפיות המדגם תוך תגבור צוות הסופרים, ולחדול מלפרסם תחזיות המתבססות על תוצאות מדגמיות של הנדגמים בסקרי הטלוויזיה.

הערות הלשכה המרכזית לסטטיסטיקה
במאמר זה ניתנה חוות דעת מקצועית של אנשי מקצוע. ללמ”ס אין קשר לסקרי הבחירות ולניתוח תוצאות המדגם.
פרופ’ דני פפרמן הסטטיסטיקן הממשלתי, הלשכה המרכזית לסטטיסטיקה והאוניברסיטה העברית, ופרופ’ דוד שטיינברג נשיא האיגוד הישראלי לסטטיסטיקה ואוניברסיטת תל אביב