23. 7. 2017, 20:50

Hlavní stránka Piráti  Internet  Zahraničí  Kultura  Politika  Monstrproces  Kopírovací monopol  Názory  Kauzy  Věda a technika  Video  HogoFogo  Události  Zprávička  Jednou větou  Komix
Kotrba a metody volebních speciálů: z kritiky fraška?


Volební speciály veřejnoprávních médií budí ve veřejnosti rozruch. Na blogu Aktualne.cz zaujaly rozdíly mezi výsledky výzkumů preferencí či volebních modelů, které používají ve svých pořadech Česká televize (ČT) a Český rozhlas (ČRo) autora M. Škopa. Přinášíme ještě podrobnější rozbor z pohledu odborníka sociologa, člena Pirátů.



13. 9. 2012
M. Škop se daných organizací zeptal na to, jak jsou vlastně výzkumy zadány, odpovědi zatím nejsou.

Tématu, vykopnutého M. Škopem, se chytil i Štěpán Kotrba (ŠK) na blisty.cz.

Kotrbovo pokračování v kritice vedené Škopem je zcela legitmní a podle mě i míří k podstatě věci a to: jsou veřejnoprávní média oprávněná vytvářet politickou realitu (prostor pro vybrané stranické kandidáty ve volebních speciálech) na základě výsledků sociologických výzkumů, když víme, že výsledná skóre jsou zatížena chybami?

Nebudu zde rozvádět celou Kotrbovu anabázi, ale zaměřím se alespoň na návrhy oprav či reformulace bodů či témat v jednom z posledních Kotrbových blogpostů "UPDATE: I manipulovat se musí umět..." na blisty.cz
Kotrba mj. píše:

"Díky zveřejněné metodice ve zprávě z Pardubic jsem se například dozvěděl, že "v každém kraji je dotazován reprezentativní výběrový soubor dospělé populace, a to minimálně o velikosti 1000 respondentů, přičemž každá z výzkumných agentur realizuje minimálně 500 rozhovorů. Respondenti jsou vybíráni na základě kvót na pohlaví, věk, vzdělání, velikosti místa bydliště a okres. Jedná se tedy o kvótní výběr.""

Dále budu pokračovat komentováním Kotrbových "podezření":

ŠK: znamená to, že výběrový soubor na základě kvót na pohlaví, věk, vzdělání, velikosti místa bydliště a okres je jeden (min 1000), který si obě agentury rozdělily, nebo dva samostatné, tvořené dle interních kritérií oběma agenturami zvlášť (2x min 500)? V sociologii více než kde jinde platí, že dvakrát totéž není dvakrát více - čili 2x500 určitě není 1000, ale jen dvakrát 500. Přesnost 1x1000 je samozřejmě o několik procent větší, než u dvou průzkumů po 500 respondentech....

JP:
ne tak zcela ojedinělou praxí ve výzkumech je sdílení kvótních předpisů pro jeden výzkum dvěma či více agenturami. Znamená to, že dvě či více angentur plní sběrem dat jeden předem dohodnutý kvótní předpis. Jedná se tedy o plnění kvót v rámci sdíleného předpisu. Podle publikovaných prezentací jednotlivých šetření v krajích to vypadá, že se skutečně jedná o n=1000 a nikoli o n=500x2. 

Kotrba intuitivně tuší, že by zde mohl být zakopaný pes. Tím psem je systematická chyba, kterou ve srovnání s chybou statistickou moc nelze kvantifikovat. Systematická chyba nevyplývá ze zvolené metody sběru dat.

Ke sdílení kvót a nebo k subkontraktování tazatelské sítě dochází často tehdy, když se výzkum týká např. jenom určité geografické oblasti a kapacity tazatelské sítě dodavatelské agentury nestačí sběr uskutečnit, když je na něj třeba málo času. Což je případ volebních speciálů.
Správně bychom se tedy měli ptát: jestli si obě agentury nějak rozdělily kvóty (např. každá agentura sbírá v jiných VMB - "velikostech místa bydliště" ) či si agentury rozdělily kraj na geografické oblasti a v nich pak plnily kvótní předpis?

Jestli si obě agentury rozdělily kvóty pro velikost místa bydliště (VMB), můžeme si představit, že např. StemMark sbírá dotazníky ve VMB do 4999 obyvatel, SCaC např. VMB od 5000 do 49999 a VMB od 50000 se o terén podělí. Toto je ale jenom hypotéza, protože neznáme třeba smlouvy, které ČT uzavřela s agenturami. Ve smlouvách by měl být přístup ke sběru dat předem popsán.

Otázka na rozdělení kvót či kraje do oblastí směřuje k použitým technikám sběru dat a ke kvalitě tazatelských sítí obou agentur.

a) pokud každá s agentur sbírá jiné kvóty (asi VMB) či oblast, používají pro každé VMB/oblast nějaký rovnoměrný mix dotazovacích technik CAPI a PAPI? Ačkoli se můžou zdát rozdíly v datech sebraných CAPI a PAPI zanedbatelné, je zde jisté riziko systematické chyby, pokud každá VMB či oblast je sbíraná jenom jednou technikou.

b) každá z agentur disponuje svojí tazatelskou sítí. každá z agentur školí svojí tazatelskou síť jinak a jinak mají nastolené standardy pro tazatele, jinak svojí tazatelskou síť řídí. tedy tazatel z jedné agentury provádí svou práci jinak, než tazatel z druhé agentury. tedy, pokud si agentury rozdělily mezi sebe sběr VMB či oblasti, hrozí zde riziko systematické chyby způsobené tazatelskou sítí.

c) a ještě jednu otázku bychom měli oběma agenturám položit: provádějí sběr v krajích nově rekrutovaní brigádníci a nebo stálí tazatelé? je zde další riziko systematické chyby a to v tom, že "profesionální" tazatel je schopný kontaktovat širší spektrum lidí (ví jak oslovit) než nově rekrutovaný brigádník (i když řádně proškolený). a nebo možná naopak: profík předem odhadne typ člověka, kterého lehce "uloví" :)

ŠK: Respondenti jsou vybíráni kým? Agenturami nebo Českou televizí? Nebo všemi třemi subjekty dohromady? ČT ve zprávě tvrdí, že "zpracování dat z předvolebních výzkumů, včetně analýz a přípravy zpráv, bude plně pod kontrolou České televize. K tomu účelu byl vytvořen tým složený ze zástupců všech tří stran (ČT a obou agentur), který má na starost realizaci výzkumu a dohled nad celým výzkumným procesem.

JP: Zde Kotrba neumí rozeznat sběr dat od pořízení, zpracování a analýzy dat. (kousavá: toto se snad učí studenti rozeznávat hned v prním týdnu prvního semestru, pokud se to už nemuseli naučit k přijímačkám:)

a) Respondenty samozřejmě oslovují tazatelé a hledají takové respondenty, kteří odpovídají tazatelskému úkolu. Tazatelský úkol vypadá při kvótním výběru, který je použit při výzkumech pro volební speciály např. takto: 5 lidí VMB do 1999, 5 VMB 2000-4999, 6 žen, 4 muži, 2 18-29 let, 3 30-44 let, 3 45-59 let, 2 60+, 6 se ZŠ nebo vyučených, 3 SŠ, 1 VŠ. Výzkumná zpráva neuvádí, jestli se jednalo o vázané kvóty, tedy se automaticky bere, že šlo o kvóty volné.

b) otázka by měla znít, která ze zainteresovaných stran projektu měla hlavní slovo při stavbě nebo výběru volebního/prediktivního modelu? Kdo osobně rozhodoval za ČT? Popř. jakou měli lidé kontrolující za ČT kvalifikaci?

ŠK: Agentury se neptaly respondentů na účast ve volbách? Kapitola zprávy "DEKLAROVANÁ ÚČAST U VOLEB" obsahuje tento text: "Odhad volební účasti pro Pardubický kraj je 48 % (na základě matematického modelu a minulého volebního chování)." Znamená to, že se nejedná o nyní respondenty deklarovanou (uvedenou, vyhlášenou, prohlášenou) účast - odpověď na otázku "zúčastníte se krajských a senátních voleb?", ale o algoritmizovaný přepočet minulého chování voličů z krajských voleb před čtyřmi lety "per analogiam" ? Deklarovaný není totéž co z prstu vycucaný... Koláčový graf (bez zveřejněné otázky - ačkoliv otázka "Pokud by se volby do zastupitelstva vašeho kraje konaly příští týden, šel(šla) byste Vy osobně volit?" u výsledků z Libereckého kraje zveřejněna byla) ovšem hovoří o něčem jiném: určitě ano 42%, spíše ano 25%. Celkem "ano" 67%... A o stránku dál zpráva tvrdí, že graf zahrnuje pouze respondenty, kteří uvedli, že by se voleb určitě zúčastnili nebo spíše zúčastnili (n=673)... Takže se jich ptali nebo neptali? Tak jak to je?

JP: zde opravdu není jasné, z čeho jsou spočítané preference. jsou výsledkem prediktivního modelu (jehož parametry nejsou známé) a nebo volebního modelu (kerý je popsán v apendixu prezentací)? Ale i v případě prediktivního modelu se rozhodně se nedá mluvit o cucání z prstu, ale o ustáleném postupu analýzy dat, který upřesňuje deklarované hodnoty respondenty. Prediktivní modely můžou skvěle sloužit pro např. pro tvorbu strategií a jsou tak i poutívány. Je třeba ale mít na paměti jejich "virtuální" charakter. Musí se ale k nim vždy přistupovat jako jenom podpůrným prostředkům rozhodování. Zastávám ale názor, že jakákoli matematická predikce by měla být vyřazena v jakékoli roli z tak pro veřejnost citlivých masmediálních relací, jako třeba volební speciály ČT. Pálí mě totiž otázka, jestli chceme být "manipulováni" počitači či ne.

a) Správná otázka by měla znít: jaké všechny proměnné vstupují do prediktivního modelu? Popř. je prediktivní model budován ad-hoc pro volební speciály a nebo je to již ověřený model některé z agentur, který vznikly na základě předchozích výzkumů a srovnávání se realným voličským chováním? Jaký je vztah prediktivního modelu a modelu volebního chování? jsou zveřejněné preference výsledkem volebního nebo prediktivního modelu?

b) otázka na formální podobu prezentací - proč je jenom na jednom slidu uváděný počet případů a popis podsouboru, kterých se daná informace týká? korektní by bylo udávat počty případů na ze, kerých jsou grafy na všech slidech.

ŠK: Jaká je statistická chyba jedné každé otázky, jestliže "n" není rovno celkovému počtu respondentů (1000 nebo 2x500), ale jen jeho části?

JP:
a) ano, ČT či agentury by mohly vydat pomůcky pro odhadování statistické chyby. Sám takovou v práci používám. Takové pěkné kolečko :)

b) ČT by měla ovšem zároveň informovat o rizicích systematických chyb, kterých si jsou agentury jistě vědomy. o některých typických systematických chybách jsme referovali v tomto článku výše.

c) uvádění možných systematických chyb by mělo být součástí etického kodexu ČT.

ŠK: Jaké je členění odpovědí na otázku "JAK OBČANÉ VNÍMAJÍ EKONOMICKOU SITUACI SVÝCH DOMÁCNOSTÍ?" dle jiných sociodemografických kritérií než věk a vzdělání? Neuvedení přesných čísel a procent dle politické orientace, přestože zpráva tyto údaje "komentuje", je drasticky neprofesionální. Sociolog nemá co komentovat. Sociolog má uvádět přesná čísla a grafy, ze kterých bude jasné, co je 100%. To "kompletní zpráva o průzkumu" nenabízí. Takže není kompletní. Což dokládá i formulace "Politická uskupení, která dosáhnou nízkých hodnot, bývají v grafických výstupech zahrnuta do kategorie „Ostatní“." Tabulkové výstupy s úplnými údaji "kompletní zpráva" nenabízí...

JP:
vezmeme-li v potaz, že publikované preference jsou výsledkem volebního modelu (alespoň se mi to tak jeví), dostaneme následující počet voličů:

130 CSSD
99 KSCM
88 ODS
63 TOP09
47 KPK
28 NEZ
25 SPOZ
14 CPS
11 SZ
11 VC
36 OSTATNI

Celkem 552 rozhodnutých o volbě dané strany 

Tak se ukazuje, že třídění specifických otázek podle stranických preferencí je poněkud problematické. Poslední stranu, kterou bych přijal by byla TOP09 a už u ní by výsledky specifických otázek vykazovaly vysokou standardní chybu. A n=130 pro CSSD také není žádná velká láce.
Tedy slide 11 - přesvědčení voličů KSČM jít volit, si klidně mohli nechat výzkumníci od cesty. Podle mě je tento slide nejvíce sporný z hlediska nároků na přesnost, po kterých volá Kotrba.

http://en.wikipedia.org/wiki/Statistical_significance_test

Kotrbův požadavek na sociology jako stroje na analýzu je naivní. Sociologie a sociologové řeší otázku ne/zaujatosti analýzy v podstatě už od svých klasiků. Dalo by se říct, že sociologické školy se dokonce z určitého úhle pohledu podle této osy i štěpí. I nejtvrdší zastánci nehodnotícího přístupu se vždy vztahují k nějakým hodnotám, které jsou v pozadí jejich analýz. Kdo by měl v tomto případě vystupovat v roli "osekávačů" hodnocení jsou spíš analytici ČT, kterými se ČT chlubí ve své tiskové zprávě.

Osobně si myslím, že třídění specifických otázek podle preferencí stran by nemělo být v případě výzkumů pro volební speciály, tak jak jsou navrženy, součástí prezentace vůbec, a to kvůli nízkému počtu odpovědí pro většinu stran. Pokud bychom trvali na třídění podle preferencí, tak to bude jako ve vtipu: Tři statistici loví jelena. První vystřelí a mine ho o půl metru vlevo. Druhý vystřelí a mine ho o půl metru vpravo. Třetí volá: "máme ho, máme ho!"

Kotrba se správně pustil se na tenký led odborné debaty. Ale je potřeba přesně zasahovat bolestivá místa, a to tak, aby si z nich nemohli profesionálové utahovat, tak jak udělal třeba František Bartoš z PPM Factum v případě M. Škopa: http://www.blisty.cz/art/64855.html . Situace vypadá tak, že je potřeba začít mluvit "jejich jazykem".


 




Datum: 13. 9. 2012, Autor: Jan Podhajský, sociolog pracující ve výzkumu trhu a veřejného mínění
Přečteno: 50640x
Zobrazit článek pro tisk Vytisknout

Doposud hodnotilo 0 čtenářů, celková známka je .
Ohodnoťte známkou jako ve škole | 1 je nejlepší: 1 2 3 4 5

Komentáře k článku

17. 3. 2013 Canteemut Mbt Sko Norge Canada Goose Doudoune
20. 12. 2012 Haupacede
19. 9. 2012 vlasta klepák Vám ten spam ale bují
17. 9. 2012 X Broochu
16. 9. 2012 Michal Skop ceny atd.
16. 9. 2012 ... Kotrba
17. 9. 2012 vlasta klepák Re: Kotrba
16. 9. 2012 Glashypease Cheap nike nfl jerseys
14. 9. 2012 jzvc
13. 9. 2012 pragerz Tak toto nebude "jejich jazykem"

Anketa
Používáte pro přístup k Internetu WiFi?

Ano
95% (1305)
 

Ne
4% (61)
 


Nejnovější články

16. 1. 2015 | 10861
Stát si brousí zuby na WiFi. Další pokus znásilnit Internet.
12. 10. 2014 | 20319
Zvolbovaní Piráti
22. 7. 2014 | 3623
Americké lhaní -základní prostředek politiky
30. 4. 2014 | 33233
Facebook je konec. Konec japonec.
2. 4. 2014 | 8052
Evropa je naše moře
1. 4. 2014 | 2179
Pirátské noviny mají nové sponzory
16. 3. 2014 | 20109
Zrození České pirátské strany
30. 6. 2013 | 6244
Rozhovor k rozšíření autorského zákona
27. 6. 2013 | 335
Kramaření v Kramářově vile a co bylo příčinou
16. 6. 2013 | 5412
Korupce je podstatou současného politického systému.

Názory
články v rubrice

6. 5. 2013 | 15258
Sociální stát a nezaměstnanost žen
15. 4. 2013 | 497
Facebook je předzvěstí konce svobodného Internetu
24. 3. 2013 | 5112
Stroje nás připraví o práci, radujme se
18. 2. 2013 | 577
Nadbytečná pracovní síla
20. 1. 2013 | 423
Psychopati jdou do práce?
10. 1. 2013 | 289
Chcete skutečně prezidenta?
31. 12. 2012 | 232
Známe svého nepřítele?
14. 12. 2012 | 10919
Jak jsem se stal a nestal Franzistou
4. 12. 2012 | 213
Kam se ubírá česká zahraniční politika?
3. 12. 2012 | 152
Internet ohrožuje staré struktury
29. 11. 2012 | 140
Zapomenutá studie k otázce církevního majetku
27. 11. 2012 | 675
Proč jsem v pirátské straně?
19. 11. 2012 | 275
Modrý pták ve vlastní šťávě
15. 11. 2012 | 15976
Alexandr Mitrofanov: Zachování tváře
12. 11. 2012 | 40604
Jeden za všechny, všichni bez jednoho?
30. 10. 2012 | 26887
Jak opět nalézt důvěru v demokracii?
12. 10. 2012 | 352
České příhraničí
22. 9. 2012 | 5197
Podnikání po česku
13. 9. 2012 | 17981
Kotrba a metody volebních speciálů: z kritiky fraška?
1. 9. 2012 | 359
Vyvrácení nebezpečného postoje "Nemáte-li co skrývat, nemáte se čeho bát"
Nejnovější zprávy
Stát si brousí zuby na WiFi. Další pokus znásilnit Internet.

16. 1. 2015 | Internet | 10861
Necháme si bez odporu odebrat svobodné WiFi a přejdeme dobrovolně pod křídla korporátních Internetů?
Zobrazit celý článek ►
 

Zvolbovaní Piráti
12. 10. 2014 | Piráti | 20319
Kdo vyhrál, kdo prohrál, jak Piráti a co bude dál?

Americké lhaní -základní prostředek politiky
22. 7. 2014 | Politika | 3623
Včera na tiskové konferenci ministerstva obrany Ruské federace byly prezentovány důkazy z monitorování oblasti sestřelu. Důkazy Rusko předá zainteresovaným i dalším. Média i politici však zcela zásadní odhalení ignorují a dál obviňují bez jakýchkoliv důkazů Moskvu.

Facebook je konec. Konec japonec.
30. 4. 2014 | Piráti | 33233
To byl vynikající nápad, vyhradit lidu takové populární místo, kde se můžou všichni vyvztekat, vydemonstrovat, vybrečet a pohádat, vyblejt na sebe všechny problémy, zbavit se soukromí a to vše přitom za pečlivého dozoru státní bezpečnosti. Ovládat svět je čím dál tím snazší.
 
Hlavní stránka Piráti  Internet  Zahraničí  Kultura  Politika  Monstrproces  Kopírovací monopol  Názory  Kauzy  Věda a technika  Video  HogoFogo  Události  Zprávička  Jednou větou  Komix
 
Pirátské noviny jsou internetový občasník digitálního věku.
Informujeme o Internetu, politice, kopírování, svobodné tvorbě a blbostech.

Pirátské noviny oslovujte E-mailem na adrese: redakce zavináč piratskenoviny.cz

Provozovatel a vydavatel: Martin Brož | Sídlo vydavatele: Praha

Pirátské noviny | ISSN 1804-5197

Copyleft Pirátské noviny
Publikování nebo další šíření obsahu serveru Pirátské noviny je umožněno i bez písemného souhlasu.
Všechna práva vyhlazena.