27. 4. 2017, 14:55

Hlavní stránka Piráti  Internet  Zahraničí  Kultura  Politika  Monstrproces  Kopírovací monopol  Názory  Kauzy  Věda a technika  Video  HogoFogo  Události  Zprávička  Jednou větou  Komix
Šmírování a matematika


V poslední době se čím dál tím víc objevují různé sledovací systémy, které nás údajně mají chránit před zločinem. Například INDECT, jehož cílem je vyvinout algoritmy, které automaticky rozpoznají kriminální aktivity, jako je terorismus, dětská pornografie a další nebezpečné aktivity. Nechci řešit, jaký je to neuvěřitelný vpád do soukromí. Chci za pomocí jednoduché úvahy předvést, že systém, který dopředu rozpozná podobná nebezpečí, vyrobit nelze.



25. 11. 2012
Nejprve se zamysleme, jak podobný systém sestrojit. Vezměme stovky kamer, šoupněme tam trochu špiclování na sociálních sítích a okořeňme to sledováním mobilních telefonů. To je ta snazší část. Ta těžší je ve vyhodnocení nasbíraných dat. Na to vezmeme počítač, který zpracuje všechny vstupy a hledá v nich něco zajímavého. Výstupem je obvykle pravděpodobnost toho, že se děje něco nekalého. Pokud hledáme teroristy, tak nula znamená, že má sledovaný člověk na hlavě svatozář a sto znamená, že má v jedné ruce natažený kalašnikov a v druhé zarámovanou fotku Bin Ladina.

Tady narážíme na první problém. Tato pravděpodobnost bude velmi nepřesná. Hlavně proto, že se zloduši snaží předstírat, že nejsou zloduši. Potvory. Kdyby alespoň na Twitter napsali, že jdou provést něco odporného, ale oni ne. Tváří se jako milius. Na druhou stranu, je spousta lidí, kteří navrhují naházet celý parlament do Vltavy. Ti to zase obvykle nechtějí realizovat. A to už vůbec nezmiňuji ty, kteří se chovají podezřele, prostě proto, že je to baví. Zkrátka, dostaneme nějaké výsledky a k těm musíme přistupovat velmi obezřetně.

Také se musíme rozhodnout, u jakých událostí budeme zasahovat. Musíme například říci: „Všichni, kterým náš systém přidělí pravděpodobnost 90 a výše musejí být ihned zatčeni a prověřeni.“ A tady je další háček. Pokud nastavíme tu hranici příliš nízko, tak budeme zatýkat mnoho obyčejných občanů. To nechceme, to bychom je naštvali. Nedejbože aby mezi nimi byl nějaký poslanec. Nebo dokonce známý zpěvák. Jeminánku. No jo, ale když hranici nastavíme příliš vysoko, tak nám může nějaký zloduch uniknout. Kdyby nám proklouzl, tak by se nás všichni ptali, k čemu ten náš systém je? Tak jako tak, nějak tu hranici nastavit musíme. Vždy ale budeme muset volit, jestli budeme spíš zatýkat nevinné nebo spíš necháme proklouznout padouchy.

Na chvíli zapomeňme na předchozí obtíže a předstírejme, že se nám tyto problémy podaří vyřešit. Vynalezneme třeba přístroj na čtení myšlenek, který odhalí 99% ze všech teroristů a jen 5% nevinných občanů označí za podezřelé. Opakuji, že takto přesný systém se vyskytuje jen v pohádkách a žádostech o grant, ale předpokládejme, že ho dokážeme sestrojit. Co by to znamenalo?

Nainstalujme ho třeba v Pražských ulicích a uvidíme. Řekněme, že za den zaznamená milión lidí. Čtrnáct dnů po zavedení systému do Prahy přiletí pět teroristů, kteří u nás jdou kout své pikle. Samozřejmě je nenapadne nic lepšího, než se jít producírovat před naše kamery a čtečky myšlenek. Odhalí je náš drahý systém nebo ne?

Samozřejmě že ano. Odhalí všech pět (5x99%=4,95). Hurá! Funguje to. No jo, ale náš super systém také každý den odhalil jako teroristy i 50 000 (1 000 000x0.05) normálních lidí! Mezi nimi bude těch našich pět teroristů schováno. Představte si, že jste policista, který provádí výslechy. Jaký bude váš přístup po čtrnácti dnech zbytečných výslechů? Jaký bude váš přístup po roce? Je úplně jedno, že náš systém ty teroristy najde, mezi těmi desítkami tisíc falešných poplachů se stejně ztratí.

Vydejme se ještě hlouběji do říše fantazie a předstírejme, že náš systém špatně označí jen jedno procento poctivých cestujících. To ale pořád ještě znamená, že za den označí za podezřelé 10 000 lidí (1 000 000x0.01). Ano, denně deset tisíc naštvaných lidí odvlečených k výslechu. A to jsme si vybásnili systém neslýchané přesnosti. Ve skutečnosti by byla ta čísla ještě mnohem horší.

Čím to je? Důvod je jednoduchý. Terorismus a obecně závažný zločin je velmi vzácný. Za takových okolností i sebepřesnější systém prostě selhává. Matematicky prostě není možné takový systém sestrojit. Je to jako hledání jehly v kupce sena. Jenom s tím rozdílem, že ve většině kupek žádná jehla není a my je stejně všechny musíme stéblo po stéblu prohledat. Co kdyby se tam jednou nějaká jehla objevila?

Tak jo, na teroristy to nefunguje, ale my už jsme do našeho systému investovali spoustu peněz. Co s tím? Co takhle začít stíhat obvyklejší jevy? Třeba přecházení na červenou. Kdo žije v Praze ví, že na červenou přechází přesně 40% procent obyvatel. Jak si náš systém bude stát za těchto okolností? Kolik z těch čtyř set tisíc hříšníků odhalí? Zkuste si to spočítat sami. Uteče jen jedno procento, to jsou čtyři tisíce, takže správně odhalí 396 000 delikventů. Skvělé! Falešně obviní jen 6 000 lidí (600 000x0.01). Ještě lepší! Ti nám na pokutách bohatě vynahradí to jedno procento co nám uteklo.

Tím, jak jsme začali hledat častější jev, se nám dramaticky zlepšil poměr mezi správnými výsledky a chybami. Ano, pořád máme tisíce občanů obviněných neprávem. Ale zároveň máme několik set tisíc správně odhalených. Už se mi vyplatí to nějak ručně dotřídit. Vidíme, že když aplikujeme úplně stejné postupy na běžné jevy, tak to najednou začíná dávat smysl. V obou případech máme stejnou chybovost, ale u častějších jevů nám najednou mnohem méně vadí.

Celý problém má ještě jeden parametr, který jsem nezmínil. Je to cena chyby. Zjišťování jestli je podezřelý terorista je časově náročné. Navíc si nemohu dovolit nechat proklouznout ani jednoho teroristu, takže musím všechny výslechy dělat opravdu pečlivě. U přecházení na červenou je situace opačná. Když si podezřelý stěžuje, že se ničeho nedopustil tak snadno ověřím, jestli je to pravda. A když jsem na pochybách, tak není problém ho pustit.

Problematika chybovosti u řídkých jevů není vůbec nová. Dávno se například používá u diagnostiky chorob. Lékaři vědí, že nemá smysl dělat plošné testy u nemocí, které jsou vzácné. Proto se například nedělají plošné testy na rakovinu u mladých lidí. Ne proto, že ji nemohou mít. Je to proto, že by falešných pozitiv bylo tolik, že by následné ověřování bylo neuvěřitelně nákladné. U starší populace, kde se pravděpodobnost výskytu zvýší, je už situace jiná a plošné testy dávají smysl.

Schválně se zkuste zamyslet, jak fungují ostatní podobné systémy. Hledání výbušnin v zavazadlech na letišti, spam filtery, hledání dopingu u sportovců, automatická detekce podvodů na platebních kartách, automatická detekce porušování autorských práv a jiné. Když se začnete rozhlížet, zjistíte, že se s podobnou situací potýká spousta systémů. Bez ohledu na kontext, vám vždy ale vyjde, že podobné systémy mají smysl jen u relativně častých jevů nebo u věcí kde je cena chyby malá. Pokud je jev řídký a chyby drahé, tak nemá jakýkoliv systém šanci.

Takže pokud někoho uvidíte instalovat kamerový systém, tak mu nevěřte, že se jedná o prevenci proti závažným zločinům. Jediné k čemu se podobné systémy dají použít je usnadnění vyšetřování zločinů, které už se staly. Nebo ještě hůře, ke stíhání jevů, kterých se dopouští velká část obyvatelstva. Opravdu to chceme?


Zdroje a poznámky:

Omlouvám se, že jsem v článku ani jednou nezmínil Bayesovu větu, kolem které se to celé točí. Nechtěl jsem vystrašit čtenáře. Také jsem si matematiku trochu zjednodušoval, třeba tím, že jsem teroristy přičetl k obyvatelům Prahy. Je to chyba, ale na výsledek by to změnilo zanedbatelně.

Pokud vás téma zaujalo doporučuji:

Skvělou knihu o Bayesově větě: The Theory That Would Not Die, Sharon Bertsch McGrayne

Článek na Wikipedii o tomto jevu https://en.wikipedia.org/wiki/Base_rate_fallacy

Další článek https://en.wikipedia.org/wiki/False_positive_paradox

Klasická kniha o bezpečnostním divadýlku Beyond Fear: Thinking Sensibly About Security in an Uncertain World. Bruce Schneier

Pěkná kniha o tom, jak by mohl takový policejní stát vypadat Little Brother, Cory Doctorow

Špiclovací projekt EU INDECT

Špiclovací projekt pražského dopravního podniku http://www.lidovky.cz/pozor-v-metru-vas-budou-sledovat-kamery-velkeho-bratra-pgu-/ln_domov.asp?c=A110420_172929_ln_domov_ogo

Licencováno pod CC-BY-NC-SA


 




Datum: 25. 11. 2012, Autor: Lukáš Křečan
Přečteno: 24417x
Zobrazit článek pro tisk Vytisknout

Doposud hodnotilo 0 čtenářů, celková známka je .
Ohodnoťte známkou jako ve škole | 1 je nejlepší: 1 2 3 4 5

Komentáře k článku

25. 11. 2012 nelegální piráte, zaplať pokutu, a nikomu o tom neříkej !
25. 11. 2012 bdf ed
25. 11. 2012 Jack Re: ed
25. 11. 2012 Jack the Reppir Re: ed
25. 11. 2012 Jan Já tedy nevím...
25. 11. 2012 Olgoj Chorchoj Re: Já tedy nevím...
25. 11. 2012 Jan Re: Re: Já tedy nevím...
1. 12. 2012 zzz Re: Re: Re: Já tedy nevím...
8. 2. 2013 Filip Re: Re: Re: Já tedy nevím...
25. 11. 2012 Jack the Reppir Re: Já tedy nevím...
25. 11. 2012 Jan Re: Re: Já tedy nevím...
25. 11. 2012 Jack the Reppir Re: Re: Re: Já tedy nevím...
25. 11. 2012 Visgean Re: Já tedy nevím...
26. 11. 2012 Vašek Re: Já tedy nevím...
25. 11. 2012 Virteal

Anketa
Používáte pro přístup k Internetu WiFi?

Ano
95% (1292)
 

Ne
4% (61)
 


Nejnovější články

16. 1. 2015 | 4236
Stát si brousí zuby na WiFi. Další pokus znásilnit Internet.
12. 10. 2014 | 20273
Zvolbovaní Piráti
22. 7. 2014 | 3619
Americké lhaní -základní prostředek politiky
30. 4. 2014 | 33224
Facebook je konec. Konec japonec.
2. 4. 2014 | 8052
Evropa je naše moře
1. 4. 2014 | 2179
Pirátské noviny mají nové sponzory
16. 3. 2014 | 20109
Zrození České pirátské strany
30. 6. 2013 | 6244
Rozhovor k rozšíření autorského zákona
27. 6. 2013 | 333
Kramaření v Kramářově vile a co bylo příčinou
16. 6. 2013 | 5412
Korupce je podstatou současného politického systému.

Internet
články v rubrice

16. 1. 2015 | 4234
Stát si brousí zuby na WiFi. Další pokus znásilnit Internet.
24. 4. 2013 | 417
CISPA aneb šmírování internetových uživatelů opět na scéně
30. 1. 2013 | 1796
FISA aneb Jak se Barack Obama změnil ve Velkého Bratra
22. 12. 2012 | 184
Za zavřenými dveřmi OSN při pokusu o přivlastnění internetu
12. 12. 2012 | 448
Hacktivističtí hrdinové z GhostShell a důvody pro jejich boj
8. 12. 2012 | 142
Doporučení OSN, o kterých ani nevíte
25. 11. 2012 | 182
Šmírování a matematika
6. 11. 2012 | 1900
CRYPTOPARTY: Šifrování coby virál
19. 10. 2012 | 1699
STOP INDECT
24. 6. 2012 | 2304
Poslanci hlasovali podle televize, šmírování by schválili i jako ústavní zákon
23. 3. 2012 | 3251
Shromážděná osobní data budou vždy nakonec zneužita proti občanům.
22. 3. 2012 | 4098
Jak lobby mediálního průmyslu a držitelů autorských práv postupně vytváří dystopickou budoucnost Velkého Bratra.
27. 2. 2012 | 4317
My, děti Sítě
25. 2. 2012 | 950
Na Facebooku probíhá protest proti ACTA, spamují se stránky parlamentních stran
18. 2. 2012 | 10047
Ondřej Neff: Akce Anonymous považuji za legitimní způsob odporu
17. 2. 2012 | 24964
Anonymous napadli další weby americké vlády
8. 2. 2012 | 66679
Cenzura a represe mohou lidem otravovat život, ale nikdy nevyhrají, píše Mladá fronta DNES
6. 2. 2012 | 1036
Anonymous získali data ODS
2. 2. 2012 | 507
Web ODS hacknut, Anonymous vyzývají k odporu
1. 2. 2012 | 382
TOP 09 otevřeně podporuje ACTA
Nejnovější zprávy
Stát si brousí zuby na WiFi. Další pokus znásilnit Internet.

16. 1. 2015 | Internet | 4236
Necháme si bez odporu odebrat svobodné WiFi a přejdeme dobrovolně pod křídla korporátních Internetů?
Zobrazit celý článek ►
 

Zvolbovaní Piráti
12. 10. 2014 | Piráti | 20273
Kdo vyhrál, kdo prohrál, jak Piráti a co bude dál?

Americké lhaní -základní prostředek politiky
22. 7. 2014 | Politika | 3619
Včera na tiskové konferenci ministerstva obrany Ruské federace byly prezentovány důkazy z monitorování oblasti sestřelu. Důkazy Rusko předá zainteresovaným i dalším. Média i politici však zcela zásadní odhalení ignorují a dál obviňují bez jakýchkoliv důkazů Moskvu.

Facebook je konec. Konec japonec.
30. 4. 2014 | Piráti | 33224
To byl vynikající nápad, vyhradit lidu takové populární místo, kde se můžou všichni vyvztekat, vydemonstrovat, vybrečet a pohádat, vyblejt na sebe všechny problémy, zbavit se soukromí a to vše přitom za pečlivého dozoru státní bezpečnosti. Ovládat svět je čím dál tím snazší.
 
Hlavní stránka Piráti  Internet  Zahraničí  Kultura  Politika  Monstrproces  Kopírovací monopol  Názory  Kauzy  Věda a technika  Video  HogoFogo  Události  Zprávička  Jednou větou  Komix
 
Pirátské noviny jsou internetový občasník digitálního věku.
Informujeme o Internetu, politice, kopírování, svobodné tvorbě a blbostech.

Pirátské noviny oslovujte E-mailem na adrese: redakce zavináč piratskenoviny.cz

Provozovatel a vydavatel: Martin Brož | Sídlo vydavatele: Praha

Pirátské noviny | ISSN 1804-5197

Copyleft Pirátské noviny
Publikování nebo další šíření obsahu serveru Pirátské noviny je umožněno i bez písemného souhlasu.
Všechna práva vyhlazena.