"Når fakta om hvordan undersøgelsen faktisk finder sted, afsløres, mister mange forskere hjerte"

“Når fakta om hvordan undersøgelsen faktisk finder sted, afsløres, mister mange forskere hjerte”

Interview med Dmitry Rogozin
"Trinity Option" №16 (185), 11. august 2015

Resultaterne af meningsmålene spiller en stor rolle i det offentlige liv. På deres grundlag træffes de vigtigste politiske beslutninger. Men hvor pålidelig er deres data? Om det Olga Orlova taler med forfatteren af ​​bogen "Hvor rimelig er vores tro på papirundersøgelser?", lederen af ​​laboratoriet for Institut for Social Analyse og Forudsigelse af det Russiske Akademi for Nationaløkonomi og Offentlige Administration Dmitry Rogozin.

Dmitry Rogozin
Født i 1972 i byen Abaza, Krasnoyarsk Territory. I 1994 sluttede han fra økonomiafdelingen i Krasnoyarsk State University. Siden 2000 har der været metodologisk arbejde i Public Opinion Foundation og VTsIOM. I 2002 forsvarede han sin afhandling om sociologi. Fra 2003 til 2008 ledede han afdelingen for sociologi Shaninki – Moscow Higher School of Social and Economic Sciences som dekan. I 2009 organiserede han et kognitivt filmtestlaboratorium. Siden 2011 har han arbejdet på det russiske akademi for nationaløkonomi og offentlig administration under præsidenten for Den Russiske Føderation.Specialist i metoden for sociale undersøgelser, den generelle teori om fejl i masseundersøgelser, kognitiv testning af undersøgelsesværktøjet.

– for nylig ved du med din kollega Anna Ipatova udgivet en bog med en provokerende titel "Hvor rimelig er vores tro på papirundersøgelser?". hvad fik dig til at skrive denne bog?

– Vi gik til hende i lang tid. Og der er et stort hold af forfattere, forskere. Vi er så ofte konfronteret med forfalskninger eller håndværk inden for rammerne af undersøgelsesteknologien! Når vi undersøger, undersøger vi jo sjældent hvad der sker der virkelig "i marken". Socialanalyser er normalt begrænset til tal. Og engang besluttede vi os for at komme til disse marker og lavede en så lille forsøgsplan. To af mine kolleger fik jobbet som interviewere på et af de største pollingsociologiske centre. Da de begyndte at arbejde der, blev vi konfronteret med en masse fantastiske historier, der fulgte med dem, at vi som regel generelt begyndte at tvivle på, hvilke slags data vi får. Det hele begyndte med det faktum, at vejlederen er den person, der udsteder opgaverne til interviewerne – straks meget "venligt,moderlige "reagerede på vores piger og sagde:"Godt jeg er ikke cerberus hvad hvis kan ikke forhøre nogen en ven andet. Eller gå til naboer hvis på dit sted nabo egnet alder. " og så videre. Så selvfølgelig havde pigerne nogle samtaler med andre interviewere, som også delte deres erfaringer med disse interviews. Forbandet hos de uheldige sociologer, der udarbejder sådanne spørgeskemaer, som endog ærværdige akademikere ikke kan gøre – endsige normale mennesker, der har kartofler eller noget andet stegt i en stegepande, og her skal de tale om stor politik for 3-4 timer! Faktisk tager et komplet spørgeskema ofte meget lang tid. Og generelt er det meget mærkeligt at antage, at en person er villig til at bruge denne meget tid på det. Derudover er interviewere normalt betalt meget, meget lidt. Og det viser sig, at en stor plan hænger over dem, de bliver stillet spørgsmålstegn ved og evalueres på helt taget spørgeskemaer, og ikke på hvem de talte med. Derfor skubber det hele for dem eller andre fabrikationer i afstemningerne.

– og til hvilken dette er i resultatet resultater?

– Dette fører til, at ifølge vores estimater er et eller andet sted omkring 40-50% af alle spørgeskemaer fremstillet af interviewere til en eller anden grad. Sandt, her er vi ikke unikke. Det ville have været muligt at straks kaste vores undersøgelsescentre med rådne æg og rådne tomater og begynde at råbe, at de gjorde noget forkert. Men det sker over hele verden: Når folk seriøst begynder at tale om afstemninger, snakker de altid om afstemningsfejl. Det vil sige, en afstemning er altid en fejlrettelse. Og i denne forstand er der ingen sådan samtale, at undersøgelsen blev gjort godt eller dårligt. interview altid gjort dårligt Vi skal estimere krumningen af ​​dataene, og efter det kan vi på en eller anden måde drage konklusioner om, hvorvidt vi skal stole på disse tal eller ej.

Som regel er vores forskere begrænset til den såkaldte statistiske stikprøveudtagningsfejl. Du har sikkert hørt: 3,5%, 2,5% osv. Denne beregning siger slet ikke noget, fordi det er gjort for virkelig tilfældige prøver, og det overvældende flertal af prøver er ikke tilfældige, og det er bare forkert at give disse tal. Reelle forstyrrelser, reelle fejl, udgivet af interviewerne, om hvem jeg taler, er meget mere: 20-40%.

Forestil dig, vi erklærer: Præsidenten støttes af 85% af befolkningen. Og så tilføj: plus eller minus 40%. Så hvad Det vil sige det om ingenting.

– Virkelig er muligt 40% fejl? Hvorfra samme hun er taget?

– Alle fejl er normalt opdelt i to typer. En type er repræsentationsfejl, dvs. hvordan vi konstruerede prøven. Har vi virkelig talt med de mennesker, der repræsenterer befolkningen? Når vi taler om repræsentationen af ​​befolkningen i Rusland, er der et meget hårdt kriterium: enhver borger, der har et russisk pas, skal have lige muligheder for at komme ind i vores prøve.

– a det hele faktisk dette er ikke så? Vi har ikke lige chancer?

– Faktisk har han ikke lige muligheder. Men dette er ikke det værste. Vi er nødt til at vide de odds, han skal komme ind i prøven. Så kan vi fortælle det om befolkningen og få en vis procentdel. Men desværre opstår der en række repræsentative fejl her. Den første fejl er en dækningsfejl. Hvad er det? Meget ofte prøver vi ikke hele befolkningen – vi stiller ikke folk op i køen! Vi må på en eller anden måde komme til dem. Der er befolkningsprøver, der afholdes på bopælsstedet. Mennesker, der er i frihedsberøvelse, på ferie, på forretningsrejser mv falder straks ud af denne stikprøve. Men det er den mest ubehagelige, at de ansatte er ude af drift. Det vil sige, hvem er i øjeblikket på arbejde, som ikke er villige til at tale med interviewerne.Der er mange af dem.

Den anden del af prøven er non-response prøverne. Det vil sige, det er ikke nok, at en person er hjemme, for eksempel, eller han har en mobiltelefon i lommen. Det er nødvendigt at han var placeret hos os for at tale. Og sådan en fejlsats, som vi tror, ​​når 70-80%. Det er, vi interviewer faktisk 20-30% af dem til hvem vi adresserer. Dette er en meget stor udfordring for undersøgelsesteknologien. Man kunne sige: Nå, alt, det er nødvendigt at lukke denne butik, gå videre til noget andet. Men generelt er den nøjagtigt samme procentdel i Vesteuropæiske lande. Dette betyder ikke, at der vil være en fejl. Dette tyder på, at vi har to grupper af mennesker. En gruppe med os ønsker at tale om vores undersøgelser. Den anden vil ikke gøre dette. Og vores opgave som forskere er at vurdere, hvor meget de, der vil snakke med os, er forskellige fra dem, der ikke ønsker at tale med os om visse spørgsmål.

– i forordet til din bogen siger, "selv lederne forskning af markedet fundet ekstremt lav niveau korrekt udfyldt formularer profiler. fabrikation og svig i afstemningerne afspejler speciel professionel kultur fremherskende i Rusland til sidste 20 år. "Og hvilken på dig grundene at tro på det denne ene mangel på professionalisme bærer nu masse karakter? Og hvorfor nemlig i de sidste 20 år? Hvordan er det forklare?

– Åh, hvis bare masse! Så ville vi have nogle elitecentre, som kunne vise, at alting er fint med dem. Det er systemisk!

– a der er kanoniske metodisk centre til hvilke kan det ville være at navigere?

– I undersøgelsesteknologien kan vi kun fokusere på USA og nogle europæiske lande. Derfor er undersøgelsesteknologikrisen i vores situation ikke engang en stor en, men en system en. Det vil sige, at det allerede er indlejret i disse teknologier selv. Problemet er, at de russiske sociologer, der fulgte med teoretiske metodologiske problemer, i kølvandet på perestroika var meget involveret i den offentlige dagsorden. Og pludselig blev de pludselig journalister. For eksempel nævner Michael Burovoy i en personlig samtale: "Jeg generelt i forvirring kigget på førende russisk sociologer i 1990'erne. Til mig det syntes det her er dettid hvor skal at studere hvad er i outbacken – at tale med arbejdstagere taler til nyligt mintede iværksættere skriver og fix disse fakta. Og jeg så egen kolleger hvem ekstremt respekt Poison Zdravomyslova, Shubkina og så videre alle skrev nogle journalistik artikler"Der er ikke noget forfærdeligt over det. Den forfærdelige startede efter. Pludselig blev der sådan noget dannet (igen, det var nok ikke pludselig) det feltarbejde, interviewerens arbejde, samtale med en person (det er faktisk det vigtigste , den grundlæggende kendsgerning i hele undersøgelsesteknologien) blev opfattet som ikke sociologi, ikke som videnskab, men som teknisk arbejde. Det vil sige, at nogen kunne gøre dette tekniske arbejde, hverken kvalifikation eller erhvervserfaring er nødvendig. Selv ønsket om at arbejde er ikke nødvendigt. Dette er situationen for det meste. I dag begynder du ofte, når du kommer til undersøgelsescentrene, at tale om metoden (og du kan snakke meget om den såkaldte designede prøve, om spørgeskemaet om hvad der skal gøres på en normativ måde), det er nok at stille spørgsmålet Faktisk er det gjort for pludselig at opdage, at ingen forstår, hvordan det er gjort.Ingen ønsker at forstå, for så snart fakta om hvordan undersøgelsen rent faktisk finder sted, afsløres, giver mange forskere simpelthen op. Hvis vi siger, at 40% af spørgeskemaerne blev udfyldt af interviewerne selv, som ikke gik overalt, skulle vi vide om det.

– så der er selv forskere som behandling disse data ved ikke hvordan de er Det var modtaget?

– Det er en tragedie! For dem er det en sort boks. Således overskrider de enhver videnskabelig aktivitet. Hvordan kan forståelsen af ​​denne virkelighed forekomme, når der ikke er nogen virkelighed? Virkeligheden er kun, at de forsøger at analysere. Det har ført til, at vi har et så underligt kvasi-sprog – en samtale om undersøgelsesdata, som faktisk ofte tilskrives undersøgelsescentre og ikke til teknologi. Sandsynligvis har alle hørt: "Levada Center viste sådanne og sådanne data", "VTsIOM viste", "FOM viste". Og hvis der siges, at der er en slags fejl i prognosen, for eksempel i valget i Moskva (for nylig var der mange fejl i prognoserne i valgkampagner), så er der straks en beskyldning mod organisationer som sådan. Det er som om organisationen repræsenterer, at Leviathan spytter ud disse tal: 70%, 60%. Undersøgelsesteknologi er en meget stor produktion. Dette er et transportbånd.Vi er nødt til at nå udgangen.

Her ligner denne situation med undersøgelsesteknologier mærkeligt nok den situation, der beskrives af korrupte relationer. Det er ja, for her har vi et system af interaktioner, vi har regulerende forhold. Det er, vi ved, hvordan vi skal udføre, osv. Og hver af os ved, hvordan man rent faktisk, men det er tavs. Hvis vi møder indvendige sammenkomster med polstere (det er dem, der udfører offentlige meningsmålinger), så er de ofte direkte spørgsmål om hvad der sker, efterfulgt af smil: "Nå ved vi hvordan i det hele taget faktisk dette er foregår. hvad om det at tale? Om det ikke nødvendigt at tale“.

– Det viser sig sådan en intracorporate vide, at ikke taget ud ud fordi at du er forstår ikke hvordan dette er ændre?

– Kom nu, det ville ikke blive taget ud! Det bæres heller ikke indad. Det er et sådant mindreværdskompleks for enhver forsker, fordi han ved, at der er lidt, der kan påvirke. Meget ofte er det taget for givet, som det skal være.

– svinger i professionel norm?

– Ja, en professionel norm er blevet dannet: Hvis jeg skriver spørgsmål, så skal jeg generelt ikke vide noget om prøven. Og det er to sammenhængende ting.Hvis jeg ikke forstår hvordan prøven fungerer, kan jeg ikke interviewe. Ellers, hvad kan motivere mig til at sige, at ringe til denne lejlighed, og ikke at ringe til den lejlighed? Hvis jeg ikke forstår hvordan prøven er bygget, ifølge hvilke regler den er bygget, vil ingen forbyde mig at tale med denne person. Derfor er det her, hvor denne multidimensionale sociologisituation opstår. Den mest korrekte sociolog-tolk er trods alt selv intervieweren. Han gør sociologi på dette område. Men kun han gør det til sin smag, som absolut ikke er i overensstemmelse med ikke kun verdensudviklingen, men også med normerne for sund fornuft i videnskabelig tradition.

– a højre om det sådan root metodisk krænkelse ikke afhænger fra tema Poll? Det er ligegyldigt om dette er markedsføring relateret forskning med varer, økonomi eller med politik fordi problemet ikke i det drejer sig ikke om at vi er forsøger find ud af og problemet i den måde vi forsøger dette er viden, ikke?

– Sandt, men med et ændringsforslag. Det er forbundet med, at det ikke påvirker nogle problemer, og det påvirker nogle meget stærkt. For eksempel gik vi for nylig til Vyazniki. 900 respondenter blev interviewet der.Vi har gået næsten 500 af dem en gang, taler til folk eller finder ud af, om interviewerne virkelig nåede dem. Således har vi en unik database: vi vidste sikkert, at disse spørgeskemaer blev fremstillet, og disse blev ikke fremstillet. Og de kunne sammenligne resultaterne af svar på specifikke spørgsmål. Så vi fandt ud af, at de spørgsmål, der var meningsfuldt for os (disse var spørgsmål relateret til intern migration) blev fremstillet, og ikke-fremstillede svar var de samme. Det betyder, at de ikke påvirkes af det, vi spørger. Og hvad påvirker det? Påvirker – de spørgsmål, som intervieweren ikke kan forestille sig. Det betyder, at han ikke kender deres reelle distributioner. Antag, at spørgsmålet om paset rejser i udlandet, spørgsmål i forbindelse med undervisning af børn afhængigt af landene.

Og derfor er polstere måske forsikret, når de analyserer kun lineære distributioner. Lineære distributioner er svar på specifikke spørgsmål: "hvordan du er generelt behandle til Putin? Godt dårligt eller ligegyldigt?"De svarede – og så går de ikke videre: hvem svarer, arbejdstager, journalist osv. Hvorfor tror de ikke? For så snart vi går dybt, vil der være meget store fejl der.Men i det store og hele giver vi ikke meget store fejl i dette spørgsmål, selvom disse svar er fremstillet.

– en af meget meget alvorlig øjeblikke som forårsaget alvorlig professionel diskussion, der var resultater undersøgelse om støtte Krim russisk af borgerne. Når resultaterne Det var afsløret på internettet øjeblikkeligt blev født meme pro "86% af russerne", og i professionel miljø hørt skarpe kritiske responser. hvad bekymret Forskere?

– Ja, mange af mine kolleger begyndte at sige, at sociologer aldrig ville vaske ud efter en sådan undersøgelse, at de fuldstændigt tilpassede sig magt, glemte ikke kun deres protestaktivitet og faglige etik, men også civilretik og så videre. Efter alt ved alle, at i højere grad er sociologi en venstreorienteret videnskab. Marxismen for hende er en af ​​søjlerne. Og den kritiske position er sociologens stilling. Så efterfølgende har jeg og mine kolleger, som ikke deltog i organisationen af ​​denne undersøgelse, simpelthen anmodet om data fra FOM og VTsIOM om, hvordan undersøgelsen blev gennemført. Og her fik vi helt fantastiske fakta, fordi denne undersøgelse blev udført på moderne teknologier.Og vi havde alle disse parader, som tillod os at foretage en ret grundig og grundig analyse af, hvad der skete der. Undersøgelsens tid – ikke engang undersøgelsen selv, men den tid, der er gået fra problemstillingen; det vil sige, nogle mennesker dukkede op, som sagde: vi skal vide det, lad os måle det – tre dage gået, før disse mennesker sendte lineære uddelinger (det er svarene på spørgsmålene). Og lad os nu tænke. Dette er en landsdækkende undersøgelse, hvor mere end 50.000 blev spurgt. Om tre dage! Da jeg sagde dette til mine amerikanske kolleger, skubber de bare deres skuldre: "Dette er umuligt." Det er virkelig næsten umuligt. Her så vi, hvordan det er muligt at mobilisere afstemningsmarkedet, da de vigtigste aktører var FOM og VTsIOM, men generelt deltog dusinvis af afstemningscentre i alle regioner i Rusland. Og det blev gjort bare i en fantastisk tid. Som regel glemmer marketingfolk langsommere sociologer og undersøgelsesteknologier og siger, at der er en erhvervskunde i marketing, skal vi gøre alt hurtigt. Men ingen af ​​markedsførerne ville nogensinde gøre et sådant arbejde. Ingen vil påtage sig arbejde, hvor det tager tre dage at sætte opgaven til resultatet.

– a virkelig dette er taler ikke det resultat Det var fabrikeret?

– Ja, den første tanke, der kommer til at tænke på er: De har nok "malet" alt dette, 50.000. Men vi har ikke kun 50.000 lydoptagelser til disse 50.000, vi har lydoptagelser af alle fejlene. Og dette, som jeg allerede har sagt, er næsten 8 gange større end denne prøve. Det vil sige, vi har et stort udvalg af poster. Og da vi begyndte at lave en stikprøve af listerne, lyt, analyser, hvordan korrekte svarene osv. Blev det konstateret, at Krimens støtte generelt var, blev måling af denne støtte gjort helt tilstrækkeligt. Og det eneste vi så, var at denne figur simpelthen chokerede intelligentsiaen. De forventer ikke, at sådan form for masseunderstøttelse var mulig.

En anden overraskende kendsgerning: Så snart disse data blev offentliggjort, viste det sig generelt, at der ikke var forfalskninger, og teknologien blev desuden korrekt anvendt, ingen erkendte sin fejl, simpelthen skiftet til andre argumenter, begyndte at se efter andre grunde til at bebrejde dette eller det pågældende valgsted. Dette viser blot, at vores videnskab om undersøgelsesteknologier desværre i modsætning til naturvidenskaben er i offentlig diskurs. Vi er konstant i orden at være under angreb fra outsidere, men under angrebet af os selv.Fordi det er meget ofte svært at adskille sig selv, er en stilling som borger fra sin stilling som forsker i denne sag. Og det forstyrrer virkelig. Da du kan være uenig med fordelingen af ​​hvem der stemmer for Krim, og hvem stemmer imod, men generelt kan du ikke lave en sort boks ud af dette og ikke se hvordan folk taler om det.

bringe et eksempel af sig selv ru metodisk krænkelse i afstemningen med hvilken Du er står?

– Et kanonisk eksempel er sådan formulering: "Fortæl mig, hvordan du vurderer dette eller det pågældende program og mulighederne for at lukke det:
a) det er gjort godt
b) det er gjort godt, men man kan tænke bedre;
c) der er mange gode programmer i verden. "

Sådanne forsøg på at foretage en evalueringsundersøgelse, hvor der ikke er nogen mulighed for at besvare det negative, forekommer meget ofte, herunder i det faglige samfund, men mere i offentlige strukturer, der forsøger at indføre undersøgelsesteknologier i deres dagligdag.

– a hvilken en Du er mødt den mærkeligste uprofessionel et eksempel fortolkninger, fortolkninger sociologisk Information?

– Lederen af ​​ikke-professionel fortolkning af data her i Rusland er igen en af ​​de statslige tjenester, dette er Federal Antimonopoly Service. Da de overvåger loven om reklame, som siger at du har brug for at kende offentlighedens mening om et bestemt problem, udfører de undersøgelser på websteder. Skriv et spørgsmål, ikke rigtig bekymrende, hvem der kan svare på det. En person kan svare 10 gange og måske 20. Men da der ikke er nogen interesse i dette, svarer normalt 20-30 personer der, maksimalt 100 personer svarer på dette eller det pågældende spørgsmål.


Like this post? Please share to your friends:
Skriv et svar

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: