Митове за убийство и множествена регресия

Вярвате ли, че всеки път, когато затворник бъде екзекутиран в Съединените щати, осем бъдещи убийства са възпирани? Смятате ли, че увеличението с 1% на гражданите, получили разрешение за носене на скрито оръжие, води дос 3,3% на намаляванеброя на убийствата в държавата? Вярвате ли, че 10 до 20% от спада на престъпността през 90-те години на миналия век е причинен от увеличаване на абортите през 70-те? Или че процентът на убийствата щеше да се увеличи с 250% от 1974 г. насам, ако Съединените щати не бяха построили толкова много нови затвори?

Ако сте били подведени от някое от тези проучвания, може би сте се влюбили в пагубна форма на науката за боклуци: използването на математически модели без демонстрирана предсказваща способност за извличане на политически заключения. Тези изследвания са повърхностно впечатляващи. Написани от реномирани социални учени от престижни институции, те често се появяват в рецензирани научни списания. Изпълнени със сложни статистически изчисления, те дават точни числови „факти“, които могат да се използват като аргументи на дебатите в политически аргументи. Но тези “факти” са волята. Преди да изсъхне мастилото върху едно изследване, се появява друго с напълно различни „факти“. Въпреки научния си вид, тези модели не отговарят на основния критерий за полезен математически модел: способността да се правят прогнози, които са по-добри от случайните случайности.

Въпреки че икономистите са водещите практици на това тайно изкуство, социолозите, криминолозите и други социални учени също имат версии за него. Известно е с различни имена, включително „иконометрично моделиране“, „моделиране на структурни уравнения“ и „анализ на пътя“. Всичко това са начини за използване на корелациите между променливите, за да се направят причинно-следствени изводи. Проблемът с това, както знае всеки, който е минал курс по статистика, е, че корелацията не е причинно-следствена връзка. Корелациите между две променливи често са “фалшиви”, защото са причинени от трета променлива. Иконометричните моделисти се опитват да преодолеят този проблем, като включват всички съответни променливи в своите анализи, като използват статистическа техника, наречена „множествена регресия“. Ако човек има перфектни мерки за всички причинно-следствени променливи, това би работило. Но данните никога не са достатъчно добри. Многократните опити да се използва множествена регресия за постигане на категорични отговори на въпроси на обществената политика се провалиха.

Но много социални учени не са склонни да признаят провала. Те са посветили години на обучение и преподаване на регресионно моделиране и продължават да използват регресията, за да излагат причинно-следствени аргументи, които не са оправдани от техните данни. Наричам тези аргументи митове за множествена регресия и бих искал да използвам четири проучвания за процента на убийства като примери.

Мит първи: Повече оръжия, по-малко престъпност.

Джон Лот, икономист от университета в Йейл, използва иконометричен модел, за да твърди, че „позволяването на гражданите да носят скрити оръжия възпира насилствените престъпления, без да увеличава случайните смъртни случаи“. Анализът на Лот включва закони „ще издава“ закони, които изискват местните власти да издават разрешение за скрито оръжие на всеки спазващ закона гражданин, който кандидатства за такова. Лот изчисли, че всеки един процент увеличение на притежанието на оръжие сред населението причинява 3,3% намаление на процента на убийства. Лот и неговият съавтор Дейвид Мустард публикуваха първата версия на своето изследване в Интернет през 1997 г. и десетки хиляди хора я изтеглиха. Това беше предмет на политически форуми, вестникарски колони и често доста сложни дебати в световната мрежа. В книга със закачливото заглавие More Guns, Less Crime, Лот се подиграва с критиците си, обвинявайки ги, че поставят идеологията пред науката.

Работата на Лот е пример за статистическа превъзходство. Той има повече данни и по-сложен анализ от всеки друг, който изучава темата. Той изисква всеки, който иска да оспори аргументите му, да се потопи в много сложен статистически дебат, базиран на толкова трудни изчисления, че не могат да бъдат направени с обикновени настолни компютри. Той предизвиква всеки, който не е съгласен с него, да изтегли своя набор от данни и да преработи изчисленията си, но повечето социални учени не смятат, че си струва да възпроизвеждат изследвания, използвайки методи, които многократно са се провалили. Повечето изследователи в контрола на оръжието просто отхвърлиха твърденията на Лот и Мустард и продължиха работата си. Двама уважавани изследователи на наказателното правосъдие, Франк Зимринг и Гордън Хокинс (1997), написаха статия, в която обясняват, че:

точно както господата Лот и Мустард могат, с един модел на детерминантите на убийството, да произведат статистически остатъци, предполагащи, че законите „трябва да издават“ намаляват убийство, ние очакваме, че решителен иконометричен специалист може да произведе третиране на едни и същи исторически периоди с различни модели и противоположни ефекти. Иконометричното моделиране е нож с две остриета в способността си да улеснява статистическите открития, за да стоплят сърцата на истински вярващи от всякаква земя.

Зимринг и Хокинс бяха прави. В рамките на една година двама решителни иконометрици, Дан Блек и Даниел Нагин (1998), публикуваха проучване, което показва, че ако променят малко статистическия модел или го прилагат към различни сегменти от данните, констатациите на Лот и Мустард изчезват. Блек и Нагин откриха, че когато Флорида беше извадена от извадката, няма „забележимо въздействие на законите за правото на носене върху процента на убийства и изнасилвания“. Те стигнаха до заключението, че „изводите, базирани на модела на Лот и Мустард, са неподходящи и техните резултати не могат да бъдат използвани отговорно за формулиране на обществена политика“.

Джон Лот обаче оспори техния анализ и продължи да популяризира своя собствен. Лот е събрал данни за всеки от американските окръзи за всяка година от 1977 до 1992 г. Проблемът с това е, че американските окръзи се различават значително по размер и социални характеристики. Няколко големи, включващи големи градове, представляват много голям процент от убийствата в Съединените щати. Както се случва, нито един от тези много големи окръзи няма закони за контрол върху оръжията. Това означава, че масивният набор от данни на Лот е просто неподходящ за неговата задача. Той нямаше вариации в ключовата си причинно-следствена променлива – закони „ще издава“ – на местата, където са извършени повечето убийства.

Той не споменава това ограничение в своята книга или статии. Когато открих липсата на закони за „издаване“ в големите градове в моя собствен преглед на неговите данни, го попитах за това. Той вдигна рамене, като каза, че е „контролирал“ размера на населението в своя анализ. Но въвеждането на статистически контрол в математическия анализ не компенсира факта, че той просто няма данни за големите градове, където проблемът с убийствата е най-остър.

Отне ми известно време, за да намеря този проблем в неговите данни, тъй като не бях запознат с проблема с контрола на оръжието. Но Зимринг и Хокинс веднага се насочиха към това, защото знаеха, че законите „ще издават“ са въведени в щати, където Националната оръжейна асоциация е мощна, предимно на юг, запад и в селските райони. Това бяха държави, които вече имаха малко ограничения за оръжията. Те отбелязаха, че тази законодателна история разочарова „способността ни да сравняваме тенденциите в щатите „трябва да издаваме“ с тенденциите в други държави. Тъй като щатите, които са променили законодателството, са различни по местоположение и конституция от държавите, които не са го направили, сравненията между законодателните категории винаги ще бъдат риск от объркване на демографските и регионалните влияния с поведенческото въздействие на различните правни режими.” Зимринг и Хокинс освен това отбелязват, че:

Лот и Мустард, разбира се, са наясно с този проблем. Тяхното решение, стандартна иконометрична техника, е да се изгради статистически модел, който ще контролира всички разлики между Айдахо и Ню Йорк, които влияят на нивата на убийства и престъпност, различни от законите за „издаване“. Ако може да се „уточнят” основните влияния върху убийствата, изнасилванията, кражбите с взлом и автокражбите в нашия модел, тогава можем да елиминираме влиянието на тези фактори върху различните тенденции. Lott и Mustard изграждат модели, които оценяват ефектите на демографските данни, икономическите данни и наказателното наказание върху различни престъпления. Тези модели са най-добрият в статистическата домашна кухня, тъй като са създадени за тези данни, зададени от тези автори и са тествани само върху данните, които ще бъдат използвани при оценката на въздействията върху правото на носене.

Лот и Мустард сравняваха тенденциите в Айдахо, Западна Вирджиния и Мисисипи с тенденциите във Вашингтон, окръг Колумбия и Ню Йорк. Това, което всъщност се случи, беше, че през 80-те и началото на 90-те години имаше експлозия от убийства, свързани с крак, в големите източни градове. Целият аргумент на Лот се свежда до твърдение, че предимно селските и западните щати „трябва да издават“ са били пощадени от свързаната с крак епидемия от убийства поради техните закони „трябва да издават“. Това никога нямаше да бъде взето на сериозно, ако не беше затъмнено от лабиринт от уравнения.

Мит втори: Задържането на повече хора намалява престъпността

Случаят с Лот и Горчица беше изключителен само по отношение на общественото внимание, което получи. Доста обичайно, дори типично, е публикуването на конкурентни проучвания с помощта на иконометрични методи, за да се стигне до противоположни заключения по един и същи въпрос. Често няма нищо очевидно нередно в нито един от анализите. Те просто използват малко различни набори от данни или различни техники, за да постигнат различни резултати. Изглежда, че регресионните моделисти могат да постигнат всеки резултат, който искат, без да нарушават правилата на регресионния анализ по никакъв начин. В едно изключително откровено изявление за разочарование от това състояние на нещата, двама уважавани криминалисти, Томас Марвел и Карлайл Муди (1997: 221), съобщават за приемането на проведено от тях проучване за ефекта на лишаването от свобода върху процента на убийствата. Те съобщават, че са:

широко разпространени [своите] констатации, заедно с използваните данни, на колеги, които са специализирани в количествения анализ. Най-честият отговор е, че отказват да повярват на резултатите, независимо колко добър е статистическият анализ. Зад това твърдение стои идеята, често обсъждана неофициално, но рядко публикувана, че социалните учени могат да постигнат желания резултат чрез манипулиране на използваните процедури. Всъщност голямото разнообразие от оценки относно въздействието на населението в затворите се приема като добро доказателство за гъвкавостта на изследванията. Изводът, дори сред мнозина, които редовно публикуват количествени проучвания, е, че без значение колко задълбочен е анализът, резултатите не са достоверни, освен ако не отговарят на предходните очаквания. Една изследователска дисциплина не може да успее в такава рамка.

За тяхна голяма заслуга, Marvell и Moody откровено признаха проблемите с множествената регресия и направиха някои предложения за подобрение. За съжаление, някои иконометрици толкова се потапят в своите модели, че губят представа колко произволни са те. Те започват да вярват, че техните модели са по-реални, по-валидни от разхвърляната, непокорна, „неконтролирана“ реалност, която искат да обяснят.

Мит трети: Екзекуцията на хора намалява престъпността

През 1975 г. American Economic Review публикува статия на водещ икономист Исак Ерлих от Университета на Мичиган, който изчислява, че всяка екзекуция възпира осем убийства. Преди Ерлих най-известният специалист по ефективността на смъртното наказание е Торстен Селен, който използва много по-прост метод за анализ. Селен подготви графики, сравняващи тенденциите в различни държави. Той откри малка или никаква разлика между щатите със или без смъртно наказание, така че заключи, че смъртното наказание няма разлика. Ерлих, в акт на статистическа превъзходство, твърди, че неговият анализ е по-валиден, защото контролира всички фактори, които влияят на процента на убийства.

Още преди да бъде публикувана, работата на Ерлих е цитирана от генералния солиситор на Съединените щати в доклад на amicus curiae, подаден във Върховния съд на Съединените щати в защита на смъртното наказание. За щастие Съдът реши да не се позовава на доказателствата на Ерлих, тъй като те не са били потвърдени от други изследователи. Това беше разумно, защото в рамките на година или две други изследователи публикуваха също толкова сложни иконометрични анализи, показващи, че смъртното наказание няма възпиращ ефект.

Спорът около работата на Ерлих беше толкова важен, че Националният изследователски съвет свика експертна група със синя лента, за да я прегледа. След много задълбочен преглед комисията реши, че проблемът не е само в модела на Ерлих, а в идеята за използване на иконометрични методи за разрешаване на противоречия относно политиките на наказателното правосъдие. Те (Мански, 1978: 422) стигнаха до заключението, че:

тъй като данните, които вероятно ще бъдат налични за такъв анализ, имат ограничения и тъй като престъпното поведение може да бъде толкова сложно, появата на окончателно поведенческо изследване, което лежи, за да сложи край на всички противоречия относно поведенческите ефекти на възпирането не трябва да се очакват политики.

Повечето експерти сега смятат, че Селен е бил прав, че смъртното наказание няма доказан ефект върху броя на убийствата. Но Ерлих не е бил убеден. Сега той е самотен истински вярващ в валидността на своя модел. В скорошно интервю (Bonner and Fessendren, 2000) той настоя, че „ако се отчетат вариации като безработица, неравенство в доходите, вероятност от задържане и желание за използване на смъртно наказание, смъртното наказание показва значителен възпиращ ефект“.

Мит четвърти: Легализираният аборт предизвика спад на престъпността през 90-те години на миналия век.

През 1999 г. Джон Донохю и Стивън Левит пуснаха проучване с ново обяснение за рязкото намаляване на броя на убийствата през 90-те години. Те твърдят, че легализирането на абортите от Върховния съд на САЩ през 1973 г. е довело до намаляване на раждането на нежелани деца, непропорционално голям брой от които биха израснали като престъпници. Проблемът с този аргумент е, че легализирането на аборта е еднократно историческо събитие и еднократните събития не предоставят достатъчно данни за валиден регресионен анализ. Вярно е, че абортът е бил легализиран по-рано в някои щати от други и Донохю и Левит използват този факт. Но всички тези държави преминават през едни и същи исторически процеси и много други неща се случват в същия исторически период, които оказват влияние върху броя на убийствата. Един валиден регресионен анализ би трябвало да обхване всички тези неща и да ги тества в широк диапазон от вариации. Съществуващите данни не позволяват това, така че резултатите от регресионния анализ ще варират в зависимост от това кои данни са избрани за анализ.

В този случай Донохю и Левит избраха да се съсредоточат върху промяната за период от дванадесет години, игнорирайки колебанията през тези години. Правейки това, както Джеймс Фокс (2000: 303) посочи, „те пропуснаха повечето от промените в престъпността през този период – възходящата тенденция през края на 80-те години на крак ерата и низходящата корекция в годините след крак. Това е нещо като изучаване на ефектите на лунните фази върху океанските приливи, но записване на данни само за периоди на отлив.”

Когато пишех тази статия, включих изречение, в което се казва, че „скоро друг регресионен анализатор вероятно ще анализира отново същите данни и ще стигне до различни заключения“. Няколко дни по-късно жена ми ми подаде вестникарска статия за точно такова изследване. Авторът е не друг, а Джон Лот от Йейл, заедно с Джон Уитли от университета в Аделаида. Те събраха същите цифри и стигнаха до заключението, че „легализирането на абортите увеличава броя на убийствата с около 0,5 до 7 процента“ (Lott and Whitely, 2001).

Защо толкова значително различни резултати? Всеки набор от автори просто избра различен начин за моделиране на неадекватна маса от данни. Иконометрията не може да направи валиден общ закон от историческия факт, че абортите са били легализирани през 70-те години на миналия век, а престъпността е намаляла през 1990-те. Ще ни трябват поне няколко десетки подобни исторически преживявания за валиден статистически тест.

Заключения.

Киселинният тест в статистическото моделиране е прогноза. Прогнозата не трябва да е перфектна. Ако моделът може да предвиди значително по-добре от произволното отгатване, това е полезно. Например, ако един модел може да предскаже цените на акциите дори малко по-добре от случайното отгатване, това ще направи собствениците му много богати. Така че бяха положени много усилия в тестването и оценката на моделите на цените на акциите. За съжаление, изследователите, които използват иконометрични техники за оценка на социалните политики, много рядко подлагат своите модели на предсказващи тестове. Извинението им е, че отнема твърде много време, за да бъдат известни резултатите. Не получавате нови данни за бедността, абортите или убийствата на всеки няколко минути, както правите с цените на акциите. Но изследователите могат да правят предсказващо тестване по други начини. Те могат да разработят модел, използвайки данни от една юрисдикция или период от време, след което да го използват за прогнозиране на данни от други времена или места. Но повечето изследователи просто не правят това или ако го правят, моделите се провалят и резултатите никога не се публикуват.

Списанията, които публикуват иконометрични изследвания по въпроси на обществената политика, често не изискват предсказващо тестване, което показва, че редакторите и рецензентите имат ниски очаквания за своите области. Така изследователите вземат данни за определен период от време и продължават да го настройват и коригират модела си, докато успеят да „обяснят“ тенденциите които вече се случиха. Винаги има няколко начина да направите това, а при съвременните компютри не е много трудно да продължите да опитвате, докато не намерите нещо, което пасва. В този момент изследователят спира, записва констатациите и изпраща статията за публикуване. По-късно друг изследовател може да коригира модела, за да получи различен резултат. Това изпълва страниците на научните списания и всички се преструват, че не забелязват, че се постига малък или никакъв напредък. Но ние не сме по-близо до това да имаме валиден иконометричен модел на броя на убийствата днес, отколкото бяхме, когато Исак Ерлих публикува първия модел през 1975

г. Научната общност не разполага с добри процедури за признаване на провала на широко използван изследователски метод. Методите, които са утвърдени в магистърски програми във водещи университети и публикувани в престижни списания, са склонни да се увековечават. Много лаици приемат, че ако едно изследване е публикувано в рецензирано списание, то е валидно. Случаите, които разгледахме, показват, че това не винаги е така. Партньорската проверка гарантира, че установените практики са били следвани, но е от малко помощ, когато самите тези практики са дефектни.

През 1991 г. Дейвид Фридман, изтъкнат социолог от Калифорнийския университет в Бъркли и автор на учебници по количествени методи на изследване, разклати основите на регресионното моделиране, когато откровено заявява: „Не мисля, че регресията може да носи голяма част от тежестта в каузален аргумент. Нито пък регресионните уравнения сами по себе си не дават голяма помощ при контролирането на объркващи променливи” (Freedman, 1991: 292). Статията на Фридман предизвика редица остри реакции. Ричард Бърк (1991: 315) отбелязва, че аргументът на Фридман „ще бъде много труден за приемане от повечето количествени социолози. Той отива в сърцето на тяхното емпирично начинание и по този начин излага на опасност цялата професионална кариера“.

Изправени пред критици, които искат някакво доказателство, че могат да предскажат тенденции, регресионните моделисти често се връщат към статистическото единство. Те правят аргументите толкова сложни, че само други висококвалифицирани регресионни анализатори могат да ги разберат, камо ли да ги опровергаят. Често тази техника работи. Потенциалните критици просто се отказват от разочарование.от Philadelphia Inquirer Дейвид Болд(1999), след като чу Джон Лот да говори за скрити оръжия и проценти на убийства и се консултира с други експерти, се оплаква, че „опитът да се подредят академичните аргументи е почти глупава задача. Можете да се удавите в спорове за т -статистически данни, фиктивни променливи и методи за анализ на данни „Поасон“ срещу „най-малки квадрати“.“

Болд беше прав, като подозираше, че го примамват в мисия на глупак. Всъщност няма важни открития в социологията или криминологията, които да не могат да бъдат съобщени на журналисти и политици, които нямат дипломи по иконометрия. Време е да признаем, че императорът няма дрехи. Когато им бъде представен иконометричен модел, потребителите трябва да настояват за доказателства, че той може да предвиди тенденции в данни, различни от данните, използвани за създаването му. Моделите, които се провалят на този тест, са наука за боклуци, без значение колко сложен е анализът.

 

REFERENCES

 

Berk, Richard.A. 1991. Toward a methodology for mere mortals,” Sociological Methodology 21: 315-324.

Boldt, David. 1999. “Study evidence on guns,” Philadelphia Inquirer, December 14. Downloaded on May17, 2000 from: http://www.phillynews.com/inquirer/99/Dec/14/opinion/BOLDT14.htm.

Black, Dan. and Daniel Nagin 1998. Do right-to-carry laws deter violent crime? Journal of Legal Studies 27: 209-219.

Bonner, Raymond and Ford Fessendren. 2000. States with no death penalty share lower homicide rates,” New York Times, September 22. Downloaded from: http://www.nytimes.com/2000/09/22/national/22DEAT.html.

Donohue, John and Steven Levitt. 1999. Legalized Abortion and Crime. Stanford University Law School. Downloaded in August, 2000 from: http://papers.ssrn.com/paper.taf?ABSTRACT_ID=174508.

Fox, James. 2000. Demographics and U.S. homicide, In A. Blumstein and J. Wallman (eds.), The Crime Drop in America, Cambridge University Press, New York, pp. 288-317.

Freedman, David 1991. Statistical models and shoe leather. Sociological Methodology 21: 291-313.

Lott, John. 2000. More Guns, Less Crime: Understanding Crime and Gun Control Laws. University of Chicago Press, second edition with additional analyses.

Lott, John. and John Whitley. 2001. Abortion and crime: Unwanted children and out-of-wedlock births,” Yale Law & Economics Research Paper No. 254. Downloaded on July 9, 2001 from: http://papers.ssrn.com/sol3/papers.cfm?abstract_id=270126.

Marvell, Thomas and Carlisle Moody, C. 1997. The impact of prison growth on homicide. Homicide Studies 1: 205-233.

Zimring, Frank and Gordon Hawkins. 1997. Concealed handguns: the counterfeit deterrent, The Responsive Community 7: 46-60.

Subscribe to our alerts

Join the Privacy Club and receive alerts about VPN deals.

You can unsubscribe at any time

Subscribe to VPN alerts