Glavna pretpostavka Falk et al. istraživanja jest da zoološki vrtovi i akvariji imaju pozitivan utjecaj na osjećaje, stavove i znanje posjetitelja prema očuvanju.

Falk et al. odabrali su dva zoološka vrta i dva akvarija, gdje su ispitivali posjetitelje na ulazu i izlazu, kako bi ' dobili najobuhvatniju moguću sliku o njihovom znanju o očuvanju, kao i očitovanje, svrhu i sveukupni dojam njihovog posjeta ' (str.8).

Falk et al. odredili su afektivni odgovor posjetitelja skalom Likertova tipa, od 13 stavki i sedam točaka (crtež 1).

Pregled sadržaja stavki skale Likertova tipa kod Falk et al. otkriva da su samo dvije od tri stavke tumačene negativno.

Ostavimo sad tu veliku slabost po strani i okrenimo se detaljnijem metodološkom pregledu valjanosti Falk et al.

Preciznije, postavljamo pitanje: jesu li Falk et al. vjerodostojno zabilježili prijavljena uvjerenja ispitanika o njihovim stavovima i znanju.

Glavne metodološke prijetnje valjanosti Falk et al. tiču se slabog nadzora eksperimenata.

Iako ne postoji samo jedan idealni način kontrole iskustava zooloških vrtova/akvarija, Falk et al. nisu uključili čak niti minimalno učinkovite postupke raščlanjivanja koji bi se bavili tom temom.

Isti fenomen može vrijediti i za rezultate koje su iznijeli Falk et al., jer je moguće da su se ispitanici prisjetili svojih stavova prije posjeta manje pozitivnima nego što su bili nakon posjeta.

Na primjer, Zoo u Bronxu, koji je bio jedan od sudionika u Falk et al., o nekim svojim izlošcima govori kao o ' živim učionicama '.

Očite poruke očuvanja i edukacije povezane s ovim atrakcijama čine namjere zoološkog vrta, kao i one istraživača, očitima svim posjetiteljima, a time i prožimaju istraživanje Falk et al. s potencijalnim značajkama potražnje koje mogu umanjiti njegovu valjanost.

Falk et al. zanemarili su se zaštititi od tog problema: štoviše, posjetitelje su ' u potpunosti informirali o svrsi istraživanja ' (Alat za procjenu posjetitelja, str. 10), a na str. 13 daje upute ispitivačima da ih uvjeri (posjetitelje) ' da će njihovo sudjelovanje osigurati pozitivnu i opipljivu korist budućim posjetiteljima zooloških vrtova i akvarija. ' Te upute čine doslovno sva otkrića Falk et al. potencijalno sumnjivima.

Nadalje, Falk et al. su dali upute ispitivačima da u znak zahvale sudionicima dijele male darove.

Falk et al. istraživanje obuhvaća dvije faze.

Osnovni cilj istraživanja bio je ' procijeniti utjecaj posjeta zoološkim vrtovima i akvarijima na odrasle, kao i razviti instrumente koje će svaka institucija moći koristiti u mjerenju njihovog utjecaja na posjetitelje u svezi očuvanja ' (Falk et al., 2007., str. 6).

Kao dodatak već obrađenim velikim prijetnjama valjanosti, istraživanje Falk et al. sadrži i brojne probleme interpretacije.

Središnja slabost Falk et al. jest da autori neprestano povlače kauzalne zaključke iz podataka koji su po prirodi nekauzalni.

Na primjer, Falk et al. tvrde: ' Naše trogodišnje istraživanje o utjecaju na posjetitelje je pokazalo da posjet ovlaštenom zoološkom vrtu ili akvariju u Sjevernoj Americi ima određeni učinak na razumijevanje i stavove o očuvanju kod odraslih posjetitelja ' (str.9, naglasak dodan).

Kao što smo ranije primijetili, s obzirom da Falk et al. donose snažne kauzalne zaključke, njihovo se istraživanje s pravom može kritizirati na temelju toga jesu li ti zaključci potkrijepljeni metodološki ispravnim istraživanjem.

Da Falk et al. nisu donosili kauzalne zaključke, gotovo da ne bi bilo razloga raspravljati o metodološkim slabostima vezanima uz prijetnje valjanosti.

Neki bi mogli reći da su metodologije koje su koristili Falk et al. uobičajene u većini istraživanja posjetitelja zooloških vrtova i akvarija.

Falk et al. oslonili su se na nenasumičan izbor sudionika.

Falk et al. nisu procjenjivali niti tražili nove učinke uspoređujući svoje rezultate s odgovorima na neke druge, razmjerno nove stimulanse, kao što su nova uzbudljiva iskustva u zabavnom parku koja ne uključuju životinje.

S obzirom da su mjeritelji koji su i dali procjenu ispitanicima na ispunjavanje bili svjesni željenoga rezultata, objektivnost procedure bilježenja kod Falk et al. sumnjiva je.

Falk et al. nisu niti pokušali ublažiti taj potencijalni problem.

Uistinu, pitanja kojima se Falk et al. bave neporecivo su važna.

Od svibnja 2009. AZA-in su izvještaj deset puta citirali razni zoološki vrtovi i akvariji (Google tražilica, 15. svibnja 2009.) što je rezultiralo sa 120 web traženja (Google tražilica, 15. svibnja 2009.), od kojih su se gotovo svi pohvalno izjasnili u svezi Falk et al. istraživanja.

Falk et al. su utvrdili da je samo-poslije, retrospektivno-prije mjerenje, koje su koristili i neki drugi istraživači na tom području, pouzdanije od tradicionalnih prije/poslije mjerenja za određivanje stavova.

No, niti Rockwell i Kohn (1989.) niti Stevens i Lodl (1999.) nisu zabilježili kvantitativno mjerenje pouzdanosti u svojim procjenama ove metode, tako da ostaje nejasno na temelju čega Falk et al. iznose tu tvrdnju. (Falk et al. prijavljuju koeficijent pouzdanosti (stabilnosti) od 0.842).

Falk et al. zaključuju da ' nije bilo opće statistički značajne promjene u razumijevanju viđenoga ' (str.10).