Forfatter

Lin Sørensen
Mari Hysing

Utgave

Årgang 2014, utgave 2 nr 6
Publisert: 09.12.2014

Vedlegg

Søkestrategi BRIEF

Måleegenskaper ved den norske versjonen av Behavior Rating Inventory of Executive Function (BRIEF), foreldreversjon

Behavior Rating Inventory of Executive Function (BRIEF) er et foreldreutfylt spørreskjema for barn i alderen 5-18 år. Det brukes som mål på overordnete kognitive kontrollfunksjoner i hverdagen, betegnet som eksekutive funksjoner. Det er utviklet av Gioia, Isquith, Guy, & Kenworthy (2000) og oversatt til norsk av Nicholas og Hermansen (2004), og senere revidert av Fallmyr, Ekerholt og Nicholas (2007). Man må ha lisens fra rettighetshaver PAR, inc. for å kjøpe og bruke BRIEF.

Seks norske artikler inneholdt relevant psykometrisk informasjon og ble inkludert i vurderingen.

Det eksisterer ikke norske normer. Det er støtte for bruk av amerikanske normer da disse normene lå innenfor for 95 % konfidensintervallet for skårene i et norsk utvalg. Validiteten til instrumentet er støttet av at det er signifikante forskjeller mellom barn i kliniske grupper, og mer spesifikt ADHD fra jevnaldrende. Det er også vist god begrepsvaliditet da BRIEF er moderat til høyt korrelert med andre sammenlignbare spørreskjemamål. Det er en lav til moderat sammenheng med eksekutive funksjonstester.

De psykometriske egenskapene er undersøkt i til sammen seks norske artikler. Det eksisterer ikke norske normer, men den eksisterende litteraturen viser at den norske versjonen har gode psykometriske egenskaper.

English abstract

Sørensen, L. & Hysing, M. (2014). Psychometric properties of the Norwegian version of Behavior Rating Inventory of Executive Function, Parent version (BRIEF-P). PsykTestBarn, 2:6.

The Behavior Rating Inventory of Executive Function (BRIEF) is a parent report questionnaire for children and youth aged 5-18 years. The questionnaire assesses executive functions in everyday life. BRIEF was developed by Gioia, Isquith, Guy and Kenworthy (2000) and was translated into Norwegian by Nicholas and Hermansen (2004), and later revised by Fallmyr, Ekerholt and Nicholas (2007). A license by the copyright holder PAR, Inc. is needed to buy and use BRIEF.

We included six Norwegian publications that reported relevant psychometric data.

There are no Norwegian norms for BRIEF. There is support for the use of American norms, as these norms were within the 95 % confidence interval of the scores from a Norwegian sample. The validity of the instrument is supported by significant differences between children in clinical groups, more specifically between children with ADHD and their peers. Moderate to high correlations with comparable questionnaire measures indicate good construct validity. There are low to moderate correlations with tests of executive function.

Six Norwegian publications report psychometric properties for BRIEF. There are no national norms, but the exciting evidence indicate that the Norwegian version has good psychometric properties.

html Full tekst (HTML)     PDFBRIEF (hele artikkel)

 

Innledning

Behavior Rating Inventory of Executive Function (BRIEF) ble utviklet av de amerikanske psykologene Gioia, Isquith, Guy, & Kenworthy (2000) for kunne gi et økologisk valid mål for eksekutive funksjoner. Eksekutive funksjoner er regnet som overordnete kognitive kontrollfunksjoner i hjernen som er viktige for å kunne planlegge, utføre og evaluere handlinger hvor inhibisjon (impulshemming), arbeidshukommelse og kognitiv fleksibilitet inngår som underfunksjoner (Miyake et al., 2000). Eksekutive funksjonstester fanger ikke alltid opp vansker i barnets hverdag, og spørreskjema som BRIEF kan da være nyttig supplement i kliniske utredninger da det er mer sensitiv for hvordan barnet fungerer på skolen og hjemme enn eksekutive funksjonstester (Toplak, West, & Stanovich, 2012).

Spørreskjemaet BRIEF ble første gang publisert med en norsk oversettelse i 2004 (Nicholas og Hermansen, 2004). Denne oversettelsen har blitt brukt både i forskningsprosjekter som Barn i Bergen, (Sørensen, Plessen, Nicholas, & Lundervold, 2011; Sørensen, Plessen, & Lundervold, 2012) og i kliniske utredinger. I 2007 ble en ny norsk versjon publisert (Fallmyr, Ekerholt og Nicholas, 2007). Denne er blitt brukt mer omfattende i forskning (Egeland & Fallmyr, 2010; Fallmyr & Egeland, 2011; Skogli et al., 2013) og i klinikk enn den første oversatte versjonen. De to oversatte versjonene av BRIEF til norsk viser ved inspeksjon (av L.S. og M.H.) noen forskjeller i de oversatte formuleringer på enkelte av leddene (et eksempel er et spørsmål relatert til arbeidshukommelse hvor det i versjonen fra 2007 er formulert: ”Husker bare den første eller siste av tre ting som skal gjøres”, mens det i versjonen fra 2004 er formulert: ”Når tre ting skal gjøres, huskes bare det første eller siste”).

Det er flere versjoner av BRIEF tilpasset ulike informanter. For barn mellom 5 og 18 år er det foreldreskjema som omhandles i denne artikkelen, og i tillegg er det et lærerskjema. Det finnes også en selvutfyllingsversjon for barn/ungdom mellom 11 og 18 år.

I spørreskjemaet for foreldre er det 86 spørsmål (utsagn) som vurderes på en Likert-skala fra ”aldri”, ”iblant” til ”ofte” kodet fra 1 til 3. Det tar 10-15 minutter for foreldre å fylle ut BRIEF. Det genereres skårer for åtte skalaer: ”Impulskontroll” (”Inhibit”), ”Fleksibilitet” (”Shift”), ”Emosjonell kontroll” (”Emotional Control”), ”Igangssetting” (”Initiate”), ”Arbeidshukommelse” (”Working Memory”), ”Planlegging/Organisering” (”Plan/Organize”), ”Orden” (”Organization of Materials”) og ”Monitorering” (”Monitor”) (oversettelse av skalanavn til norsk; Fallmyr & Egeland, 2011). I tillegg summeres skalaene Impulskontroll, Emosjonell kontroll og Fleksibilitet til  indeksskåren ”Atferdsreguleringsindeksen” (ARI) (”Behavior Regulation Index”), og skalene Igangsetting, Arbeidshukommelse, Planlegging/Organisering, Orden og Monitorering summeres til en ”Metakognisjonsindeks” (MKI) (”Meta Cognitive Index”).  I tillegg genereres summeskårene ”Global Styringsindeks” (GSI) (”Global Executive Composite”). To validetsskalaer ”Inkonsistens” og ”Negativitet” gir et mål på om foreldre har vært inkonsekvente i svar på lignende spørsmål eller om de har hatt en gjennomgående negativ svarstil. Svarene fra foreldre kan legges inn i et elektronisk skåringsprogram, hvor en funksjonsprofil genereres, og de ulike skårene kan brukes i den kliniske tolkningen av et barns funksjonsnivå. For å kunne si at et barn har sannsynlige eksekutive funksjonsvansker, må skårene ved skalaene og indeksskårene tilsvare mer enn 1,5 standardavvik over gjennomsnittet i aldersklassen til et barn (det vil si T-skåre ≥ 65) (Gioia et al., 2000). Det brukes amerikanske normer hvor T-skårene er justert for barnas kjønn og alder.

Det amerikanske normutvalget bestod av 1419 barn i aldersgruppen fra 5 til 18 år hvor foreldrene fylte ut BRIEF-spørreskjemaet (Gioia et al., 2000). Normutvalget hadde en overvekt av jenter (57 %), og foreldrenes gjennomsnittlige utdanningslengde var 14,2 år (SD = 2,57). Barnas etniske tilhørighet var ikke signifikant korrelert med BRIEF-skårene.

Det kreves lisens fra rettighetshaver PAR, inc. for å kjøpe og bruke BRIEF, hvor det i lisensen er krav til kompetansenivå for bruker. Godkjente brukergrupper er lege og psykolog.  

 

Metode

Vi søkte etter dokumentasjon på testens psykometriske egenskaper i databasene Norart, BIBSYS, SveMed+, CRIStin.no, Cochrane Library, PsycINFO, Medline, Embase og PubMed. Søkedato: 06.11.2013. Søkestrategien er tilgjengelig på http://www.r-bup.no/CMS/ptb.nsf/pages/brief. Vi kontaktet også førsteforfattere av inkluderte artikler, samt oversetterne av foreldreversjonen av BRIEF, for å identifisere dokumentasjon som eventuelt ikke ble fanget opp av det systematiske søket.

Vi inkluderte alle publikasjoner av studier som har undersøkt og rapportert minst ett av følgende i skandinaviske utvalg:

  • normdata for testen
  • reliabilitet: indre konsistens, test-retest, interrater og endringssensitivitet
  • validitet: samsvar med liknende testskårer, samsvar med referansestandard eller annet kriterium, og/eller faktorstruktur

I tillegg, og kun for norske foreldreversjoner av BRIEF, inkluderte vi publikasjoner som rapporterte gjennomsnittsskårer og/eller forekomster for henholdsvis generelle populasjoner og kliniske undergrupper.

To forskere gikk gjennom sammendragene til alle identifiserte publikasjoner, uavhengig av hverandre, etter at dubletter var fjernet. Alle publikasjoner som kunne virke relevante ble bestilt inn i fulltekst, og prosessen over ble gjentatt for fulltekstrapportene.

To forskere vurderte normering, validitet og reliabilitet, uavhengig av hverandre, ved hjelp av en tilpasset versjon av Test review form and notes for reviewers (EFPA 2008).

 


Resultater

Litteratursøk

31 referanser ble identifisert i søket for norsk foreldreversjon, 19 i søket for dansk og svensk foreldreversjon. En norsk artikkel ble i tillegg identifisert gjennom kontakt med forlag, forfattere og oversettere.  Etter gjennomgang av sammendrag ble 18 artikler vurdert i fulltekst, og seks norske artikler som omhandlet relevant psykometrisk informasjon ble inkludert. Ingen svenske eller danske studier ble inkludert. To av artiklene rapporterte fra det samme norske utvalget, men inklusjonskriteriene varierte mellom studiene (Sørensen, Plessen, & Lundervold, 2012; Sørensen, Plessen, Nicholas, & Lundervold, 2011) . Tilsvarende var to andre artikler fra et annet norsk utvalg (Egeland & Fallmyr, 2010; Fallmyr & Egeland, 2011).


 

Tabell 2 a Middelverdier (t-skåre i kliniske undergrupper)

 

 

 

Normer

Det foreligger ikke norske normer for foreldreversjonen av BRIEF. Amerikanske normer benyttes. En sammenligning av norske skårer med de amerikanske normene er foretatt i et norsk utvalg på 9 og 10 år gamle barn (Fallmyr & Egeland, 2011). De amerikanske normene lå innenfor 95 % konfidensintervall til de norske skårene på alle subskalaene, med unntak av ved subskalaen Monitorering. De norske skårene var derfor vurdert til ikke å være statistisk forskjellig fra de opprinnelige, amerikanske normene.

 

Validitet

BRIEF har vist evne til å skille mellom barn som er i kontakt med psykisk helsevern (se tabell 2a) og barn med ADHD (tabell 2b) sammenlignet med kontrollgrupper, noe som kan gi en indikasjon på instrumentets validitet. Det er også funnet i en norsk studie ved å kjøre algoritmen ”random forrest” klassifisering at BRIEF skiller bedre barn med ADHD fra kontroller (gutter: 96 % riktighet og jenter: 92 % riktighet) sammenlignet med bruk av eksekutive funksjonstester (gutter: 73 % riktighet og jenter: 79 % riktighet) (Skogli, Teicher, Andersen, Hovik, & Øie, 2013). Resultatene viste at BRIEF skilte noe bedre ADHD fra kontroller blant gutter enn blant jenter.

Det kan være krevende å vite hva som er egnede sammenligningsmål for BRIEF i vurdering av validitet.  Begrepsvaliditet er i liten grad vurdert i litteraturen. Et unntak er i Barn i Bergen studien (Sørensen, Plessen, & Lundervold, 2012) der BRIEF er korrelert med et annet mål på uoppmerksomhet, Swanson Nolan and Pelham-IV (SNAP; Swanson et al., 2001) uoppmerksomhet, samleskåre med foreldre- og lærerapportering). Det er moderate og høye korrelasjoner mellom SNAP uoppmerksomhet og henholdsvis Fleksiblitetskalaen (r = 0,43) og Arbeidshukommelse (r = 0,73). Sistnevnte korrelasjon er på nivå som er vurdert som god begrepsvaliditet. Imidlertid er det diskutabelt om det er de samme underliggende konstruktene som måles her og om det slik sett er riktig å benytte disse skalaene for validering. Det ble også i samme Barn i Bergen studie studert hvordan ADHD oppmerksomhetssymptomer og emosjonelle problemsymptomer predikerer senere foreldrerapportert Arbeidshukommelse og Fleksibilitet på BRIEF. Det ble her funnet at når foreldre og lærere (en samleskåre ble brukt) rapporterte et høyt nivå av ADHD oppmerksomhetssymptomer på SNAP to år før foreldrene fylte ut BRIEF-spørreskjemaet, predikerte det en signifikant høyere BRIEF-skåre på skalaene Arbeidshukommelse og Fleksibilitet sammenlignet med barna som var rapportert til å ha et lavt nivå av ADHD oppmerksomhetssymptomer. Til sammenligning fant samme studie at et høyt nivå av foreldre- og lærer-rapporterte symptomer (samleskåre) på den Emosjonelle skalaen i Strengths and Difficulties Questionnaire (SDQ; Goodman, 1999) predikerte to år senere en signifikant høyere foreldrerapportert skåre på BRIEF-skalaen Fleksibilitet sammenlignet med barna rapportert til å ha et lavt nivå av emosjonelle symptomer. Resultatene støtter en god begrepsvaliditet på de to BRIEF-skalaene Arbeidshukommelse og Fleksibilitet, som begge forventes å assosieres med oppmerksomhetsvansker i hverdagslivet (Gioia et al., 2000). Begrepsvaliditet er også vurdert ved å studere interkorrelasjoner mellom BRIEF-spørsmålene (Egeland & Fallmyr, 2010), for å studere om de eksisterende indeksskårene overensstemmer med hvordan spørsmålene korrelerer i bruk av den norske versjonen i et norsk utvalg av barn (dette kan også fungere som mål på sammenfallende validitet). Resultatene bekreftet summeringen av skalaskårer til indeksskårer slik funksjonsprofilen genererer. Men interkorrelasjonsanalysene indikerte samtidig at Monitor-skalaen kan deles i to, en Atferdsmonitoreringsskala og en Oppgavemonitoreringsskala. Ved denne inndelingen av skalaskårer, var det støtte for å summere skalaskårene til 3 indeksskårer, en Atferdsreguleringsindeks (Impulskontroll- og Atferdsmonitorering-skalaene), en Emosjonsreguleringsindeks (Emosjonell kontroll- og Fleksibilitet-skalaene) og en Metakognisjonsindeks (Igangsetting-, Arbeidshukommelse-, Planlegging/Organisering-, Orden- og Oppgavemonitorering-skalaene).

Kriterievaliditet er også kartlagt ved å se på samsvar mellom foreldrerapportert eksekutiv funksjon og ulike eksekutive funksjonstester. I internasjonal litteratur rapporteres det typisk om en lav til moderat korrelasjon mellom skårer generert fra nevropsykologiske tester og BRIEF-skalaer (Toplak, West, & Stanovich, 2012). I norske studier er det rapportert om lignende funn, hvor skårer fra eksekutive tester som måler inhibisjon, arbeidshukommelse og kognitiv fleksibilitet korrelerer med BRIEF-skalaskårer typisk fra r = 0,30 til opp mot r = 0,50 (Skogli et al., 2013; Sørensen, Plessen, & Lundervold, 2012).  

 

Reliabilitet

Indre konsistens er vurdert ved Cronbachs alfa i flere av de inkluderte studiene. I utvalget fra Barn i Bergen (Sørensen et al., 2012) var Chronbachs alfa på et godt nivå mellom 0,81 og 0,93. Tilsvarende nivå i Fallmyr et al var 0,76-0,92  som da spenner fra et tilfredsstillende til utmerket nivå (Fallmyr & Egeland, 2011).

 

Samsvar mellom foreldrerapporterte og lærerrapporterte BRIEF-skårer

Samsvar mellom informanter ble vurdert ved rangkorrelasjoner mellom foreldre og lærerutgaven av BRIEF  i en norsk studie (Fallmyr & Egeland, 2011) og viste svake til moderate korrelasjoner, noe som også kan forventes mellom to ulike informanttyper (McCandless & O’ Laughlin, 2007).

 

Diskusjon og konklusjon

BRIEF er vurdert i flere norske studier. Det eksisterer ikke norske normer og man benytter amerikanske normer. Det er vist i et norsk utvalg at det er liten forskjell mellom de amerikanske normene og norske skårer, med unntak av subskalaen Monitorering, hvor norske barn skåret lavere enn amerikanske. Selv om denne sammenligningen mellom norske skårer og amerikanske normer er gjort på en begrenset aldersgruppe og slik ikke kan generaliseres til andre aldersgrupper, gir det gode indikasjoner på at amerikanske normer kan benyttes også i Norge.  

Reliabilitet ble blant annet målt ved Cronbachs alfa. De ulike subskalene har en indre konsistens som spenner mellom tilfredsstillende og utmerket i de ulike studiene.   Generelt er nivået tilsvarende som i det amerikanske normutvalget. De psykometriske egenskapene ser ut til å være overlappende mellom de to oversettelsene av BRIEF foreldreversjonen til norsk, det anbefales likevel å bruke den andre og reviderte oversettelsen fra 2007, da det er den versjonen som formidles fra rettighetshaver.

I det arbeidet som er gjennomført er også validiteten støttet ved at BRIEF differensierer mellom kliniske grupper og kontrollgrupper, og mer spesifikt mellom barn med og uten ADHD.  Det er også gitt støtte til indeksskårene slik de er i den eksisterende BRIEF skåringen. Imidlertid kan det se ut som om det er andre indeksskårer som muligens kan gi et mer korrekt bilde av de eksekutive funksjonsområdene.  En slik endring vil eventuelt først bli en del av nyere publiserte versjoner av spørreskjemaet. Denne endringen i indeksskårer ble tatt hensyn til i utviklingen av selv-rapporteringsskjemaet for BRIEF for barn i alderen 11 til 18 år (Guy, Isquith, & Gioia, 2004), og inntil en ny versjon av BRIEF for foreldreutfylling publiseres, kan det tas med i en klinisk tolkning av foreldrerapporterte BRIEF-skårer.  Det er videre vist forventet sammenheng mellom BRIEF og andre sammenlignbare mål, som eksekutive funksjonstester. Generelt er validiteten på nivå med tilsvarende amerikanske studier. Basert på de eksisterende resultatene er det god støtte for BRIEF’s validitet.  Likevel er sammenhengen mellom de nevropsykologiske målene på eksekutiv funksjon og de foreldrerapporterte eksekutivfunksjonsbeskrivelsene relativt lav. Dette er en generell utfordring da man kan diskutere hvorvidt man egentlig måler det samme konstruktet og at det derfor ikke kan forventes et høyere samsvar mellom disse målene (Toplak, West, & Stanovich, 2012). Samtidig er det viktig her å påpeke at eksekutive testskårer korrelerer typisk seg i mellom på samme lave til moderate nivå, noe som kan tilskrives at testene kartlegger eksekutiv funksjon via forskjellige modaliteter (for eksempel auditivt eller visuelt), og at skårene inneholder  feilvarians som følge av reliabiliteten til testmål (Miyake et al., 2000; Friedman & Miyake, 2004).

En viktig forskjell mellom nevropsykologisk testing og bruk av foreldre som informanter på BRIEF er i hvilken kontekst en måler grad av eksekutive funksjonsvansker. Ved nevropsykologisk testing sitter barna i et rom med en annen voksen – en setting som er strukturert og oversiktlig for barna. Til sammenligning spør BRIEF foreldre om hvordan de vurderer barnas eksekutive funksjoner i dagliglivet, hvor mange komplekse og uoversiktlige situasjoner oppstår, og dermed kan BRIEF være mer sensitiv for eksekutive funksjonsvansker i hverdagslivet til barna (Skogli, Teicher, Andersen, Hovik, & Øie, 2013). BRIEF er imidlertid ikke nødvendigvis spesifikk i å kunne skille eksekutive funksjonsvansker fra andre basale kognitive dysfunksjoner. F.eks kan en nevropsykologisk kartlegging avklare mer basale-kognitive dysfunksjoner som lærevansker, som også kan medføre eksekutive vansker –og bedre avklare forholdet mellom lærevansker og eksekutive funksjoner enn BRIEF kan.  Dette gjør at spørreskjema og nevropsykologisk testing kan fange ulike aspekter ved eksekutiv fungering.

Generelt er det vurdert at det er en tilstrekkelig støtte for de psykometriske egenskapene til BRIEF. Dokumentasjonen viser god indre konsistens, støtte for begrepsvaliditet og forventete forskjeller mellom kliniske undergrupper og den generelle populasjon.  Det er delvis støtte for kriterievaliditet da det er lave til moderate korrelasjoner med eksekutive funksjonstester, noe som tilsvarer det man forventer basert på utenlandske studier. Dokumentasjon på test-retest reliabilitet er fraværende.

BRIEF foreldrerapport vil kunne gi et valid bilde av foreldrerapporterte eksekutive funksjoner og har spesielt vist seg egnet i forbindelse med ADHD. Videre forskning vil allikevel være nyttig for å få mer informasjon om instrumentets egenskaper, inkludert test-retest reliabilitet og hvordan BRIEF er relatert til funksjon i hverdagslivet.

 

Referanser

Egeland, J., & Fallmyr, O. (2010). Confirmatory factor analysis of the behavior rating inventory of executive function (BRIEF): Support for a distinction between emotional and behavioral regulation. Child Neuropsychology, 16(4), 326-337. http://dx.doi: http://dx.doi.org/10.1080/09297041003601462

European Federation of Pscyhologist Association (EFPA). (2008). EFPA Review model for the description and evaluation of psychological tests: Test review form and notes for reviewers (3.42 ed.): EFPA.

Fallmyr, O., & Egeland, J. (2011). Psychometric properties of the Norwegian version of BRIEF-for children from 5 to 18 years old. Tidsskrift for Norsk psykologforening, 48(4), 339-343.

Friedman, N. P., & Miyake, A. (2004). The relations among inhibition and interference control functions: A latent-variable analysis. Journal of Experimental Psychology: General, 133(1), 101–135. http://dx.doi.org/10.1037/00963445.133.1.101

Gioia, G. A., Isquith, P. K., Guy, S. C., & Kenworthy, L. (2000). Behavior rating inventory of executive function professional manual. Odessa: FL: Psychological Assessment Resources.

Goodman, R. (1999). The extended version of the Strengths and Difficulties Questionnaire as a guide to child psychiatric caseness and consequent burden. Journal of Child Psychology andPsychiatry, 40, 791-799. http://dx.doi.org/10.1017/S0021963099004096

Guy, S., Isquith, P., & Gioia, G. (2004).Behavior Rating Inventory of Executive Function-Self Report Version (BRIEF®-SR) professional manual. Odessa: FL: Psychological Assessment Resources.

McCandless, S., & O’ Laughlin, L. (2007). The Clinical Utility of the Behavior Rating Inventory of Executive Function (BRIEF) in the diagnosis of ADHD. Journal of Attention Disorders, 10, 381-389. http://dx.doi.org/10.1177/1087054706292115

Miyake, A., Friedman, N.P., Emerson, M.J., Witzki, A.H., Howerter, A., & Wager, T.D. (2000). The unity and diversity of executive functions and their contributions to complex “frontal lobes” tasks: A latent variable analysis. Cognitive Psychology, 41, 49-100. http://dx.doi.org/10.1006/cogp.1999.0734

Skogli, E. W., Egeland, J., Andersen, P. N., Hovik, K. T., & Oie, M. (2013). Few differences in hot and cold executive functions in children and adolescents with combined and inattentive subtypes of ADHD. Child Neuropsychol. http://dx.doi.org/10.1080/09297049.2012.753998

Skogli, E. W., Teicher, M.H., Andersen, P. N., Hovik, K. T., & Oie, M. (2013). ADHD in girls and boys - gender differences in co-existing symptoms and executive function measures. BMC Psychiatry, 13/298. http://dx.doi.org/10.1186/1471-244X-13-298.

Sørensen, L., Plessen, K. J., & Lundervold, A. J. (2012). The Impact of Inattention and Emotional Problems on Cognitive Control in Primary School Children. Journal of Attention Disorders, 16(7), 589-599. doi: http://dx.doi.org/10.1177/1087054711417394

Sørensen, L., Plessen, K. J., Nicholas, J., & Lundervold, A. J. (2011). Is Behavioral Regulation in Children With ADHD Aggravated by Comorbid Anxiety Disorder? Journal of Attention Disorders, 15(1), 56-66. doi: http://dx.doi.org/10.1177/1087054709356931

Swanson, J. M., Kraemer, H. C., Hinshaw, S. P., Arnold, L. E., Conners, C. K., Abikoff, H. B., & . . . Wu, M. (2001). Clinical relevance of the primary findings of the MTA: Success rates based on severity of ADHD and ODD symptoms at the end of treatment. Journal of American Academy of Child & Adolescent Psychiatry, 40, 168-179. http://dx.doi.org/10.1097/00004583-200102000-00011

Toplak, M. E., West, R. F., & Stanovich, K. E. (2012). Practioner review: Do performance-based measures and ratings of executive function assess the same construct? Journal of Child Psychology and Psychiatry, http://dx.doi.org/10.1111/jcpp.12001

 

 

Tilbake