Skip Navigation
Skip to contents

STRESS : STRESS

Sumissioin : submit your manuscript
SEARCH
Search

Articles

Page Path
HOME > STRESS > Volume 25(4); 2017 > Article
Original Article
Bifactor 모형을 적용한 CES-D 척도의 요인구조 검증
신재은, 이태헌, 윤소진
A Bifactor Approach to the Factor Structure Study of the CES-D Scale
Jaeeun Shin, Taehun Lee, So Jin Yun
Korean Journal of Stress Research 2017;25(4):272-278.
DOI: https://doi.org/10.17547/kjsr.2017.25.4.272
Published online: December 31, 2017

중앙대학교 심리학과

Department of Psychology, Chung-Ang University, Seoul, Korea

Corresponding author Taehun Lee Department of Psychology, Chung-Ang University, 84 Heukseok-ro, Dongjak-gu, Seoul 06974, Korea Tel: +82-2-820-5896 Fax: +82-2-820-5896 E-mail: lee0267@cau.ac.kr
This research was supported by the Chung-Ang University Research Grants in 2016.
• Received: November 7, 2017   • Revised: November 17, 2017   • Accepted: November 21, 2017

Copyright: © The Korean Journal of Stress Research

This is an open access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

  • 2,115 Views
  • 64 Download
  • 10 Crossref
  • 본 연구는 기존 연구에서 요인 수와 구조의 불일치 문제가 제기되어 온 Radloff의 CES-D 척도의 요인구조에 대해 Bifactor 모형을 적용하여 검증하고자 하였다. 연구 1에서는 한국복지패널조사에서 축약형 CES-D 척도에 응답한 12,309명을 분석 대상으로 요인구조를 확인하였으며, 연구 2에서는 223명의 대학생 및 대학원생을 대상으로 CES-D-K척도의 요인구조 및 준거 타당도를 분석하였다. 요인구조 분석 시 Bifactor 모형에서 도출 가능한 모형 기반 신뢰도와 일차원 검정 지수 등을 활용해 CES-D 척도의 측정적 속성과 요인구조를 보다 정확하게 평가하고자 하였다. 그 결과 CES-D 척도는 강력한 일반요인을 가지는 단일차원으로서 전체점수(총점)를 사용하는 것이 타당하다는 결론을 제시하였다.
  • Background:
    The purpose of this study was to examine the factor structure of the Korean version of CES-D scale by applying the bifactor model. Many studies for validating the CES-D scale have supported the four-factor structure. But some studies found that the three factor structure provided a more appropriate solution. Such inconsistency in the number and structure of factors led us to conduct two studies to clarify the structure of dimensionality of the CES-D-K scale.
  • Methods:
    In study 1, we factor-analyzed the response patterns to the abbreviated CES-D-K scale (11-item, N=12,309) included the Korean Welfare Panel Study. In study 2, we factor-analyzed the data obtained from 223 college and graduate students who responded to the 20-item CES-D-K scale. Correlational analyses were also conducted to investigate criterion validity of the CES-D-K scale with external variables that are theoretically related to depression. The fit indexes of a single-factor model, a four-factors model, and a bifactor model were compared. The Omega coefficients and Explained Common Variance (ECV) were also computed to evaluate the psychometric properties of the CES–D-K scale more accurately.
  • Results:
    The results showed that the CES-D-K scale has a high value of Omega-Hierarchical for the total score, low values of Omega-Hierarchical for the subscale scores, and a high ECV value.
  • Conclusions:
    Therefore, we concluded that, as the scale with a strong general factor, the use of the scale score can accomplish the goal of measuring individual differences on the target construct of depression with little to no gain from constructing subscale scores.
우울은 ‘마음의 감기’로 명명될 정도로 현대 사회에서 일상적이다. 우울을 야기하는 여러 종류의 요인 중 스트레스는 매우 큰 비중을 차지하며 스트레스에 대한 가장 보편적인 반응이 우울로 알려져 있다(Kendler et al., 1999). 국민건강통계 및 국민건강영양조사 자료에 따르면 2015년 한국인의 우울감 경험 비율은 13%로 나타났으며 이는 전체 국민의 13% 정도가 2주 이상의 지속적인 슬픔과 절망감을 느끼고 있음을 뜻한다(Ministry of Health and Social Welfare, 2016). 이러한 우울감이 지속되거나 심각한 스트레스 상황인 상태에 있다면 임상적 우울증으로 발전할 수 있다. 따라서 일반인들이 경험하는 우울증의 증상 정도를 측정할 수 있는 우울 측정 척도를 적절히 활용하는 것이 중요하다.
CES-D 척도(The Center for Epidemiologic Studies Depression Scale)는 Radloff(1977)가 일반인을 대상으로 우울 증상을 용이하게 측정하고 확인하기 위하여 개발하였으며 우울을 변인으로 하는 많은 연구에서 사용되고 있다. 기존의 국외에서 진행된 타당화 연구에서 CES-D 척도가 우울 감정(Depressive Affect), 긍정적 감정(Positive Affect), 신체적 증상(Somatic Symptoms), 대인관계(Interpersonal Difficulties)으로 구성된 4개의 요인구조를 가지고 있음을 밝혔으며, 추후 진행된 다수의 연구에서도 4요인 구조를 지지하는 결과를 보여주었다(Sheehan et al., 1995; Kinght et al., 1997; Williams et al., 2007). 또한 CES-D 척도의 요인구조를 밝히고 있는 28개의 논문을 메타 분석하여 요인구조를 분석한 결과에서도 원저자인 Radloff(1977)가 제시하는 4개의 요인과 동일한 요인으로 분류된다고 제시하였다(Shafer, 2006). 이와 같이 4개의 하위 요인이 많은 연구에서 지지받은 바 있다. 한편, 일부 연구에서는 CES-D 척도의 요인 중 우울 감정 요인과 신체적 증상 요인이 하나의 요인으로 결합되어 3개의 요인으로 보는 것이 타당하다고 주장하기도 하였으며(Dick et al., 1994), CES-D 척도를 구성하는 문항 중 남녀 간의 반응 편향이 나는 문항, 우울 증상을 특정적으로 반영하지 않는 대인관계 문항 및 모형 적합도를 저해하는 문항 등 총 6개의 문항을 삭제하여 14개의 문항이 3요인을 구성한다고 보는 것이 적절하다고 하는 연구도 있었다(Carleton et al., 2013).
이와 같은 CES-D 척도의 요인구조에 관한 의문에 대해 McCallum et al.(1995)은 위계 모형(second-order factor model)을 적용하여 일반요인과 세부 요인의 요인 부하량에 근거한 Schmid-Leiman parameterization 산출법을 통해 요인구조를 밝히고자 하였다. 그 결과 일반요인이 척도의 공통 변량의 76.43%를 설명하며 세부 요인이 각각 우울감정 4.98%, 긍정적 감정 5.67%, 신체 및 행동 둔화 5.29%, 대인관계 7.64%를 설명하여 CES-D 척도가 실제로 강력한 일반요인을 가지는 것을 밝혔으며 일반요인이 CES-D 문항의 대부분의 변량을 설명한다고 제시하였다. 한편, 다차원 척도에 강력한 일반요인이 있다고 고려되는 경우에 위계모형에서의 Schmid-Leiman parameterization 산출법외에도 Bifactor 모형을 적용하여 검증할 수 있다고 알려져 있다(Reise et al., 2010). 이에 따라 Gomez et al.(2015)은 CES-D 척도에 대해 Bifactor 모형을 적용한 확인적 요인분석을 실시한 결과 CES-D 척도의 일반요인이 전체 문항 공변량 중 68.57%를 설명하며 강력한 일반요인을 가지는 것으로 나타났으며 세부 요인 중 긍정적 감정 요인이 공변량의 18.89%를 설명하여 독자적인 설명량을 가진다고 밝혔다. 이러한 결과를 바탕으로 CES-D 척도 점수를 사용할 때 긍정적 감정 요인에 해당하는 문항 점수를 제외한 총점을 사용하는 것이 보다 분명한 점수 해석을 가능하게 한다고 제시하였다(Gomez et al., 2015).
국내에서도 Radloff(1977)의 원 척도를 번안하여 활용하고자 CES-D의 한국판 개발을 위한 신뢰도·타당도 연구가 이루어져 왔다(Chon KK et al., 1992; Cho MJ et al., 1993). 다만 국내에서는 문화적 이유 등으로 인해 CES-D 한국판의 요인구조가 기존의 4요인 구조와는 다를 수 있다는 의견이 제시되었으며(Kim JY et al., 2000), 이러한 이유로 수행된 CES-D 한국판의 요인구조에 관한 연구에서 요인구조를 파악한 결과 대부분 CES-D 척도 원판에서와 같이 4요인 구조가 지지된 바 있다(Chon KK et al., 1992; Cho MJ et al., 1999; Chon KK et al., 2001). 하지만 4요인 구조가 타당하다고 제시한 연구에서 각각의 요인에 부하된 개별 항목들은 원척도와 일치하지 않는 문제점이 있다. Bae SW et al.(2005)은 선행 연구에서 도출된 6가지 유형의 요인구조를 경쟁 모형으로 하여 확인적 요인 분석을 통해 모형 적합도를 비교하였으며 최종적으로 원저자인 Radloff(1977)가 제시한 우울 감정, 긍정적 감정, 신체 및 행동 둔화, 대인관계의 4요인 구조가 가장 타당하다고 주장하였다. 한편 Kim JY et al.(2000)은 노년층과 같이 전통적인 성향을 지닌 집단은 신체적 증상 및 둔마된 행동/우울 정서, 대인관계/ 정서적 고통, 긍정적 감정의 3요인 구조가 적절하다는 의견을 제시하기도 하였다. 이러한 요인 수와 구조의 불일치는 구성 타당도의 확보와 측정 결과의 해석 및 연구의 상호 비교 및 검토를 어렵게 만들 수 있다(Bae SW et al., 2005).
국내에서는 Bifactor 모형을 적용하여 CES-D 척도의 차원 구조에 대해 검증한 연구는 아직 부재하며 차원 구조에 대한 논쟁이 있는 CES-D 척도 요인구조를 보다 명확하게 확인하기 위하여 Bifactor 모형을 적용하여 분석할 필요가 있다. 이에 본 연구에서는 CES-D 척도를 1요인 모형과 Radloff(1997)의 요인 구분에 따른 4요인 모형 그리고 4요인을 집단요인으로 하고 모든 문항을 일반요인으로 하는 Bifactor 모형의 모델 적합도를 비교하고 Bifactor 모형에서 도출할 수 있는 여러 지수들을 통하여 각 요인의 상대적인 설명량을 제시함으로써 국내에서 사용되고 있는 CES-D 척도의 요인구조를 보다 명확히 검증하고자 한다.
1. 연구설계
CES-D 척도의 요인구조를 검증하기 위하여 연구 1에서는 11문항으로 구성된 축약형 CES-D 척도의 요인구조에 대하여 한국복지패널의 패널 자료(KOWEPS, 2016)를 활용하여 예비적으로 요인구조를 확인하였다. 연구 1의 결과를 바탕으로 연구 2에서는 원 척도인 20문항의 CES-D 척도를 사용한 설문지를 구성해 대학생과 대학원생을 대상으로 설문을 실시하여 요인구조를 확인하였다.
CES-D 척도와 같이 차원 구조에 대한 논쟁이 있는 다차원 척도의 경우 Bifactor 모형을 적용하면 각 요인의 영향력을 개별적으로 제시할 수 있어 척도의 요인구조를 보다 명확하게 밝힐 수 있다. Bifactor 모형은 척도가 측정하고자 하는 광범위하고 중심적인 구성개념에 해당하는 일반요인(general factor)과 각 하위 척도에 해당하는 세부 요인으로서 일반요인에 의해 설명되지 않는 집단요인(group factor)으로 구분되는 두 가지 종류의 요인으로 이루어져 있으며 요인들 간의 상관이 없다고 가정한다. CES-D 척도에 Bifactor 모형을 적용하면 척도에 속한 모든 문항은 ‘우울’이라는 중심 개념을 공통적으로 반영하며 모든 문항에 미치는 중심개념과 관련한 요인을 일반요인이라고 할 수 있다. 우울감정, 긍정적 감정, 신체 및 행동 둔화, 대인관계로 구성된 4가지 하위 요인들은 일반요인만으로는 설명되지 않는 나머지 공분산을 설명할 수 있으며 이러한 요인을 집단요인이라고 한다.
연구1과 연구 2에서 CES-D 척도의 1요인, 4요인, Bifactor 모형의 적합도를 비교할 뿐 아니라 Bifactor 모형에서 산출할 수 있는 모형 기반 신뢰도인 오메가 계수(Omega Coefficient, ω), 일차원 검정 지수(index of unidimensionality)인 공통 분산의 설명량(Explained Common Variance, ECV)을 제시함으로써 척도의 보다 명확히 판단하고자 하였다(Rodriguez et al., 2016b). 오메가 계수(ω)는 모형 기반 신뢰도로서 척도 점수의 분산 중 진점수의 분산이 차지하는 비율을 의미한다. 전체 척도의 오메가 위계 계수(ωH)는 척도 점수의 분산 중 집단요인을 제외하고 일반요인의 분산이 차지하는 비율, 하위척도의 오메가 위계계수(ωHS)는 하위척도 점수의 분산 중 집단요인의 분산이 차지하는 비율을 의미한다. ECV는 공통분산 즉, 일반요인과 집단요인의 분산 중에서 일반요인의 분산이 차지하는 비율을 가리킨다(이러한 지수의 산출방법은 Rodrigues et al.(2016b)의 논문에서 상세히 제시하고 있다). 오메가 계수와 일반요인의 오메가 위계 계수의 비율을 산출하면 해당 척도가 일반요인에 의해 얼마나 설명되는지 파악할 수 있다. ECV 값은 척도가 얼마나 단일차원에 가까운지 판단하는데 사용하는 지수로 ECV 값이 클수록 자료가 단일차원에 가깝다고 할 수 있으며 .70 이상인 경우 단일차원의 측정모형을 이용하여 모델링을 해도 큰 문제가 없음을 의미한다(Gu et al., 2017; Rodriguez et al., 2016a).
또한 연구 2에서는 기존 연구(Chae JH, 2006; Kang SR et al., 2015; Park KH et al., 2007)에서 우울 척도와 이론적으로 관련이 있는 것으로 밝혀진 불안과 삶의 만족도를 준거변인으로 설정하여 Bifactor 모형의 일반요인 및 집단요인과의 상관을 각각 살펴봄으로써 Bifactor 모형에서 얻어진 일반요인과 집단요인의 준거 타당도를 검증하고자 하였다.
2. 연구대상
연구 1에서는 2016년 11차 한국복지패널조사에서 가구원을 대상으로 수집되어 일반에 공개된 자료 중에서 축약형 CES-D 척도에 응답한 12,309명을 분석 대상으로 하였다. 참여자의 남녀 비율은 남자 43%, 여자 57%이었으며 표본의 평균 연령은 56.99세(SD=18.57)였다. 연구 2에서는 서울 소재의 C대학과 K대학의 대학생 및 대학원생을 대상으로 2017년 3월부터 4월까지 설문을 실시하였다. 총 223명이 설문에 참여하였으며 각 참여자에게 연구에 대한 정보를 제시하고 연구 동의서에 서명을 받았다. 참여자의 남녀 비율은 남성 31.3%, 여성 68.7%였으며, 표본의 평균 연령은 22.81세(SD=5.53)였다.
3. 연구도구

1) 축약형 CES-D 척도

Kohut et al.(1993)은 응답자의 부담을 경감하기 위하여 CES-D 척도 20문항을 축약하여 11문항과 10문항 두 종류의 축약형 CES-D 척도를 개발하였다. 국내에서도 축약형 CES-D의 활용이 빈번하며 다문항의 응답이 요구되는 한국복지패널조사에서도 축약형 CES-D 척도가 사용되고 있다. 연구 1에서는 11문항으로 구성된 축약형 CES-D 척도를 분석에 활용하였다. 각 문항은 리커트 4점 척도(0: 대체로 그렇지 않다, 1: 보통이다, 2: 대체로 그렇다, 3: 항상 그렇다)로 구성되어 있으며 이 중 2, 7번 문항의 경우 긍정적 감정을 측정하는 문항으로 채점 과정에서 역채점 처리된다. Hoe MS et al.(2015)에 따르면 11문항 CES-D 척도가 4요인 모형(3,6,9번 문항: 우울감정, 2, 7번 문항: 긍정적 감정, 1, 4, 5, 11번 문항: 신체 행동 둔화, 8, 10번 문항: 대인관계)에 부합한다고 밝힌 바 있다.

2) CES-D 한국어판(이하 CES-D-K)

연구 2에서는 Cho MJ et al.(1993)에 의해 번역 표준화된 CES-D 한국어판이 사용되었다. 총 20문항으로 구성되어 있으며, 리커트 4점 척도(0: 대체로 그렇지 않다, 1: 보통이다, 2: 대체로 그렇다, 3: 항상 그렇다)로 이 중 5,10,15번 문항의 경우 긍정적 감정을 측정하는 문항으로 채점 과정에서 역채점 처리된다. CES-D 척도의 원저자인 Radloff(1977)가 제시한 요인구조에 따라 문항 3, 6, 9, 12, 14, 17, 18번 문항을 우울감정 요인, 5, 10, 15번 문항을 긍정적 감정 요인, 1, 2, 4, 7, 8, 11, 13, 20번 문항을 신체 및 행동 둔화 요인, 16, 19번 문항을 대인관계 요인으로 구분하여 분석하였다.

3) 한국판 상태 불안 척도(이하 STAI)

Spielberger et al.(1970)이 개발한 상태 특질-불안 척도(Spielberger’s State-Trait Anxiety Inventory; STAI)를 국내에서 Han DW et al.(2000)이 표준화하였으며 본 연구에서는 상태 불안 척도를 사용하였다. 상태 불안 척도는 총 20개의 문항으로 구성되어 있으며, 4점 리커트 척도로 20점에서 80점의 점수 범위를 가진다. 본 연구에서 이 척도의 Cronbach’s α값은 .93이었다.
4) 삶의 만족 척도(이하 SWLS)
Diener et al.(1985)이 개발한 삶에 대한 전반적인 만족도를 측정하는 삶의 만족 척도(Satisfaction With Life Scale; SWLS)를 국내에서 Lim NY et al.(2010)이 측정적 속성을 분석한 것을 사용하였다. 삶의 만족 척도는 총 5개의 문항으로 구성되어 있으며, 7점 리커트 척도로 5점에서 35점의 점수 범위를 가지고 점수가 높을수록 삶의 만족 수준이 높음을 의미한다. 본 연구에서 이 척도의 Cronbach’s α값은 0.84였다.
4. 자료분석
Mpuls 7프로그램을 사용하여 연구 1과 연구 2에서 분석된 축약형 CES-D 척도와 CES-D-K 척도에 대해 모두 1요인 모형, 4요인 모형, 그리고 Bifactor 모형에 대한 확인적 요인분석을 실시하였다.
Bifactor 모형에서 도출된 일반요인과 집단요인의 요인계수와 고유분산(uniqueness)을 바탕으로 전체 척도의 오메가 계수(ω), 전체 척도의 오메가 위계 계수(ωH), 하위 척도의 오메가 위계 계수(ωHS)와 설명된 공통 분산(Explained Common Variance; 이하 ECV)을 산출하였다.
모형의 식별(identification)을 위해서 요인의 분산을 1.0에 고정하는 방법을 사용하였다. Bifactor 모형의 경우 축약형 CES-D 척도와 20문항의 CES-D-K 척도 모두 대인관계 요인의 하위 문항이 2개 문항만으로 구성되어 있어 모형 식별을 위한 제약에 덧붙여 해당 두 문항의 요인 부하량이 동일하다는 동일성 제약(equality constraint)을 추가하였다.
모수의 추정을 위해서는 리커트 4점 척도로부터 얻은 자료라는 점을 고려하여 비가중최소제곱법(unweighted least squares method)을 사용하였고(Rhemtulla et al., 2012), 모수 추정치의 표준오차와 모형의 적합도 계산을 위해서는 Muthén(1993)Satorra et al.(1994)이 제안한 로버스트 교정(Robust correction) 기법을 적용하였다. Mplus 소프트웨어에서 비가중최소제곱법과 로버스트 교정 기법을 사용하기 위하여 Estimator ULSMV로 지정하였다. 모형의 적합도는 평균과 분산을 교정한 카이제곱 통계량(Muthén, 1993)과 더불어 표본 크기에 영향을 덜 받는다고 알려진 상대적 적합도 지수인 CFI, TLI, 모형의 간명성을 고려한 절대적 적합도 지수인 RMSEA를 사용하였다. CFI, TLI가 대략 0.95 이상, RMSEA가 0.05 미만인 모형이 좋은 적합도를 보인다고 할 수 있다(Bentler, 1990; Hu et al., 1999).
연구 2에서는 CES-D-K 의 Bifactor 모형에서 도출된 일반요인 및 집단요인과 STAI, SWLS와의 상관을 구하였다.
1. 연구 1의 결과
Table 1에서 축약형 CES-D 척도(11문항)의 1요인 모형, 4요인 상관 모형 및 Bifactor 모형에서의 각 문항에 대한 표준화된 요인계수(standardized factor loadings)를 제시하였다.
Table 1
Standardized factor loadings and uniqueness of the abbreviated CES-D scale (11-item)
Item No. One–factor Four-Factor Bifactor



Depression Depressed Affect Positive Affect Somatic Symptoms Interpersonal Difficulties General Depressed Affect Positive Affect Somatic Symptoms Interpersonal Difficulties Uniqueness
CESD1 .763 .795 .741 .384 .303
CESD2R .763 .887 .748 .467 .188
CESD3 .875 .902 .880 .191 .328
CESD4 .802 .836 .792 .213 .409
CESD5 .730 .759 .713 .289 .244
CESD6 .842 .867 .845 .204 .141
CESD7R .738 .856 .723 .467 .184
CESD8 .760 .919 .728 .573 .093
CESD9 .878 .905 .883 .192 .346
CESD10 .790 .960 .761 .573 .222
CESD11 .794 .826 .785 .195 .259
1
.800 1
.924 .809 1
.788 .685 .724 1
축약형 CES-D 척도의 Bifactor 모형에서 도출된 요인계수와 고유분산을 바탕으로 오메가 (위계) 계수를 산출한 결과를 정리하면, 오메가 계수(ω)가 0.966이고 일반요인의 오메가 위계 계수(ωH)는 0.920으로 나타났다. 오메가 계수와 오메가 위계 계수의 비율은 0.920/0.966으로 총점에서 진점수가 차지하는 분산 중 약 95.23%가 일반요인에서의 개인차로 설명 가능하고 축약형 CES-D 척도의 전체 점수는 일반요인을 반영하는 점수로 해석하는 것이 타당하다. 우울감정, 긍정적 감정, 신체 및 행동 둔화, 대인관계에 대한 하위척도 오메가 위계 계수(ωHS)는 각각 0.043, 0.255, 0.101, 0.341로 나타났다. ECV는 0.816으로 일반요인이 81.6%의 공통 분산을 설명한다.
Table 2에서 축약형 CES-D 척도의 1요인, 4요인 상관 모형과 Bifactor 모형의 적합도 지수를 비교한 결과, 4요인 모형과 Bifactor 모형이 상대적으로 더욱 우수한 적합도를 보이는 것으로 나타났다. 다만 4요인 상관 모형에서 각 요인 간 상관의 값이 0.685∼0.924의 범위로 지나치게 높은 점을 고려할 때 각 요인이 구분되는 구성개념으로 이루어져 있는지에 대한 의문이 제기되며(Reise et al., 2016), 산출된 오메가 계수와 ECV 산출 결과에서도 강력한 일반요인을 가지는 것으로 나타나 해당 척도는 본질적으로 단일 차원의 구성개념을 측정하는 것으로 판단하는 것이 더욱 타당하다고 하겠다.
Table 2
Fit of the factor models of the abbreviated CES-D scale (11-item)
 Model df χ2 CFI TLI RMSEA 90% CI RMSEA
One-factor 44 2442.257 .966 .957 .067 .064-.069
Four-factor 38 510.973 .993 .990 .032 .029-.034
Bifactor 35 514.928 .993 .989 .033 .031-.036
2. 연구 2의 결과
설문 참여자 223명이 CES-D-K 총 20문항에 응답한 데이터를 연구 1과 마찬가지로 1요인 모형, 4요인 상관 모형 및 Bifactor 모형으로 분석하고 Table 3에서 각 문항에 대한 표준화된 요인계수를 제시하였다.
Table 3
Standardized factor loadings and uniqueness of the CES-D-K (20-Item)
 Item No. One–factor Four-Factor Bifactor



Depression Depressed Affect Positive Affect Somatic Symptoms Interpersonal Difficulties General Depressed Affect Positive Affect Somatic Symptoms Interpersonal Difficulties Uniqueness
CESD1 .763 .795 .741 .384 .303
CESD2R .763 .887 .748 .467 .188
CESD3 .875 .902 .880 .191 .328
CESD4 .802 .836 .792 .213 .409
CESD5 .730 .759 .713 .289 .244
CESD6 .842 .867 .845 .204 .141
CESD7R .738 .856 .723 .467 .184
CESD8 .760 .919 .728 .573 .093
CESD9 .878 .905 .883 .192 .346
CESD10 .790 .960 .761 .573 .222
CESD11 .794 .826 .785 .195 .259
1
.800 1
.924 .809 1
.788 .685 .724 1
CES-D-K 척도의 Bifactor 모형에서 도출된 요인계수와 고유분산을 바탕으로 오메가 (위계) 계수를 산출한 결과, 오메가 계수(ω)가 0.969이고 일반요인의 오메가 위계 계수(ωH)는 .936으로 나타났다. 오메가 계수와 오메가 위계 계수의 비율은 0.936/0.969로 총점에서 진점수가 차지하는 분산 중 약 96.6%가 일반요인에서의 개인차로 설명 가능하여 CES-D-K 척도의 전체 점수 역시 일반요인을 반영하는 점수로 해석하는 것이 타당함을 제시한다. 우울감정, 긍정적 감정, 신체 및 행동 둔화, 대인관계에 대한 하위척도 오메가 위계 계수(ωHS)는 각각 0.036, 0.288, 0.085, 0.269로 나타났다. ECV는 0.809로 일반요인이 80.9%의 공통 분산을 설명하는 것으로 나타났다.
Table 4에서 CES-D-K 척도의 1요인, 4요인 상관 모형과 Bifactor 모형의 적합도 지수를 비교한 결과, Bifactor 모형이 χ2 (151, N=223)=251.859, p<0.05, CFI=0.977, TLI= 0.971, RMSEA=0.055 (90% CI [0.043∼0.067])로 모든 지표에서 상대적으로 좋은 적합도를 보이는 것으로 나타났다.
Table 4
Fit of the factor models of the CES-D-K (20-item)
 Model df χ2 CFI TLI RMSEA  90% CI RMSEA 
One-factor   170  359.559  .957   .952  .071 .061∼.082
Four-factor 164 291.105 .971 .967 .059 .048∼.071
Bifactor 151 251.859 .977 .971 .055 .043∼.067
한편, Table 5에서 CES-D-K척도의 Bifactor 모형에서 도출된 일반요인 및 4개의 집단 요인과 STAI, SWLS의 상관을 제시하였다. 일반요인과 STAI, SWLS 간의 상관은 각각 .734, -.529로 p<.001 수준에서 유의하고 강한 상관을 보였다. 그러나 집단요인 중 긍정적 정서 요인과 STAI, SWLS 간의 상관이 p<.001 수준에서 유의하였으나 상관 값이 작으며 나머지 집단 요인의 경우 유의하지 않거나 이론적인 가정과는 반대의 상관 값을 가지는 것으로 나타났다.
Table 5
Correlations of the factors in the CES-D-K Bifactor model with the STAI and SWLS
 Factors STAI SWLS
General  .734***  -.529***
Depressed Affect -.129 .456**
Positive Affect .291*** -.367***
Somatic Symptoms .125 .387*
Interpersonal Difficulties  -.044 .080

* p<.05,

** p<.01

*** p<.001.

본 연구는 일반인들이 경험하는 우울을 보다 용이하게 측정하기 위하여 국내외에서 매우 빈번하게 사용되는 우울 척도 중 하나이지만 요인구조에 대한 논란과 불일치가 있었던 CES-D 척도의 요인구조를 명확히 밝히기 위하여 1요인 모형, 4요인 모형, Bifactor 모형을 적용해 확인적 요인분석을 실시하였다. 예비연구로서 연구 1은 12,309명의 패널 자료를 통해 수집된 11문항의 축약형 CES-D 척도에 대해 세 가지 요인 모형의 적합도를 비교하고 전체척도의 오메가 계수, 전체척도의 오메가 위계 계수, 하위척도의 오메가 위계 계수 및 ECV를 산출하였으며 연구 2에서는 서울 소재 대학생과 대학원생 223명을 대상으로 설문을 실시한 자료를 바탕으로 CES-D-K 척도에 대해 연구 1과 동일한 연구 과정을 거쳐 20문항의 CES-D-K 척도의 요인구조를 분석하였다.
연구 1의 결과에 따르면 축약형 CES-D 척도의 경우 오메가 계수(ω)가 0.966, 일반요인의 오메가 위계 계수(ωH)는 0.920으로 두 계수의 비율은 0.920/0.966으로 총점에서 진점수가 차지하는 분산 중 약 95.23%가 일반요인에서의 개인차로 설명 가능한 것으로 나타났다. 하위척도 점수의 분산 중 집단요인의 분산이 차지하는 비율을 의미하는 하위척도 오메가 위계 계수(ωHS)는 각각 우울감정 0.043, 긍정적 감정 0.255, 신체 및 행동 둔화 0.101, 대인관계 0.341로 작게 나타나 각각의 하위 척도 점수의 분산 중 집단요인으로 인한 개인차는 매우 적은 부분을 차지한다고 볼 수 있다. ECV 역시 .816으로 일반요인이 81.6%의 공통 분산을 설명하는 것으로 나타났다. Rodriguez et al.(2016a)의 연구와 Gu et al.(2017)의 연구에서 ECV가 .70 혹은 .80 이상의 값을 가질 경우 집단 요인을 제거한 단일차원 측정모형을 사용하여 통계적 분석을 사용해도 무방하다고 밝힌바 축약형 CES-D 척도의 일반 요인이 강한 설명력을 가지며 하위척도를 개별적으로 산출하여 사용하기보다는 전체 점수를 사용하고 해석하는 것이 타당하다고 할 수 있다.
연구 2의 결과에서도 CES-D-K 척도의 오메가 계수(ω= 0.969)와 오메가 위계 계수(ωH=0.936)의 비율이 96.6%로 총점에서 진점수가 차지하는 분산 중 약 96.6%가 일반요인에서의 개인차로 설명 가능하고 집단요인인 우울감정, 긍정적 감정, 신체 및 행동 둔화, 대인관계에 대한 하위척도 오메가 위계 계수(ωHS)는 각각 0.036, 0.288, 0.085, 0.269이며 ECV는 0.809로 CES-D-K 역시 강력한 일반요인을 가지는 척도로서 굳이 하위척도를 사용함으로써 설명할 수 있는 개인차의 정도가 매우 적다는 것을 알 수 있다. 아울러 일반요인 및 집단요인과 불안 및 삶의 만족도를 측정하는 준거변인간의 상관분석을 실시한 결과 집단요인 중 긍정적 감정 척도만이 준거변인과 유의한 상관을 보였으나 그 정도가 작았고 일반요인이 준거변인과 유의하며 강한 정도의 상관을 보이는 것으로 나타났다. 이를 통해 CES-D-K 척도의 전체 점수 사용에 대한 타당성을 확보할 수 있었다.
한편, 연구 1과 연구 2에서 모형 적합도를 비교한 결과를 살펴보면 축약형 CES-D 척도의 4요인 모형의 경우에는 CFI의 값이 Bifactor 모형과 차이가 없으며 RMSEA 값의 경우 더 나은 수준에 해당하였다. CES-D-K 척도의 경우에도 4요인 모형의 적합도가 Bifactor 모형의 적합도와 유사한 수준으로 나타나 적합도 지수를 비교하는 것만으로는 어느 모형이 더 나은 것인지 판단하기가 곤란하다고 할 수 있다. 다만 축약형 CES-D 척도와 CES-D-K의 4요인 모형에서 요인 간의 상관을 살펴보면 축약형 CES-D 척도의 요인 간 상관은 0.685~0.924의 범위를 가지며 CES-D-K 척도의 요인 간 상관은 0.722~0.971로 매우 높다. Reise et al.(2007)에 따르면 차원들 혹은 하위척도들 간의 .60 이상의 높은 상관은 일반요인이 문항반응에 있어 더 영향력이 강하다는 것을 의미한다고 하였다. 또한 Bifactor 모형에서 도출된 요인계수와 고유분산을 바탕으로 산출한 오메가 (위계) 계수와 ECV의 값을 함께 고려할 때 축약형 CES-D 척도와 CES-D-K 척도 모두 강력한 일반 요인을 지니는 것으로 나타났다. 이러한 점을 종합할 때 국내에서 빈번히 사용되는 축약형 CES-D 척도와 CES-D-K 척도는 ‘우울’의 다양한 측면(예: 우울 감정, 긍정적 감정, 신체 및 행동 둔화, 대인관계)을 그 내용으로 담고 있지만 ‘우울’이라는 단일 구성개념을 측정하는 척도로 보는 것이 타당하고 문항 총점을 사용하는 것으로 전반적인 우울에 대한 개인차를 측정하고자 하는 목적을 신뢰롭게 달성할 수 있다고 하겠다.
과거 여러 한국판 CES-D 척도에 대한 타당화 연구에서 4요인 구조가 가장 타당하다고 밝혀져 왔으나 실질적인 연구나 임상 장면에서는 척도의 전체 문항의 합산을 통한 총점을 사용하는 경우가 매우 빈번했으며 목적에 따라 우울 심각도의 세부 영역에 대한 정보를 얻기 위하여 하위 척도 점수를 사용하는 등 총점과 하위 척도 점수를 모두 사용해 왔다. 반면 타당화 연구에서는 CES-D 척도를 단일 요인으로 보는 입장은 거의 지지받지 못하였다. Reise et al.(2010)은 총점과 하위 척도를 모두 사용하는 것은 문제가 있다고 지적하면서 기존의 전통적 요인구조 검증 연구의 대안으로 Bifactor 모형을 사용할 것을 제안하였다. Bifactor 모형은 자료가 다차원으로 보이는 경우에도 문항의 분산이 일반요인 또는 집단요인으로 얼마나 설명되는지 평가하여 점수가 어느 정도로 단일한 차원을 반영하는지 평가할 수 있도록 해준다. 그러나 국내에서 Bifactor 모형을 적용한 CES-D 척도의 요인구조 검증은 이루어진 바가 없다. 본 연구는 국내 우울 연구와 임상실제에서 빈번히 사용되는 축약형 CES-D 척도와 CES-D-K 척도에 대해 단일 요인 모형과 4요인 모형과 더불어 Bifactor 모형을 적용하여 척도의 요인구조를 보다 명확히 밝혔다는 데 그 의의가 있다. 특히 경쟁 모형의 적합도를 비교하는 것뿐만 아니라 전체 및 하위 척도에 대한 오메가 (위계) 계수, ECV를 통하여 CES-D 척도가 ‘우울’이라는 일반 요인이 문항 점수에 미치는 영향력이 가장 크고 하위척도는 점수의 개인차를 반영하지 못해 개별적인 해석의 유용성이 없으므로 전체점수(총점)를 사용하는 것이 타당하다는 결론을 제시하였다. 이를 통하여 CES-D 척도를 활용해 개인의 우울 증상의 수준을 판단할 때 뿐 아니라 우울을 구조방정식모형 내 포함하여 연구 모형을 검증하는 경우 단일 차원의 우울 측정 모형을 구조방정식 모형 내에 포함함으로써 모형의 간명성을 증가시킬 수 있고, 우울 수준의 변화 정도를 연구하는 잠재성장모형에서도 CES-D 척도의 하위 요인을 구분하는 것보다 전체점수를 사용하여 우울의 변화를 연구할 수 있다.
본 연구의 몇 가지 제한점은 다음과 같다. 첫째, 연구 1의 경우 광범위한 일반인 가구원 대상 패널 자료를 사용하였기 때문에 사회경제적 수준, 학력, 결혼 상태 등이 CES-D 평정 점수에 영향을 미쳤을 가능성이 있으며 이러한 요인들이 결과에 미칠 수 있는 영향을 통제하지 못하였다. 둘째, 연구 1과 연구 2 모두 일반인 집단에 설문을 시행하여 주요우울장애 환자군이나 우울장애 고위험 집단 등의 임상 집단에 연구 결과를 타당화 하고 일반화하는 데 한계가 있으므로 추후 연구에서는 우울 점수의 수준을 구분하여 임상집단에게도 측정모형을 타당화 할 필요가 있다. 이러한 연구의 여러 한계에도 불구하고 본 연구는 CES-D 척도의 전체 점수 사용의 타당성을 제시함으로써 연구 및 임상 실제에서 충분한 측정 이론 및 통계적 근거를 가지고 ‘우울’ 점수를 해석하고 CES-D 척도의 총점을 근거로 우울 수준을 판단할 수 있도록 했다는데 의의를 가진다.
  • Bae SW, Shin WS. 2005;The Factor Structure of the CES-D Scale (The Center for Epidemiologic Studies-Depression Scale):An Application of Confirmatory Factor Analysis. Health and Social Science. 18:165-190. http://uci.or.kr/G704-001339.2005.18.003
  • Bentler PM. 1990;Comparative fit indexes in structural models. Psychol Bulletin. 107(2):238-246. doi:10.1037/0033-2909.107.2.238.Article
  • Carleton RN, Thibodeau MA, Teale MJ, et al. 2013;The center for epidemiologic studies depression scale:A review with a theoretical and empirical examination of item content and factor structure. Plos One. 8(3):1-11. doi:10.1371/journal.pone.0058067.Article
  • Chae JH. 2006;Treatment of anxiety disorders. Korean J Str Res. 14(4):287-292. http://uci.or.kr/G704-002182.2006.14.4.005
  • Cho MJ, Bae JN, Suh GH, et al. 1999;Validation of Geriatric Depression Scale, Korean Version(GDS) in the Assessment of DSM-III-R Major Depression. J Kor Neuropsychiatr Assoc. 38(1):48-63. http://uci.or.kr/G901:A-0001290996
  • Cho MJ, Kim KH. 1993;Diagnostic validity of the CES-D(Korean version) in the assessment of DSM-III-R major depression. J Kor Neuropsychiatry Assoc. 32(3):381-399. http://uci.or.kr/G901:A-0000932112
  • Chon KK, Choi SC, Yang BC. 2001;Integrated Adaptation of CES-D in Korea. Kor J Health Psychol. 6(1):59-76. http://uci.or.kr/G901:A-0001557047
  • Chon KK, Rhee MK. 1992;Preliminary Development of Korean Version of CES-D. Kor J Clin Psychol. 11(1):65-76. http://uci.or.kr/G901:A-0002911328
  • Dick RW, Beals J, Keane EM, et al. 1994;Factorial structure of the CES-D among American Indian adolescents. J Adolescence. 17(1):73-79. doi:10.1006/jado.1994.1007.Article
  • Diener E, Emmons RA, Larsen R, et al. 1985;The Satisfaction With Life Scale. J. of Personality Assessment. 49(1):71-75. doi:10.1207/s15327752jpa4901_13.Article
  • Gomez R, McLaren S. 2015;The center for epidemiologic studies depression scale:Support for a bifactor model with a dominant general factor and a specific factor for positive affect. Assessment. 22(3):351-360. doi:10.1177/1073191114545357.ArticlePubMed
  • Gu H, Wen Z, Fan X. 2017;Examining and controlling for wording effect in a self-report measure:A Monte Carlo simulation study. Structural Equation Modeling. A Multidisciplinary Journal. 24(4):545-555. doi:10.1080/10705511.2017.1286228.Article
  • Han DW, Lee JH, Jeon GK, et al. 2000, Implementation and instruction manual of State-Trait Anxiety Inventory; Hakjisa: http://uci.or.kr/G901:A-0005984927.
  • Hoe MS, Park BS, Bae SW. 2015;Testing Measurement Invariance of the 11-item Korean Version CES-D Scale. Mental Health and Social Work. 43(2):313-339. http://uci.or.kr/G704-000500.2015.43.2.012
  • Hu L, Bentler PM. 1999;Cutoff criteria for fit indexes in covariance structure analysis:Conventional criteria versus new alternatives. Structural Equation Modeling. A Multidisciplinary Journal. 6(1):1-55. doi:10.1080/10705519909540118.Article
  • Kang SR, Yang JW. 2015;Preliminary validation of emotional approach coping (EAC) scale:A case study of korean military academy cadets. Kor J Clin Psychol. 34(2):455-475. http://uci.or.kr/G901:A-0003756441Article
  • Kendler K, Karkowshi LM, Prescoutt CA. 1999;Casual relationship between stressful life events and the onset of major depression. American Journal of Psychiatry. 156(6):837-841. doi:10.1176/ajp.156.6.837.ArticlePubMed
  • Kim JY, Choi SM, Seo GH, et al. 2000;Trans-Cultural Difference in Expressing Depressive Symptoms in Koreans – Factor structure of the Center for Epidemiologic Studies Depression Scale(CES-D). The Kor J Psychopathology. 9(1):78-87. http://uci.or.kr/I410-ECN-0102-2009-510-005257337
  • Knight RG, Williams S, McGee R, et al. 1997;Psychometric properties of the Center for Epidemiologic Studies Depression Scale (CES-D) in a sample of women in middle life. Behaviour Research and Therapy. 35(4):373-380. doi:10.1016/s0005-7967(96)00107-6.ArticlePubMed
  • Kohut FJ, Berkman LF, Evans DA, et al. 1993;Two shorter forms of the CES-D depression symptoms index. J Aging Health. 5(2):179-193. doi:10.1177/089826439300500202.ArticlePubMed
  • KOWEPS. 2016 2016 Korean Welfare Panel Study. [Internet] Retrieved from https://www.koweps.re.kr:442/data/data/list.do
  • Lim NY, Lee HR, Suh EK. 2010;Review of the Satisfaction with Life Scale(SWLS) findings in Korea. Kor J Psychol:General. 29:21-47. http://uci.or.kr/G901:A-0002790501
  • McCallum J, MacKinnon A, Simons L, et al. 1995;Measurement properties of the Center of Epidemiological Studies Depression Scale:An Australian community study of aged persons. J Gerontology:Social Sciences. 50B:S182-S189. doi:10.1093/geronb/50b.3.s182.
  • Ministry of Health and Social Welfare. 2016;The Report of the 2015 Korean National Health and Nutrition Survey Kwachon, Ministry of Health and Social Welfare. http://uci.or.kr/G901:A-0007786068.
  • Muthén BO. In K. A Bollen, J. S Long (Eds.),1993, Goodness of fit with categorical and other nonnormal variables. Testing structural equation models. p. 205-234. Newbury Park, CA: Sage; doi:10.1177/0049124192021002001.
  • Park KH, Hah YS. 2007;Depression, self-efficacy, life satisfaction and coping behaviors of university students. Korean J Str Res. 15(1):17-25. http://uci.or.kr/G704-002182.2007.15.1.001
  • Radloff LS. 1977;The CES-D scale:A self-report depression scale for research in the general population. Applied psychol measurement. 1(3):385-401. doi:10.1177/014662167700100306.
  • Reise SP, Kim DS, Mansolf M, et al. 2016;Is the bifactor model a better model or is it just better at modeling implausible responses? Application of iteratively reweighted least squares to the Rosenberg Self-Esteem Scale. Multivariate Behavioral Research. 51(6):818-838. doi:10.1080/00273171.2016.1243461.ArticlePubMedPMC
  • Reise SP, Moore TM, Haviland MG. 2010;Bifactor models and rotations:Exploring the extent to which multidimensional data yield univocal scale scores. J. of Personality Assessment. 92(6):544-559. doi:10.1080/00223891.2010.496477.Article
  • Reise SP, Morizot J, Hays RD. 2007;The role of the bifactor model in resolving dimensionality issues in health outcome measures. Quality of Life Research. 16(S1):19-31. doi:10.1007/s11136-007-9183-7.ArticlePubMed
  • Rhemtulla M, Brosseau-Liard PÉ, Savalei V. 2012;When can categorical variables be treated as continuous? A comparison of robust continuous and categorical SEM estimation methods under suboptimal conditions. Psychol Methods. 17(3):354-373. doi:10.1037/ a0029315.ArticlePubMed
  • Rodriguez A, Reise SP, Haviland M. 2016a;Applying bifactor statistical indices in the evaluation of psychological measures. J Personality Assessment. 98(3):223-237. doi:10.1080/00223891.2015.1089249.Article
  • Rodriguez A, Reise SP, Haviland M. 2016b;Evaluating bifactor Models:calculating and interpreting statistical indices. Psychol Methods. 21(2):137-150. doi:10.1037/ met0000045ArticlePubMed
  • Satorra A, Bentler PM. In: Alexander von Eye Clifford C. Clogg . 1994 Correction to test statistics and standard errors in covariance structure analysis. In: Latent Variables Analysis:Applications to Developmental Research 399-419. SAGE Publications, Inc; Thousand Oaks, CA, Retrieved from http://84.89.132.1/~satorra/CourseSEMVienna2010/SatorraBentler1994.pdf
  • Shafer AB. 2006;Meta-analysis of the factor structures of four depression questionnaires:Beck, CES-D, Hamilton, and Zung. J Clin Psychol. 62(1):123-146. doi:10.1002/ jclp.20213ArticlePubMed
  • Sheehan TJ, Fifield J, Reisine S, et al. 1995;The measurement structure of the Center for Epidemiologic Studies Depression Scale. J Personality Assessment. 64(3):507-521. doi:10.1207/s15327752jpa6403_9.Article
  • Spielberger CD, Gorsuch RL, Lushene RE. 1970, Manual for the state-trait anxiety inventory. Palo Alto, CA: Consulting Psychologists Press.
  • Williams CD, Taylor TR, Makambi K, et al. 2007;CES-D four-factor structure is confirmed, but not invariant, in a large cohort of African American women. Psychiatry Res. 150(2):173-180. doi:10.1016/j.psychres.2006.02.007.ArticlePubMed

Figure & Data

References

    Citations

    Citations to this article as recorded by  
    • Psychometric Properties and Validation of the Korean Version of Stress Mindset Measure
      Hyunmo Seong, Sangeun Lee, Taerim Lee, Gi-Eun Jang, Sang Min Lee
      SAGE Open.2023;[Epub]     CrossRef
    • Working hours and the onset of suicidal ideation and depressive symptoms: A 10-year nationwide longitudinal study in South Korea (2012–2022)
      Seong-Uk Baek, Min-Seok Kim, Myeong-Hun Lim, Taeyeon Kim, Jong-Uk Won, Jin-Ha Yoon
      Psychiatry Research.2023; 326: 115344.     CrossRef
    • Influence of Experiencing Bullying Victimization on Suicidal Ideation and Behaviors in Korean Adolescents
      Jiyoun Kim, Young Ko
      International Journal of Environmental Research and Public Health.2021; 18(20): 10853.     CrossRef
    • Analysis on the Structural Relationship Between Second-Graders’ Prosocial Behavior, Mother-Child Interaction, Executive Function Difficulty, and Language Ability
      Jae Yoon Kim, Tae-ryun Kim, Min Ju Kang
      Korean Journal of Child Studies.2021; 42(2): 305.     CrossRef
    • A Longitudinal Change Patterns of Depression and Its Relationship with Socioeconomic Deprivation among Middle-Aged Adults in South Korea
      Soo-Bi Lee, Min-Ji Yu, Myeong-Sook Yoon
      International Journal of Environmental Research and Public Health.2021; 18(24): 12957.     CrossRef
    • Effects of the Subjective Family Class on the Suicide Ideation of Adolescents: Double Mediating Effect of Social Support and Sense of Coherence
      Jiyoun Kim, Young Ko
      Journal of Korean Academy of Community Health Nursing.2020; 31(3): 269.     CrossRef
    • The effects of duration after entering poverty on the alcohol consumption mediated by depression in middle-aged adults: The longitudinal study based on Korea Welfare Panel Study data
      Hye Chung Cho, Eun Sook Lee
      Korean Journal of Health Education and Promotion.2020; 37(3): 15.     CrossRef
    • The Serial Multiple Mediating Effects of Social Withdrawal and Smartphone Dependency and the Influence of Negative Parenting Attitude on Adolescents’ Academic Helplessness
      Jae Yoon Kim, Heesoo Han, Eunyoung Park, Min Ju Kang
      Family and Environment Research.2020; 58(4): 601.     CrossRef
    • The longitudinal associations between self-rated health, binge drinking, and depression among Korean adults
      Hye Chung Cho, Eun Sook Lee
      Korean Journal of Health Education and Promotion.2019; 36(2): 11.     CrossRef
    • The Effect of Maternal Positive Parenting Attitudes on School Adjustment among Multi-cultural Adolescents in Korea: Mediating Effect of Ego-resiliency
      So Ri Mok, Bo Lim Suh, Jae Kyeong Jeong, Min Ju Kang
      Family and Environment Research.2019; 57(3): 341.     CrossRef

    • PubReader PubReader
    • Cite
      CITE
      export Copy
      Close
      Download Citation
      Download a citation file in RIS format that can be imported by all major citation management software, including EndNote, ProCite, RefWorks, and Reference Manager.

      Format:
      • RIS — For EndNote, ProCite, RefWorks, and most other reference management software
      • BibTeX — For JabRef, BibDesk, and other BibTeX-specific software
      Include:
      • Citation for the content below
      A Bifactor Approach to the Factor Structure Study of the CES-D Scale
      STRESS. 2017;25(4):272-278.   Published online December 31, 2017
      Close
    • XML DownloadXML Download

    STRESS : STRESS