search for




 

Development of the Clinical Short-Form Positive Resources Test
Korean J Stress Res 2018;26:77-87
Published online June 30, 2018
© 2018 Korean Society of Stress Medicine.

Hyu Jung Huh1,2 , Sun-Young Kim1 , Jung-A Min2 , and Jeong-Ho Chae1,2

1Emotion Lab, Institute of Medical Industry,
2Department of Psychiatry, College of Medicine, The Catholic University of Korea, Seoul, Korea
Correspondence to: Jeong-Ho Chae Department of Psychiatry, Seoul St. Mary’s Hospital, College of Medicine, The Catholic University of Korea, 222 Banpo-daero, Seocho-gu, Seoul 06591, Korea Tel: +82-2-2258-6083 Fax: +82-2-594-3870 E-mail: alberto@catholic.ac.kr
Received August 27, 2014; Revised September 12, 2017; Accepted October 31, 2017.
Articles published in Stress are open-access, distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc/4.0), which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
Abstract

Background:

The present study aimed to develop a brief tool for assessing individual’s positive resource in clinical setting. The Positive Resources Test is a self-report questionnaire that measures 5 multi-dementional positive resources and comprises of 23 items, each rated on a 5-point scale.

Methods:

Literature searching and delphi survey were performed for making preliminary items, consulting and selecting final items. In order to test validity and reliability of the finally selected 23 items, data were collected from 546 adults. The measures included a variety of positive psychological scales.

Results:

The result of exploratory factor analysis of Positive Resources Test suggested 5 factor structures. The Positive Resources Test was shown to have acceptable psychometric porperties, including acceptable internal consistency reliabilities, factorial validity, and high convergent correlations.

Conclusions:

Although there is room for improvement for some facet scales, the Positive Resources Test appears to be useful tool for assessing individual’s positive resources.

Keywords : Psychological positive resources, Clinical, Validity, Exploratory factor analysis, Confirmatory factor analysis
서론

심리학은 그 동안 주로 질병모형에 기반하여 발전하여 왔다. 질병모형은 정신병리에 초점을 두고 정신장애에 대한 많은 이해와 치료를 발달시킨 반면 개인의 강점, 덕성, 안녕감 등과 같은 인간의 긍정적 측면을 탐구하고 육성하는 것에는 비교적 미진하였다.

이렇게 심리학이 그동안 인간의 부정적 측면에만 초점을 맞추어 온 것에 대한 반향으로 긍정심리학이 출현하며 심리학이 나아가야 할 새로운 방향과 입장을 제시하게 되었다(Seligman et al., 2000). 그 이후 많은 학자들이 기존의 심리학이 사용해온 과학적 방법론을 적용하여 인간의 긍정적 측면을 연구하고 향상시키고자 노력해 왔다. 흔한 오해와는 달리 긍정심리학은 인간의 긍정적인 측면만을 다루는데 국한하기 보다는 긍정과 부정을 통합하려고 노력한다(Joseph et al., 2006). 긍정심리학은 보다 전체적인 접근을 촉진하고 긍정적인 경험과 부정적인 경험을 동등하게 고려하는 것이며, 부정적인 것 대신 긍정적인 경험으로 대체하자는 것이 아니다. 즉 긍정심리학은 인간의 삶에 있어서 문제나 결함, 약점 등을 다루고 극복하는 것뿐만 아니라, 개인 및 기관이 가진 자원, 강점, 재능의 함양을 통해 최상의 기능을 발휘할 수 있도록 도와줌으로써 행복을 증진시키도록 노력할 수 있다(Seligman, 1998).

최근 국내에서도 행복, 희망, 자아탄력성, 감사, 용서 등 심리학의 긍정적 주제들에 초점을 둔 연구들이 증가하고 있으며, 긍정심리치료에 대한 관심과 연구 또한 증가하고 있다. 긍정 심리적 개입은 Seligman과 그의 동료들이 개발한 긍정심리치료에만 국한되는 것은 아니며, 내담자의 안녕감과 행복을 증진시키고 우울증상과 같은 병리적 증상을 완화시키기 위해 직접적으로 긍정적인 측면을 함양하는 것을 표적으로 하는 다양한 형태의 치료적 양식을 포함할 수 있다. 이와 같이 직접적으로 긍정적인 측면을 함양하는 것을 표적으로 하는 형태의 치료적 접근들의 개입효과를 경험적으로 입증하기 위해서는 Beck의 우울척도와 같은 증상의 감소를 측정하는 도구들뿐만 아니라, 삶의 질이나 행복, 안녕감의 변화를 평가 및 측정할 수 있는 다양한 도구들이 필요하다.

이에 긍정적인 기대를 측정하는 희망척도(Choi EH et al., 2008), 주관적 안녕의 인지적·평가적 측면을 측정하는 삶의 만족 척도(Diner et al., 1985)등과 같이 긍정성을 구성할 수 있는 단일 차원을 측정하는 척도가 다양하게 개발되었다. 또한 보다 다차원적이고 포괄적인 긍정성을 측정하는 척도들도 개발되고 있는 실정이다. Riff가 개발하고 Kim MS et al.(2001)이 타당화한 심리적 안녕감 척도는 총 46문항으로 구성되어 있으며, 자아수용성, 긍정적 대인관계, 자율성, 환경통제력, 삶의 목적, 그리고 개인적 성장과 같은 6개의 요인으로 구성되어 있다. Keyes et al.(2008)이 개발한 정신적 웰빙 척도는 정서적 웰빙, 사회적 웰빙, 심리적 웰빙의 3개의 차원으로 구성되어 있어 비교적 다차원적이고 총 14문항으로 간략하다. 하지만 측정하고자 하였던 정신적 웰빙의 세 가지 하위 요인에 대한 내용타당도가 충분히 밝혀지지 않았다. Lim YJ et al.(2012)의 연구에서 정서적 웰빙과는 다른 개념으로 심리적 웰빙과 사회적 웰빙을 제시하였는데 이 세 변인이 어떤 점에서 차이를 보이는지 기타 척도를 사용하여 검증하지 못했다는 제한점이 있다는 것이다. 또한 앞서 제시한 두 척도에는 인지적이고 정서적인 측면만을 측정했다는 것에서 한계점이 있다. 개인의 긍정심리적 자원에는 인지적, 정서적인 긍정성 뿐 만 아니라 개인의 긍정성을 증진시키기 위한 노력 즉, 행동적인 측면도 함께 측정되어야 할 것이다.

좀 더 구체적으로 인지적인 측면에서 자신이 얼마나 주관적으로 긍정인지 평가하는 다양한 요소 역시 중요하지만, 개인의 삶을 바람직한 방향으로 이끌 수 있는 자신과 세상에 대한 가치를 살필 수 있는 사고능력, 스트레스 상황에서 대처할 수 있는 긍정적인 인지정서조절 전략과 개인의 통제력 역시 개인의 긍정적 자원이 될 수 있을 것이다. 또한 개인의 긍정적 성향과 태도뿐만 아니라 행동적, 실제적 특징을 측정하는 문항 역시 필요할 것이다. 본 연구에서는 이런 행동적인 측면에 대한 문항으로 운동에 대한 문항을 추가하였다. 기존연구에 따르면 운동은 긍정적·부정적인 신체적, 사회적 그리고 심리적 체험을 경험함으로써 자신의 참모습을 발견하고, 나아가 자기발전 및 자아실현을 할 수 있는 기회를 갖게 되며 개인의 삶을 풍요롭게 느낄 수 있다고 하였다(Stebbins, 1992). 또한 성인의 운동참여에는 개인 각자의 운동욕구가 반영되며, 운동 참여가 웰빙 향상을 위한 직접적인 수단이 될 수 있다는 것을 시사한다(Kim SI et al., 2004).

개인의 긍정성 평가에 유용한 기존 척도들의 시사점과 본 척도 개발의 보완 방향을 정리하면, 첫째, 개인의 긍정성을 인지와 정서적인 측면만을 측정하기보다 행동적인 부분도 측정할 수 있는 보다 포괄적이고 보편적인 개념에 근거할 필요성이 있다. 즉, 긍정성의 개념화 과정에서 자기 자신과 세상에 대한 가치를 인정하고 살필 수 있는 인지적 특성과 긍정적 태도, 그리고 운동 및 자기조절 등의 행동적 특징 역시 볼 수 있는 문항이 추가되어야 할 것이다. 셋째, 척도 제작 시 임상군과 일반인군을 따로 분류하여 척도의 적용 대상의 폭을 넓히고 각 집단 간 차이 역시 확인하는 노력이 필요하다.

넷째, 개인의 긍정성은 사람들 간에 차이를 보이는 개인 특성으로 간주되며, 개인의 강점에 초점을 맞추는 임상적 개입을 통해 양성되거나 강화될 수도 있다고 보았다. 따라서 긍정 개입에 의해 다양한 측면의 긍정성이 변화되는 것을 평가할 수 있는 척도의 개발이 필요하다.

마지막으로, 임상 개입 현장처럼 지나치게 복잡하고 긴 척도를 사용하기 곤란한 곳에서 사용할 수 있도록 적은 문항으로 구성 된 간단하면서도 다면적 측면을 평가할 수 있는 척도의 개발이 필요한 실정이다.

이러한 시사점을 고려하여 본 연구에서는 긍정성을 개인의 정신적 웰빙으로 한정짓지 않고 개인의 인지 정서 조절 능력과 행동적인 측면까지도 포함하여 보다 다차원적으로 접근하여 임상 현장에서 간단하게 긍정성의 대표적 요인 등을 측정할 수 있는 척도를 개발하고자 한다. 긍정성의 개념화와 구성요인의 탐색을 시도하고, 개념화에 따른 간단하고 포괄적인 측정도구 제작으로 긍정성의 효과를 새로운 각도에서 살펴 볼 수 있는 계기를 마련하고자 한다. 또한 도구의 신뢰도와 타당도를 입증함으로써 행복 및 웰빙 등 긍정적 측면을 측정할 수 있는 도구를 마련하고자 한다.

연구방법

1. 연구 고안 방법

본 연구는 개인의 긍정자원을 다면적으로 측정하기 위한 도구를 개발하기 위해 크게 네 단계의 과정으로 나누어 시행되었다. 첫째 단계에서는 긍정자원과 관련 된 주요 논문과 출판물, 관련 연구의 참고문헌 등에 대한 검색을 시행하여 긍정자원 변인을 측정하는 도구들을 정리하였다. 이후 이러한 긍정자원 도구들을 분류, 검토 및 선택하기 위해 다음과 같은 기준을 적용하였다. 첫째, 긍정자원의 개념을 자신과 사회에 대하여 보다 긍정적인 태도와 시각을 유지하도록 하여 개인의 삶을 바람직한 방향으로 변화시키는 데 기여하는 성향으로 정의하였다. 둘째, 이러한 긍정자원은 사람들 간에 차이를 보이는 개인 특성이다. 셋째, 긍정자원은 개입이나 훈련을 통해서 개발될 수 있다. 넷째, 긍정자원은 정서, 인지, 행동의 차원에서 측정 가능한 방식으로 나타난다. 이러한 기준을 바탕으로 전문가 워크샵을 통하여 적당하다고 생각되는 문항을 추출하였으며 문헌 검색에서 추가할 필요가 있다는 문항을 만들어 기초 예비 문항을 만들어 성인 314명에게 적용하였다. 이 때, 둘째 단계에서는 앞서 구성한 문항을 적용한 결과를 분석하고 정신건강의학과 교수 3명, 심리학자 3명 등 정기적인 긍정심리 연구회에 참여하는 전문가 집단의 델파이를 통하여 의견을 수렴하여 실제 적용할 문항을 선정하고 조정하였다. 셋째 단계는 둘째 단계에서 최종 선정된 총 23문항을 가지고 성인 227예에 예비조사를 시행함으로써 최종 도구의 개발을 위한 문항 분석 및 신뢰도를 평가하였고, 예비조사결과를 토대로 최종적인 긍정자원검사 도구를 확정하였다. 마지막 단계에서는 최종 개발된 도구를 이용하여 총 287예에 대한 본 조사를 시행함으로써 새로 개발된 긍정자원척도의 신뢰도 및 타당도를 검증하였다. 연구 전체의 진행 및 절차를 도식화하면 다음과 같다(Fig. 1).

Fig. 1.

Development process of positive resources test.


본 연구는 가톨릭대학교 임상연구 윤리심의위원회(Institutional Review Board, IRB)의 승인을 받아 대상자들에게 동의를 얻은 후에 시행되었다(연구번호: KC9FZZZ0211).

1) 기초 예비문항 구성

긍정성 척도의 문항을 구성하기 위하여 문헌연구 및 현존하는 긍정성 관련 변인 척도 분석과 임상 현장에서 사용되어 온 긍정성 관련 변인 척도의 분석 과정이 이루어졌다. 긍정성변인을 다면적으로 보고자 탐색적인 질적 연구(explorative qualitative study)를 거쳐, 긍정성과 관련된 국내외 문헌들을 검토하고 긍정성 변인을 측정하는 도구들로 기초 예비 문항을 만들어 양적 연구의 기본 자료로 사용하였다. 사용된 각 척도들은 정서조절 질문지(Emotion Regulation Questionnaire; ERQ), 인지적 정서조절 질문지(Cgnitive Emotion Regulation Questionnaire; CERQ), 긍정정서 부정정서 척도(Positive Affects and Negative Affects Scale; PANAS), 심리적 웰빙 척도(Psychological Well-Being Scale; PWBS), 삶의 만족척도(Satisfaction with Life Scale; SWLS), 사회적 지지척도(Functional Social Support Questionnaire; FSSQ), 삶의 목적 척도(Purpose in Life Test Scale; PLTS), 영성척도(Functional Assessment of Chronic Illness Therapy- Spiritual Well-being Scale; FACIT-Sp-12), 상태희망 척도(The State Hope Scale; SHS), 감사척도(The Gratitude Questionnaire-Six Item Form; GQ-6), 삶의 지향척도(Life Orientation Test-Revised; LOT-R), 리질리언스 척도(Conner-Davidson Resilience Scale; CD-RISC)이며 추가적으로 운동 빈도를 물어보는 문항들을 포함하여 총 232문항으로 구성하였다. 예비조사에서는 서울소재의 대학병원 정신건강의학과의 외래환자를 포함한 대한민국 성인 314명을 대상으로 본 연구의 목적에 맞도록 목적적 표집을 사용하였다. 예비조사 참가자의 인구통계학적 특성은 다음과 같다(Table 1).

Demographic characteristics (N=227)

 VariableN%
SexMale10445.8
Female12253.7
Age10146.2
208236.1
305423.8
402912.8
502912.8
6041.8
≥7093.9
Marital statusNever married13057.3
Married9341.0
Divorced20.9
Widowed20.9
EducationUnder Middle school graduates62.7
High school graduates5423.8
Junior college167.0
Bachelor’s11651.1
Master’s3214.1

*Unmatched numbers are missing values.


2) 예비 문항의 분석 및 조정

1차 문항을 선정하기 위하여 기존 긍정성 변인의 측정 도구들로 구성한 기초 예비문항 232문항을 대한민국 성인 314명의 표집에 실시하였다. 긍정성 변인을 대표하는 문항을 선정하기 위해 각 긍정성 척도의 총점과 통계적으로 상관이 높은 문항을 선정하였다. 1차적으로 선정된 총점과 상관이 높은 문항을 바탕으로 본 연구자와 정신건강의학과 교수 3명, 심리학자 3명이 함께 문항들이 척도의 목적과 부합하는지, 문항의 표현들이 적절하고 이해하기 쉬운지, 임상현장에서 용이하게 활용가능한 지를 기준으로 전문가들 간의 의견 상충, 문항의 중요도 및 하위 영역의 수와 검사 시간 등을 고려하여, 총 23개의 예비 문항을 도출하였다. 본 척도는 피검자가 직접 작성하는 자기보고식 검사로 5점 likert척도로 되어있다. 모든 문항이 정적 문항이었으나 2번 문항은 역문항 처리하여 계산하였다.

3) 사전 조사 및 본 조사용 도구 완성

본 조사 시행 전 예비조사 도구의 언어구사와 배열순서, 형식, 내용 등이 과연 적절한지를 확인하고 부적합한 문제를 발견하기 위해 예비조사와 동일한 방식으로 설문지를 이용하여 227예에 달하는 사전조사를 실시하였다. 참가자들의 중 남성은 104명(45.8%), 여성은122명(53.7%)이며, 평균 연령은 35.75세(11.22)이고, 연령 범위는 16세부터 83세까지였다. 참가자들의 주요 인구통계학적 특성은 다음과 같다(Table 2). 수집된 사전조사 자료에 대하여 문항분석과 내적 일관성을 산출하여 23문항의 도구를 완성하였다(Appendix 1).

Demographic characteristics (N=287)

 VariableN%
SexMale12443.2
Female16256.4
Age1041.4
2010235.5
307626.5
403712.9
504013.9
6093.1
≥7093.1
Marital statusNever married16055.7
Married11841.1
Divorced82.8
Widowed--
EducationUnder Middle school graduates93.1
High school graduates5619.5
Junior college165.6
Bachelor’s15855.1
Master’s4114.3

*Unmatched numbers are missing values.


4) 본 조사 및 도구의 신뢰도, 타당도 검증

본 조사의 자료 수집은 2013년 2월 1일부터 6월 30일까지 대한민국 성인 714명에 의해 시행되었으며 사전조사에서 도출된 23문항의 구조화된 긍정척도 설문지를 조사도구로 사용하였다.

2. 연구 대상 선택 및 선택 기준

예비문항의 분석 및 조정, 사전 조사 및 본 조사용 도구 완성, 본 조사 및 도구의 신뢰도, 타당도 검증을 위해 대한민국 성인 287명을 무선 표집하여 설문을 실시하였다. 본 조사의 참가자들 중 중 남성은 124명(43.2%), 여성은 162 (56.4%)이며 평균 연령은 36.90세(SD=13.36)이고, 연령 범위는 16세부터 78세까지였다. 참가자들의 주요 인구통계학적 특성은 Table 3과 같다.

Demographic characteristics of CFA (N=287)

 VariableN%
SexMale12443.2
Female16256.4
Age1041.4
2010235.5
307626.5
403712.9
504013.9
6093.1
≥7093.1
Marital statusNever married16055.7
Married11841.1
Divorced82.8
Widowed--
EducationUnder Middle school graduates93.1
High school graduates5619.5
Junior college165.6
Bachelor’s15855.1
Master’s4114.3

*Unmatched numbers are missing values.


3. 도구

새로 개발된 척도의 신뢰도 및 타당도를 검증하기 위해 예비문항척도 이외에 병원 우울-불안 척도 및 삶의 만족도 척도를 사용하였다.

1) 예비문항 척도

총 23문항의 최종 예비문항 설문지를 사용하였다. 1점(전혀 그렇지 않다)∼5점(매우 그렇다)까지 Likert척도로 되어있으며 2번 문항은 역문항 처리하여 계산하였으며, 척도의 사용을 염두에 두고 임상용 간편 긍정자원 척도(Clinical Short-form Positive Resources Test;POREST)로 명명하였다.

2) 병원 불안-우울 척도(Hospital Anxiety-Depression Scale; HDAS)

HADS는 총 14개 문항으로 이루어진 자가 보고식 측정도구로, 홀수 문항 7개는 불안에 관한 척도이며 짝수 문항 7개는 우울에 관한 척도이다. 각각의 문항은 ‘없음’ 0점에서 ‘심함’ 3점까지 4점 척도로 구성되었으며, 가능한 점수 범위는 0∼21점으로 점수가 높을수록 불안과 우울이 높음을 의미한다. Zigmond AS et al.(1983)은 불안과 우울 도구의 각각의 절단점을 8점으로 제시하였으며 3군으로 나누었다. 0∼7점은 불안과 우울이 없는 상태, 8∼10점은 경증의 불안과 우울, 11∼21점은 중증도 이상의 불안과 우울을 뜻한다. 각 도구의 점수가 8점 이상이면 임상적으로 의미가 있는 불안과 우울이다.

Min KJ et al.(1999)이 번안 당시 도구의 신뢰도는 불안이 Cronbach’s 〈=.89, 우울이 Cronbach’s 〈=.86이었다.

3) 삶의 만족도 척도(Satisfaction With Life Scale; SWLS)

개인의 주관적 안녕감을 측정하기 위해 Diener et al.(1985)이 제작하고 Kim JH(2007)가 번안한 삶의 만족도 척도(Satisfaction With Life Scale: SWLS)를 사용하였다. SWLS는 한 개인이 전반적으로 삶에 만족하는 상태를 측정하는 5개의 문항으로 구성되어 있으며, 각 문항은 1점(매우 반대)에서 7점(매우 찬성)까지 답할 수 있는 Likert 척도로 되어 있으며 도구의 내적신뢰도 Cronbach’s 〈는 .84이었다.

4. 연구 방법

개인의 긍정 자원을 구성하는 요인들은 문헌고찰을 토대로 선택하였으며 긍정 자원에 대한 개념화가 본 연구에서 새롭게 시도된 점을 고려하여 일차적으로 탐색적 요인분석을 실시하였고 그 절차는 다음과 같다. 첫째, 빈도분석을 통해 무응답 비율이 높은 항목을 살펴본 결과 무응답 비율이 제일 높은 항목이 1.0%로 미미하여 본 조사에 포함된 23개 항목을 모두 요인분석에 포함시켰다. 둘째, 탐색적 요인분석은 대한민국 일반 성인 표본(n=227)에 실시하여 요인구조를 검토하였다. 끝으로, 탐색적 요인분석을 통해 도출된 요인들과 해당 문항들에 대한 내적일치도 계수를 산출하여 각 하위요인의 신뢰도를 살펴보았다. 이차적으로 이와 같은 탐색적 요인분석 결과와 긍정적 자원의 개념화를 토대로 확인적 요인분석을 실시하여 도출된 요인들로 구성된 척도모형의 타당성을 검증하였다. 마지막으로 임상군과 일반인군의 긍정 자원 차이를 확인하기 위해 일반인군에서 무작위로 추출된 표본(n=200)과 임상군의 각 하위점수와 총점에 대한 t-검증을 실시하였다. 본 연구의 빈도분석, t-검증, 신뢰도 분석 등은 Predictive Analytic Software Statistics 18.0 (Chicago, IBM Inc, USA)을 이용하여 실시하였고, 확인적 요인분석과 탐색적 요인분석은 Mplus 7.0 통계 프로그램을 사용하였다. 요인분석 방법으로는 주성분분석(Principal Component Analysis)을 실시하였으며, 최종 구조를 확인하기 위하여 사각회전 방식인 GEOMIN 기준을 사용하였다.

또한 타당도 검증을 위해서 본 연구에서 개발된 척도와 기존의 다른 척도와의 상관관계(Pearson correlation)를 분석하였고, 환자군과 정상대조군 간 비교를 위해 독립표본 t 검정(independent t-test)을 사용하였다. 통계적 유의성은 p<.05인 경우에 유의한 것으로 설정하였다.

결과

1. 탐색적 요인분석

도구가 측정하고자하는 것을 측정하는 가를 알아보기 위해 척도가 기초하고 있는 이론적 타당성을 검증하였다. 긍정 자원 척도 제작을 위한 요인분석 모형은 주성분분석(Principal Component Analysis)을 실시하였으며, 사각회전방식인 GEOMIN 회전으로 요인구조를 추출하였다. 본 연구에서는 변수 복잡도가 1이상임을 가정하고 있다. 따라서 Yates (1987)가 제안한 GEOMIN 회전이 가장 적절한 회전 방법이라고 판단하고 이를 사용하여 분석을 실시하였다(McDonald, 2005).

요인 수효를 결정하기 위해 스크리 검사를 살펴보면 5요인 이후에는 평준화를 이루는 모습을 확인할 수 있었으며, 누적 분산비율을 확인한 결과 5요인 이후로는 전체 공통분산이 85%가 넘어가기 때문에 3요인, 4요인, 5요인을 추출하여 결과를 해석해보고자 하였다(Table 4). 이후 본 연구의 이론적으로도 가장 적절한 해석가능성을 보이는 5요인 구조의 기초해를 회전시켜 최종 모형을 살펴보고자 하였다. 이는 Lee SM(2000)이 제안한 탐색적 요인분석에서 우선 고려해야 할 사항인 해석 가능성에 따라 분석을 해야 한다는 제안을 따른 것이다.

Model fit informantion of 3 factors, 4 factors, 5 factors (N=227)

Modelχ2df∆χ2∆dfRMSEATLICFI
3349.5551870.0630.9340.951
4289.84316759.712200.0580.9440.963
5245.50014844.343190.0550.9510.971

**p<.01.


2. 확인적 요인분석

5요인의 기초해에서 GEOMIN 기준으로 회전 시켜 구한 구조에서 문항의 요인부하량이 .3이상이 되면 적절한 문항이라고 판단하였으며, 각 요인에 대한 요인부하량의 차이가 .1이하로 나타난 문항을 확인하였다. 최종 합치도 지수는 CFI가 .971, TLI가 .951로 적절한 모델 적합도를 나타냈으며, RMSEA도 .055으로 비교적 적절한 수준으로 나타났다. 다만 17번 문항인 “대체로, 나쁜 일 보다는 좋은 일이 있을 것 같다.”와 19번 문항 “내가 중요하다고 여기는 가치를 위해 시간과 노력을 할애한다.”, 7번 문항 “매일의 생활에서 내가 해야 할 책임을 잘 해내고 있다.” 그리고 12번 문항 “평소에 건강을 위해 규칙적인 운동을 한다.”는 다른 요인과 약 .04에서 .09정도의 요인 부하량 차이가 나타나 원칙적으로 교차 부하량이 높게 나타난 문항은 삭제해야 하나 해석 가능성을 두고 삭제하지 않았다. 이러한 방법은 Lee SM(2000)의 제안에 근거하였으며 본 연구에 참여한 연구자 4인이 검토하여 두 문항은 최종 구조에 포함시키기로 결정하였다. 최종적으로 결정된 23개 문항의 요인 부하량은 다음과 같다(Table 5).

Factor loadings based on confirmatory factor analysis for five factors

No.ItemsFactor 1Factor 2Factor 3Factor 4Factor 5
Optimism1I am satisfied with my life..693.198.012−.088.002
2I experience fear frequently..321.044.163.009.132
3I experience pleasure frequently..783.032.085.047.011
4I have so much in life to be thank for..469.180.019.194.061
5I usually accept the situation I’m in well..500002.233.141.039
13I usually control my emotions by changing the way I think about the situation I’m in..346.145.130.159−.030
17Overall, I expect more good things to happen to me than bad..380.337.001.143.075
Purpose & Hope8I have the sense that I have developed a lot as a person over time..321.505.019−.033−.020
11I try to achieve my goals even in difficult situations..019.503.385.080.075
15I feel a sens of purpose in my life..038.729.003.150.062
16I head for my goals with hope..007.851.021.104.015
18My life depends on invisible spiritual beings..072.378.171.119.149
19I spare time and effort for values which is important for me..044.398.315.266.079
Self control6I judge myself by what I think is important, not by the values of what others think is important..324−.052.552−.083−.126
7I fulfill my responsibility in everyday life..216.293.322.046.033
9I am confident that I can do my duties well..033.336.450.108.072
10I am usually absorbed in work, study or other activity.−.048.083.709.032.176
12I usually exercise regularly for health..209−.010.290−.169.026
Social resourcesSocial support14I know that I can trust my friends, and they know they can trust me..188.019.100.472.019
20I get love and affection..134.246.074.503.083
21I have chances to talk someone I trust about my personal or family problems..030.013.015.771.018
Care22I tend to lead helping others even if I have to sacrifice myself..055.042.008.034.994
23I try to help people around me if they have problems..045.063.164.157.513

요인 1은 7문항으로 삶의 만족, 높은 긍정정서와 낮은 부정정서, 감사와 수용, 긍정적인 인지정서조절, 삶을 바라보는 지향성을 측정하는 문항으로 구성되어 있으며, 이러한 문항들은 인지·정서적인 긍정적 경향성을 나타내고 있기에 ‘긍정성’으로 명명하였다. 요인 2는 개인적 성장, 리질리언스, 삶의 목적, 희망, 영성, 가치 실현에 대한 문항들로 구성되어 있다. 이러한 문항들은 개인의 가치추구 및 실현을 나타내기에 ‘목적 & 희망’이라고 하였다. 요인 3의 문항은 자율성, 환경 지배력, 효능감, 몰입, 운동의 문항으로 구성되어 있기에 ‘자기 조절’로 명명하였다. 요인 4는 대인관계, 사회적지지 자원을 측정하는 문항들로 구성되어 있어 이를 ‘사회적 지지’로 명명하였으며 마지막으로 요인 5는 타인을 돕는 문항들로 구성되어‘돌봄과 섬김’이라고 하였다. 요인 4와 요인 5는 사회적 관계라는 공통성이 있어서 이를 하나의 상위차원으로 묶어 ‘사회적 자원’이라고 명명하였다.

요인의 구조와 상관을 살펴보면 다음과 같다(Fig. 2). 요인 간 상관은 모두 통계적으로 유의한 것으로 나타났다.

Fig. 2.

Factor structure & factor correlations.


3. 도구의 신뢰도 검증

POREST의 신뢰도를 확인하기 위해 내적합치도인 Cronbach’s 〈와 문항-총점 간의 상관, 그리고 문항 제거 시 신뢰도를 구하였다. 전체 23문항의 Cronbach’s 〈를 산출한 결과, 전체 내적 합치도는 .86이었으며, 문항-총점 간 상관계수는 .30∼.65의 범위에 있었다. 각 문항의 총점상관과 문항제거 시 신뢰도를 아래에 제시하였다(Table 6).

Demographic characteristics of clinical patients (N=200)

 VariableN%
SexMale8241
Female11859
Age10126
205628
306432
403216
502110.5
60136.5
≥7021
Marital statusNever married9145.5
Married9748.5
Divorced52.5
Widowed73.5
EducationUnder Middle school graduates21
High school graduates2814
Junior college3517.5
Bachelor’s11356.5
Master’s2211
Adjustment94.5
Depression12462
Anxeity11758.5
Somatoform147

*Unmatched numbers are missing values.


또한, 검사-재검사 신뢰도를 알아보기 위해, 연구 참여자들 중 15명에 대해 6개월 간격으로 POREST척도를 재실시하였다. 그 결과 6개월 간격 검사-재검사 신뢰도는 .89이었다. 요인 1의 Cronbach 〈는 .66, 요인 2는 .72, 요인3은 .66, 요인 4는 .65, 요인 5는 .72로 나타났다.

4. 도구의 타당도 검증

구성타당도란 검사도구가 심리적 구성개념을 제대로 측정하고 있는지를 보는 것이다(Tak, 2007). 구성타당도 검증을 위해서는 여러 절차들을 포함할 수 있는데 그룹간의 비교, 타 검사와의 상관계수를 이용한 타당도의 검토, 요인분석 등이 구성 타당도 분석을 위해 사용될 수 있다(Kang, 2013).

이에 따라 POREST의 구성 타당도를 확인하기 위해 요인분석 외에 1) 외래환자군과 정상대조군 비교, 2) 타 검사와의 상관관계를 검토하고자 하였다.

1) 외래환자군과 정상대조군 비교

본 연구에서 개발한 도구가 개인의 긍정성을 타당하게 감별하는지 확인하기 위해 2013년 11월부터 2014년 5월까지 서울소재의 대학병원 정신건강 의학과 외래 환자군(N=200)을 대상으로 설문 조사를 실시하였다. 임상집단 참가자의 인구통계학적 특성은 다음과 같다(Table 7). 건강대조군은 기존의 집단에서 무선표집하였다(N=202).

Difference of POREST scores between each group (N=402)

Factor GroupM (SD)tp
Optimismpatients19.46 (6.12)4.28***.000
control24.97 (3.54)
Purpose & Hopepatients15.92 (6.22)3.69***.000
control20.90 (3.99)
Self controlpatients13.96 (4.38)2.79**.007
control16.94 (3.71)
Social resourceSupportpatients8.69 (2.75)4.59***.000
control11.58 (2.01)
Carepatients6.42 (2.08).65.516
control6.74 (1.59)
Totalpatients64.46 (18.26)4.33***.000
control81.13 (10.68)

*p<.05,

**p<.01,

***p<.001.


결과는 다음과 같다(Table 8). 요인 1, 요인 2, 요인 3, 요인 4 모두 통계적으로 유의하게 정신건강의학과 외래 환자군에 비해 건강대조군의 점수가 높았으며 총점 역시 건강대조군이 정신건강의학과 외래 환자군에 비해 유의하게 높은 것으로 나타났다. 하지만 요인 5인 ‘돌봄과 섬김’의 점수는 유의한 차이가 없는 것으로 나타났다.

Correlation coef cients among the Korean Strength Scale, SWLS, HADS, and POREST (N=287)

PORESTOptimismPurpose & HopeSelf ControlSupportCareSWLSHADS
POREST
Optimism.83**
Purpose & Hope.82**.58**
Self control.74**.54**.52**
Support.65**.54**.39**.39**
Care.47**.29**.34**.32**.33**.28**
SWLS.57**.62**.41**.41**.40**.13**
HADS−.51**−.51**−.35**−.31**−.41**−.10**
M (SD)80.11 (12.45)18.10 (3.74)17.51 (3.69)13.89 (2.97)11.06 (2.33)6.98 (1.57)21.97 (6.56)12.27 (6.10)

**p<.01.


2) 기존에 개발된 타 검사와의 상관관계 비교

POREST의 타당도를 검증하기 위하여 기존에 개발된 척도 중 삶의 만족도(SWLS), 병원 우울-불안 척도와 POREST와의 상관계수를 살펴보았다. 구체적인 상관계수는 다음과 같다(Table 8).

SWLS와 POREST 간의 상관관계를 살펴본 결과, SWLS의 총점과 POREST의 총점 및 5요인이 모두 상관이 있는 것으로 나타났다. 그러나 일반적으로 ‘±.00-20은 상관이 매우 낮다’, ‘±.20-.40은 상관이 낮다’고 해석할 수 있기에(Sung TJ, 2007), POREST의 전체 총점과 긍정자원 중 주로 주관적 안녕감과 관련된 하위요인인 긍정성은 SWLS와 높은 상관을 보였으며, 나머지 요인은 모두 SWLS와 낮은 정적 상관을 보였다.

또한 병원 우울-불안 척도(HADS)와 POREST와의 상관계수를 살펴보았을 때, HADS의 총점과 POREST의 총점 및 5요인이 모두 상관이 있는 것으로 나타났다. 그러나 일반적으로 ‘±.00-20은 상관이 매우 낮다’, ‘±.20-.40은 상관이 낮다’고 해석하기 때문에(Sung TJ, 2007) POREST의 총점과 주로 긍정적인 정서상태를 반영하는 긍정성 요인과는 높은 부적상관을 보였으나 나머지 요인과 HADS는 모두 낮은 부적 상관을 보인다고 해석할 수 있다.

고찰

본 연구의 목적은 긍정심리학에서 Seligman(2002)이 개념화한 행복한 삶에 이르는 세 가지 길인 즐거운 삶, 적극적인 삶, 의미 있는 삶의 요소뿐만 아니라 다른 긍정적 자원 변인이 추가된 간단한 측정도구를 개발하고 이 척도의 신뢰도와 타당도를 확인하는 것이다.

요인분석 결과 5개의 요인이 적절한 것으로 시사되었다. POREST척도의 5개 요인 중 앞의 3가지 요인은 긍정성, 목적 및 희망, 자기 통제로 명명하였으며 나머지 2개 요인인 사회적지지, 돌봄과 섬김은 하나의 상위 차원인 사회적 자원으로 구성되었다.

본 연구를 통해 개발된 척도는 긍정자원의 인지, 정서, 행동적 측면을 포괄적으로 측정하고자 하였다. 이에 따라 “내 삶에 만족한다.”, “두려움을 자주 경험한다.”(역문항). “즐거움을 자주 경험한다”와 같은 긍정성의 정서적인 측면을 반영하는 문항을 구성하였으며, “평소에 건강을 위해 규칙적인 운동을 한다.”는 문항으로 긍정자원의 행동적 측면을 반영하고자 하였다. 그 외 나머지 문항을 통해 자신과 세상에 대한 긍정적 사고와 스트레스 상황에 대처할 수 있는 긍정적인 인지조절전략 등 긍정자원의 인지적인 측면을 측정하고자 하였다.

기존 연구에 따르면 운동이나 인지적 정서 조절은 개인의 긍정성과 관련이 있는 변인이나(Kim SI et al., 2004; Shin AY et al., 2011), 기존 웰빙 척도로는 측정이 되지 않았던 것들이다. 운동과 정서조절 등 더 다차원적인 문항을 포함하여 요인분석을 한 결과, 앞선 웰빙의 개념과 융합되어 개인의 긍정성을 보다 포괄적으로 보편적인 차원에서 개념화할 수 있었다. 이러한 점에서 본 연구는 긍정성의 근원과 그로 인해 나타나는 긍정적 태도의 특성을 반영한 척도제작을 시도하여 개인의 긍정성이 갖는 효과를 새롭게 다양한 각도에서 살펴볼 수 있는 기반을 마련하였다는데 의미가 있다.

POREST는 높은 내적 합치도와 검사-재검사 신뢰도를 갖고 있었고, 문항-총점 간 상관계수도 .30에서 .65로 중간 이상의 강한 상관을 보여 내용적인 일관성과 시간적인 안정성을 지닌 척도임이 확인되었다. POREST의 타당도를 분석하기 위해 타 검사와의 상관관계를 본 결과 SWLS와 POREST의 총점 및 하위요인 중 “긍정성”과는 정적상관이 있었으나 나머지 요인과는 다소 낮은 정적 상관을 보였는데, 이는 POREST가 주관적 안녕의 정서적 측면을 반영하는 삶의 만족과 일부 높은 관련이 있긴 하지만 그 외에도 긍정자원의 다차원적인 것을 측정하는 것을 반영하고 있기 때문인 것으로 보인다. HADS와 POREST간의 상관관계를 보았을 때도 POREST 총점과 “긍정성”은 높은 부적 상관이 있는 것으로 나타났는데 이는 만족감, 감사, 즐거움과 같은 긍정 정서의 증가가 우울 및 불안 등의 부정적 정서상태의 감소와 다소 관련이 있음을 나타내는 것으로 보인다. 그러나 긍정성을 제외한 나머지 하위요인과는 낮은 상관을 보여 POREST가 단순히 우울, 불안 등의 부정적인 정서의 반대인 상태만을 반영하는 것이 아니라, 이와는 변별되는 자기 관리 능력, 사회적 자원, 삶의 목적 등 다양한 차원의 긍정자원을 측정하는 척도임을 보여주었다.

본 연구에서는 POREST척도가 타당하게 긍정성을 감별할 수 있는지 확인하기 위해 정신건강의학과 외래 환자군과 건강대조군의 점수를 비교하였다. POREST의 하위 요인 중 ‘돌봄과 섬김’만이 외래 환자군과 건강대조군의 점수차가 유의하지 않았다. 기존 연구에 따르면 인간의 본성을 이기적이고 경쟁적이라고 여기는 사람일수록 더 자기중심적으로 행동하는 경향이 있다(Frank et al., 1993).이에 영향을 미치는 요인으로는 많은 환경적 특성들(ex. 부모의 양육, 인생의 큰 경험, 학교 교육, 사회 전반의 분위기)가 관련이 있을 것이다. 국외에서 이루어진 Oishi(2011)의 연구에서는 행복한 성인들이 더 많은 금액의 돈을 기부하고, 더 많은 시간동안 자원봉사를 하고 헌혈도 더 자주 한다고 보고하고 있다. 이러한 결과는 본 연구 결과와는 일치하지 않는데 이는 문화권의 차이를 반영한다고 볼수 있을 것이다.

‘돌봄과 섬김’요인을 제외한 POREST의 총점과 나머지 요인에서는 외래 환자군과 건강 대조군의 점수차가 유의한 것을 확인 할 수 있었는데, 이는 기존 연구에 따르면 정신질환·정신장애와 행복·웰빙은 서로 뚜렷이 구분되기는 하지만 관련되어 있다(Lim YJ et al., 2012). 즉, 정신장애에 이환되어 있더라도 행복을 구가하면서 자신의 긍정적 자원을 유지할 수 있으며 반대로 정신장애 편람에 있는 진단명이 없더라도 행복의 증진에 힘써야 할 사람이 있다는 것이다. 그럼에도 불구하고, 대부분의 기존 연구에서는 높은 우울 및 불안점수는 주관적 웰빙과 부적 상관이 있다고 보고한다(Kim JH, 2007; Kim SY et al., 2013). 본 연구에서도 환자군에 비해 건강대조군의 점수가 유의하게 높은 것을 확인할 수 있었는데, 이는 본 척도가 긍정성의 높고 낮음을 적절하게 감별할 수 있다는 것을 시사한다. 따라서 개인의 긍정적 자원 척도는 일반 성인들 뿐만 아니라 임상현장에서도 스트레스와 대처의 개인차를 설명할 수 있는 개인특성 요인에 대한 이해를 높이는데 유용할 것으로 기대된다.

본 연구의 제한점으로는 첫째, 본 연구는 긍정성 요인을 고려함에 있어서 단기적 개입에 의해 변화할 수 있을 만한 요인인 희망, 목적 등 개인의 내적인 변인에만 초점을 맞추었다. 따라서 월평균 소득과 학력 등 개인의 긍정적 자원이 될 수 있는 외적 변인도 긍정성의 주요 요인이라는 것을 간과하지 말아야 할 것이다.

둘째, 표본의 동질성에 대한 제약성이다. 비록 본 연구가 표본 크기 면에서 상대적으로 많은 수를 확보하고 있지만, 남성과 여성, 혹은 연령대 별로 표본의 특성을 분류하여 나누어 보지 않았다. 따라서 임상적 진단이 내려진 환자들과 일반인들 간의 분류를 하여 규준을 설정하는 것과 같은 포괄적인 사용 목적에는 미흡하다고 할 수 있다. 기존 연구에 따르면, 본 척도 문항 중 하나인 수용은 일반 성인 집단에서는 긍정적 태도를 가장 잘 설명하는 것이었으나, 대학생 집단에서는 설명력이 낮게 나타났다(Hyun KJ, 2009). 이러한 차이는 피검자 집단의 생애 경험이나 발달적 이슈와 연관되는지 고려해 보아야 한다.

셋째, 새로 개발 된 긍정 자원 척도는 긍정자원의 정서, 인지, 행동적 측면을 포괄적으로 평가하고자 하였으나, 타당도 검증 과정에서 긍정자원의 정서, 인지적 측면을 주로 반영하는 척도인 SWLS와의 상관관계만을 비교, 분석하였으며, 새로 개발된 척도가 긍정자원의 행동적 측면을 평가하기에 타당한지에 대한 검증절차가 상대적으로 부족하였다. 이는 긍정성을 평가하는 기존 척도의 대부분이 정서, 인지적인 측면에 치우쳐져 있고, 긍정자원의 행동적 측면을 평가하는 척도가 전무한 상황인 데에서 기인하고 있으나 향후 긍정자원의 행동적 측면을 타당하게 평가하고 있는 지에 대한 타당도 연구도 필요할 것이다. 또한, SWLS의 일부 문항이 새로 개발한 척도의 예비 문항 선정 시 참고로 사용되었기 때문에 타당도 검증 결과를 해석할 시에 이를 감안해야할 것이다.

이러한 제한점에도 불구하고, 본 연구는 기존의 긍정적 변인에 추가적으로 인지적 정서조절이나 운동 변인 등을 추가하여 개인의 긍정자원을 좀 더 광범위한 시각으로 보려고 시도했다는 점에서 의미가 있다. 또한 상당한 시간동안 축적된 임상자료를 바탕으로 문항을 선정하였고 체계적인 타당화 과정을 거쳐서 완성된 POREST척도를 이용하여 긍정심리관련 연구들 특히 긍정심리치료와 관련된 연구들에서 개입과정에서의 변인들 및 성과를 측정하는 신뢰롭고 타당한 도구로 경험적 연구의 폭을 넓혀줄 수 있게 되었다는 점 역시 의미가 있다.

개인의 긍정적 성향은 역경이나 일상생활에서 빛을 발휘하는 특성으로 간주되어 긍정성을 구성하는 요소들에 대한 탐색은 임상적인 측면에서도 의미가 있다. Steele(1988)에 따르면 자신을 긍정적으로 평가하는 사람은 실패나 어려움 속에서도 좌절하지 않고 잘 기능하며, 자신을 낮게 평가하는 사람보다 자원을 많이 갖고 있어 어려운 시기를 잘 견디는 것으로 나타나고, 자신에 대한 호의적인 견해는 일의 성취나 역경 극복에 필수적인 내구력(persistence)등 자기조절을 요하는 특성들을 강화시키는 것으로 보고되고 있다(Higgins, 1996).

앞으로 진행될 긍정 심리학적 치료적 개입과 관련된 후속 연구들은 21세기 심리학의 새로운 모형이라고 할 수 있는 인간의 행복 추구와 웰빙을 촉진하는 것을 목적으로 하는 성장모델에 부합하는 긍정적인 치료과정 및 긍정적인 성과 변인들의 발견을 통해 실제 임상 장면에서 활용할 수 있을 것으로 기대된다.

Conflicts of interest

The authors declared no conflict of interest.

Appendix
References
  1. Choi YH, Lee HK, and Lee DG. (2008) Validation of the Korean Versoin of Snyder's Dispositional Hope Scale. Kor J of Soc & Per Psychol 22, 1-16.
  2. Csikszentmihalyi M. (1990). Flow:The Psychology of Optimal Experience . Harper and Row, New York.
    Pubmed
  3. Diener ED, Emmons RA, and Larsen RJ et al. (1985) The Satisfaction With Life Scale. J of Per Assessment 49, 71-75.
    Pubmed CrossRef
  4. Frank RH, Gilovich T, and Regan DT. (1993) Does studying economics inhibit cooperation?. J of Economic Perspectives 7, 159-171.
    CrossRef
  5. Higgins E. (1996) The “self-digest”:Self-Knowledge serving self-regulatory functions. J of Personal and Soc Psychol 71, 1062-1083.
    Pubmed CrossRef
  6. Hyun KJ. (2009) Exploring the Components of Positivity among Adult Koreans:Development and Validation of a Positive Attitude Scale. Kor J of Social and Personality Psychology 23, 13-42.
  7. Joseph S, and Linley PA. (2006) Growth following adversity:Theoretical perspectives and implications for clinical practice. Clin Psychol Rev 26, 1041-1053.
    Pubmed CrossRef
  8. Kang HC. (2013) A Guide on the Use of Factor Analysis in the Assessment of Construct Validity. J Korean Acad Nurs 43, 587-594.
    Pubmed CrossRef
  9. Keyes CL, Wissing M, and Potgieter J et al. (2008) Evaluation of the Mental Health Continuum-Short Form (MHC-SF) in Swetsana-speaking South Africans. Clin Psychol Psychother 15, 181-192.
    Pubmed CrossRef
  10. Kim JH. (2007) The relationship between life satisfaction/life satisfaction expectancy and stress/well-being:an application of motivational states theory. Kor J Health Psychol 12, 325-345.
    CrossRef
  11. Kim MS, Kim HY, and Cha KH. (2001) Analyses on the Construct of Psychological Well-Bing of Korean Male and Female Adults. Kor J of Soc & Per Psychol 15, 19-39.
  12. Kim SI, and Kim YJ. (2004) Analysis on psychological Well-being on the recognition of Health &Life level of Sport Participants. J of coaching development 6, 233-243.
  13. Kim SY, Min JA, and Chae JH. (2013) Relationship between life Satisfaction and Variables of Demographic and Psychological Positive Factors in Patients with depression. J of Kor Soc for Dep and Bip Desorders 11, 1-9.
  14. Lee SM. (2000). The Foundation of Factor analysis . Kyoyookbook, Paju.
  15. Lim YJ, Ko YG, Shin HC, and Cho YR. (2012) Psychometric Evaluation of the Mental Health Continuum-Short Form (MHC-SF) in South Koreans. Kor J of Psychol:General 31, 369-386.
  16. McDonald RP. (2005) Semiconfirmatory factor analysis:The example of anxiety and depression. Struct Equat Model 12, 163-172.
    CrossRef
  17. Min KJ, Oh SM, and Park DB. (1999) A comparison of Normal, Depressed and Anxious Groups =A study on the Standardization of the Hospital Anxiety and Depressed Scale for Koreans. J of Kor Neuropsychiatric Association 38, 289-296.
  18. Oishi S. (2012). The psychological wealth of nations:Do happy people make a happy society . Wiley-Blackwell, NJ.
    CrossRef
  19. Seligman MEP. (1998) Positive social science. APA Monitor 29, 2-5.
  20. Seligman MEP. (2002). Authentic Happiness:Using the New Positive Psychology to Realize Your Potential for Lasting Fulfillment . Free Press/Simon and Schuster, New York.
    KoreaMed
  21. Seligman MEP, and Csikszentmihalyi M. (2000) Positive psychology:An introduction. Am Psychol 55, 5-14.
    Pubmed CrossRef
  22. Shin AY, and Chae JH. (2011) Emotion regulation Strategies in patients with depressive and anxiety disorders. Kor J of Cognitive Behavioral Therapy 11, 41-52.
  23. Stebbins R. (1992). Amateurs, professionals, and serious leisure . McGill-Queen's University Press, Montreal.
  24. Steele CM. (1988). Array, Berkowitz L (ed.) 21, pp.261-302. Academic Press, New York.
  25. Suh EK. (2007). An Intruduction to Positive Psychology . Pakhaksa, Seoul.
  26. Sung TJ. (2007). Easy Statistical Analysis . Hakjisa, Seoul.
  27. Tak JK. (2007). Psychological testing:An understanding of development and evaluation method . Hakjisa Publisher, Seoul.
  28. Wong PTP, and Fry PS. (1998). The human quest for meaning:A handbook of psychological research and clinical applications Mahwah . Erlbaum, NJ.
  29. Yates A. (1987). Multivariate exploratory data analysis:A perspective on exploratory factor analysis Albany:State University of New York Press .
  30. Zigmond AS, and Snaith RP. (1983) The hospital anxiety and depression scale. Acta Psychiatr Scand 67, 361-370.
    Pubmed CrossRef


September 2018, 26 (3)

Cited By Articles
  • CrossRef (0)

Author ORCID Information

Funding Information

Social Network Service
Services