서 론

지능검사가 점차 발달함에 따라 최근 새로 개정된 Korean Wechsler Adult Intelligence Scale-IV (K-WAIS-IV)는 신경심리적인 적용을 강조하면서 조금 더 탄탄하고 명확한 인지적 요인에 근거하고 있고, 임상적인 활용도 또한 높아지고 있는 추세이다. K-WAIS-IV는 언어이해 지수, 지각추론 지수, 작업기억 지수, 처리속도 지수의 4개 지수에 해당하는 소검사들로 구성되어 있는데 그 중 처리속도 지수의 소검사들은 단순한 시각정보를 빠르고 정확하게 훑어보고, 차례를 밝히고, 변별하는 수검자의 능력을 측정한다(Hwang ST et al., 2012a). K-WAIS-IV에서는 처리속도 측정을 위해 동형찾기, 기호쓰기의 2가지 핵심소검사와 지우기의 보충소검사를 사용한다. 그 중 기호쓰기(Coding)는 수검자에게 정해진 제한시간 내에 숫자와 짝지어진 기호를 빈칸에 옮겨 적도록 한 후, 정확하게 완성한 수행의 수를 채점하여 측정한다(Hwang ST et al., 2012b). 이를 통해 시각운동 처리속도, 단기 시각 기억 학습 능력, 인지적인 유연성, 주의, 집중, 동기화를 측정하며, 소검사 환산점수는 평균 10, 표준편차 3을 갖는다(Hwang ST et al., 2012a). 기호쓰기는 임상장면에서도 유용한 해석적 활용을 가지는데, 다른 검사보다 기능적 손상에 민감하며, 뇌손상이 가벼운 경우일지라도 점수가 많이 저하되고 다른 소검사들에 비해 점수가 크게 낮아진다(Hwang ST et al., 2013). 기호쓰기를 수행하는데 있어서 기호를 다룰 때는 좌반구 기능을 요구하고, 다양한 모양을 그리는 과정에서는 우반구 기능이 필요하므로, 이 소검사의 다양한 요소들은 좌반구, 우반구 영역에 상관없이 대뇌피질 상태에 민감하도록 만들어져 있다(Park YS, 1998). 또한 기능적 손상에 극도록 민감하여 우울과 뇌손상 환자는 이 소검사에서 어려움을 겪으며, 계속적인 주의 집중과 신속한 의사 결정을 요구하기 때문에 불안, 망설임, 강박, 신중함, 완벽주의를 지닌 사람들에게서는 유의하게 점수가 낮아진다(Park K, 2009). 이와 같이 기호쓰기와 같은 처리속도 지수 소검사에서 낮은 점수를 얻는다는 것은 일반적인 처리속도 결함을 반영하므로 수검자가 낮은 점수를 얻으면 그 수검자의 처리속도는 같은 연령층의 다른 사람들에 비해 더 느리다고 가정하지만, 임상가가 문항 수준 및 인지능력 수준의 분석을 통해 수검자의 수행이 왜 빈약했는지 그리고 그 함의가 무엇인지에 대해서도 파악할 필요가 있다(Hwang ST et al., 2013). 그러므로 신경심리와 긴밀하게 연결되어있는 K- WAIS-IV를 해석하는데 있어서 서로 다른 검사를 통해 얻은 한 개인의 환산 점수를 동등 비교하면서 인지기능의 저하나 향상으로 평가하기 쉬우므로 임상 현장에서의 올바른 이해와 적용 및 해석에 있어서 이러한 평가가 옳은지에 대해서 검증할 필요성이 있겠다.

한편 Hwang ST et al.(2012a)은 기존의 한국판 지능검사인 K-WAIS와 새로 개정된 K-WAIS-IV의 상관을 보기 위해 규준자료 수집에 참여한 표준화 표본의 수검자들 중 임의로 표집된 30명을 대상으로 K-WAIS와 K-WAIS-IV를 함께 실시하여 두 검사의 결과를 비교하였다. 소검사들 간의 비교는 두 검사에 공통적으로 포함되어 있는 토막짜기, 공통성, 숫자, 어휘, 기호쓰기, 이해, 빠진곳 찾기 등 7개 소검사들을 중심으로 이루어졌다. 두 검사 환산점수의 상관을 산출한 결과, 기호쓰기 소검사에서는 수정된 r값이 .63으로 산출되었으며, Cohen(2008)의 공식을 사용하여 두 검사의 평균 차이를 통합된 변량의 제곱근으로 나눈 표준 차이값은 .82로 산출되었다. 이는 빠진 곳 찾기(.01), 상식(.08)과 같은 소검사에서의 표준차이에 비해 상대적으로 큰 차이이지만, Hwang ST et al.(2012a)은 K-WAIS와 K-WAIS-IV에서의 각 기호쓰기 난이도가 다를 것으로 가정하기 어려운 만큼 학습효과 또는 연습효과로 설명하는 것이 더 합리적이라고 말하고 있다. 그러나 K-WAIS와 K-WAIS-IV에서의 기호쓰기 차이를 보기 위한 후속연구인 Choi WJ(2015)의 연구에서 피험자 30명에게 K-WAIS-IV와 K-WAIS의 기호쓰기 소검사를 실시하는데 있어서 실시순서를 통제한 뒤 두 검사점수의 차이를 비교한 결과, 여전히 두 검사 간 큰 차이가 나타나 이를 학습효과로만 보기에는 무리가 있을 가능성이 제기되었고, 다른 요인의 개입으로 인해 수행이 더 어려워지고 난이도가 높아졌을 가능성도 있을 것으로 보인다.

난이도의 측면에서 보자면, 일반적으로 반응시간의 평균과 정확도 평균은 과제들의 인지처리 수준이 증가할수록, 즉 과제들의 정보처리 과정이 복잡하고 어려워질수록 증가한다(Kim YY, 1996). 때문에 제한시간을 가지는 속도검사에서 과제의 난이도가 높아지면 수행도 저조해질 것으로 기대할 수 있다. 또한 성공적으로 과제를 수행하기 위해서는 주의 집중이 필요하며, 과제를 수행하는데 있어서는 과제 난이도에 따른 인지적 부하의 영향을 받고(Kiss et al., 1998), 인지적 부하가 높은 과제를 수행할 때에는 더 많은 주의자원이 요구된다(Kok, 2001). 난이도가 정보처리에 미치는 영향에 대해 연구한 Kim SW et al.(2008)에 따르면, 자극난이도가 높은 과제에서는 자극난이도가 낮을때보다 처리되어야 할 정보의 개수가 증가하며, 그에 따른 선택반응도 복잡해져서 반응시간과 정확률에 있어서 차이를 보인다고 한다. 또 다른 정보처리 연구인 Kim YY(1996)의 연구에서는 지능검사와 정보처리검사가 개별적으로 이루어졌는데 지능이 높을수록 과제 복잡성에 따른 반응시간의 증가가 적어지는 경향이 나타났다. 이는 지능이 높은 집단은 지능이 낮은 집단보다 과제의 난이도가 높아지더라도 더 일관성 있게 빠르게 반응하였음을 의미한다. 때문에 정보처리 과제가 어떤 수준의 난이도를 갖느냐에 따라 수검자들의 분포 격차가 달라질 수 있다는 것을 알 수 있다. 검사이론가들에 의하면 문항 난이도는 중간정도의 난이도가 변별력을 최대화시키므로 중간정도의 난이도를 가진 문항이 선호되지만, 최하집단이나 최상집단의 변별력을 증가시키기 위해서는 매우 쉬운 문항과 매우 어려운 문항들도 필요하다고 한다(Kim JK et al., 1992).

K-WAIS 바꿔쓰기 소검사를 K-WAIS-IV의 기호쓰기 소검사로 개정하면서 변경된 사항들을 살펴보면, 순수한 시각 정보의 구별에 대한 어려움을 감소시키기 위해 모든 자극을 확대하였기 때문에(Hwang ST et al., 2012a) 기호쓰기가 검사지에서 차지하는 간격이 2배 이상 확대되었다. 또한 K-WAIS-IV의 기호쓰기에서는 숫자배열을 고르게 하기 위해 한 행에 모든 숫자가 골고루 배치되도록 숫자 배열을 바꾸었다(Hwang ST et al., 2012a). 이러한 개정이 피험자들에게 기호쓰기 검사를 더 어렵게 만들었을 가능성을 확인해 볼 필요가 있다고 본다. 이 외에도 보기에 제시되어 있는 각 숫자와 매치된 도형의 모양이 더 외우기 어려운 모양으로 바뀌었을 가능성도 있다.

변경사항들을 고려해 보았을 때, 우선 간격확대로 인한 거리 차이에 의해서 난이도 차이가 발생했을 가능성이 있다. 연속적 주의 이동(analogue attention movements) 모형에 의하면, 주의는 시각장 위의 한 지점에서 다른 한 지점으로 이동할 때 다른 물리적 이동과 유사한 방식으로 일정한 속도를 가지면서 연속적으로 이동하므로 두 지점 사이의 거리가 멀어질수록 주의이동에 걸리는 반응시간도 일정하게 증가한다(Shulman et al., 1979; Tsal, 1983). 또한 주의 구배(gradient) 모형에 의하면, 주의 자원은 초점에서 가까울수록 더 많이 할당되어 반응이 빨라지고 먼 지점일수록 더 적게 할당되어 반응이 느려지므로 거리효과가 있을 수 있다고 본다(LaBerge, 1983). 그러므로 각 숫자에 맞는 도형을 확인하여 옮겨 적어야 하는 기호쓰기 검사의 특성상, 거리간격이 넓을수록 반응시간이 느려질 수 있다고 본다. 또한 Sul JD et al.(2011)의 연구에서는 반응 복잡성 효과를 설명하고 있는데, 이는 동작반응의 복잡성이 증가하면서 반응시간이 길어지는 것을 말하며, 반응시간이 지연되는 것은 반응을 계획하는 단계에서의 중추적인 처리과정이 지연되는 것이 아니고 복잡한 동작을 수행할 때 운동명령의 신경전달 및 근육 수축과정의 지연에 의한 것임을 알아보았다. 연구 결과, 도약 안구 운동의 수가 증가함에 따라 반응시간이 증가하였음을 알 수 있었다. 이를 통해 기호쓰기 검사에서 숫자와 도형이 매치되어있는 보기자극과 실제 기록하는 칸과의 간격이 넓어질수록 안구운동을 증가시키고 반응시간이 늘어날 수 있음을 유추할 수 있다.

다음으로는 숫자배열에 따른 반복 시연(rehearsal)의 차이에 의해서 난이도 차이가 발생했을 가능성을 들 수 있다. 한편 Spitz(1973)는 Atkinson et al.(1971)의 기억이론에서 투입, 저장, 회복을 통해 정보의 흐름을 관리하는 과정을 통제함으로써 정보처리체제를 통제할 수 있다고 하였다. 특히 정보가 인간의 기억처리 체제 중 감각기억을 지나 일단 단기기억으로 전이되면 학습자는 적극적인 시연을 해야 그 정보가 쇠퇴하지 않으며, 시연을 많이 하면 할수록 단기기억에 저장되는 정보의 용량은 많아지고 오래 보존된다. 이와 같은 사실을 바탕으로 WAIS 지능검사에서의 기호쓰기 소검사를 살펴보았을 때, K-WAIS 바꿔쓰기 소검사에서의 숫자배열은 앞부분에서 주로 낮은 숫자들만 나와 단기기억을 돕는 반복시연이 많은 것을 볼 수 있다. 실제로 15번째 칸 이전에는 5 이상의 숫자가 나오지 않으며, 앞 숫자들의 수행이 충분히 반복된 후 큰 숫자들이 나오기 시작한다. K-WAIS 바꿔쓰기 소검사에서 6은 15번째 칸에서, 7은 23번째 칸에서, 8은 29번째 칸에서, 9는 38번째 칸에서 최초로 제시되고 있다. 반면, K-WAIS-IV 기호쓰기 검사에서의 숫자배열은 9개의 숫자가 한 행에 2번씩 랜덤으로 제시되어 있도록 바뀌었다. 처음 9번의 수행 안에서 1부터 9까지의 모든 수행이 실행되기 때문에 반복 시연을 통해 학습할 기회가 적은 수행에서 더 어려움을 느낄 가능성이 있다고 본다.

그 외에도 심리검사는 그 목적에 따라 개인의 점수를 특정 기준점수와 비교하는 것이 주요 목적인 준거참조검사와 다른 사람들의 점수와 비교해서 얼마나 높은지를 알아보는 것이 주요 목적인 규준참조검사로 나눌 수 있다(Tak JK, 2007). 웩슬러 지능검사는 특정 개인의 검사점수를 다른 사람들과 비교해서 얼마나 높은지 또는 낮은지의 상대적 정보를 얻는 것이 목적이므로 규준참조검사에 속한다. 규준참조검사에서 개인의 점수를 다른 사람들의 점수와 비교해서 해석할 때, 비교가 되는 점수들을 규준(norm)이라 하며 비교대상이 되는 집단을 규준집단(norm group)이라 한다. 그러므로 규준은 개인의 점수를 그 개인이 속한 모집단에 비추어 해석할 수 있도록 기준이 되어 준다. 검사개발자는 피험자의 점수를 해석하기 위해 자신이 개발한 검사를 먼저 규준집단에게 실시하여 모든 사람들의 점수가 일목요연하게 나타나는 표를 만들어야 한다. 이를 규준표(norm table)라고 하는데, 이를 통해 피험자가 받은 점수가 다른 사람들에 비해 얼마나 높은 점수인지 또는 낮은 점수인지에 관한 정보를 알 수 있다(Tak JK, 2007). 규준표에 비추어 개인의 원점수는 남과의 비교정보가 함유된 점수로 전환된다(Korean Psychological Association, 1998). 규준참조검사에서 검사를 치른 사람의 이상적인 점수분포는 중간 점수를 받은 사람이 많고 높거나 낮은 점수를 받은 사람이 상대적으로 적은 정규분포다. 정규분포를 이룬 경우 개인의 점수가 다른 사람과 비교해서 얼마나 높은 점수인지를 쉽게 알 수 있기 때문이다(Tak JK, 2007). 그러나 많은 검사들이 편포된 점수분포를 가진다. 점수분포가 편포되어 있는 경우는 정상분포하는 경우에 비해서 특정한 점수가 차지하는 위치의 의미를 명확하게 규정하기 어려운 문제가 발생한다. 예를 들어 점수 분포가 정상분포되어 있으면 특정한 점수를 표준점수(Z-score)로 변환함으로써 전집에서의 비교적 정확한 백분위를 이론적으로나마 추정할 수 있지만 편포되어 있는 분포에서는 그렇지 못하다(Korean Psychological Association, 1998).

Hwang ST et al.(2012a)은 K-WAIS-IV에서 환산점수와 과정점수의 산출을 위해 이 검사 원판인 WAIS-IV에서 사용한 방법을 원용하였다. Hwang ST et al.(2012a)의 방법에서는 “WAIS-IV에서 규준정보는 추론 규준(Wilkins et al., 2005) 방법을 사용하여 개발되었다. 각각의 점수에 대한 다양한 수치(평균, 표준편차, 편포도) 등이 규준표본 각 연령집단에 대해 계산되었고, 수치들은 연령에 따라 산포도로 표시되어, 선형회귀에서 4차 다항식 회귀에 이르기까지, 다양한 회귀식을 통해 수치자료에 맞추어졌다. 각각의 점수 수치들의 함수가 잠재된 이론적 기대와 규준 표본에서 관찰된 성정곡선의 패턴에 일치하도록 선택되었으며, 각각의 소검사에 대해, 연령집단 중간점 인구 수치의 추정치를 도출하기 위해 함수가 사용되었다. 추정된 수치는 각각의 보고된 규준 연령집단에서 이론적 분포를 만들기 위해 사용되었고, 각 원점수에서 백분위를 계산하였다. 연령집단 간의, 그리고 연령집단 내의 표준점수의 증가가 조사되었고, 완곡화(smoothing)를 통해 심각하지 않은 불균형은 제거되었다.”고 하였다. 완곡화(smoothing)란 자료의 빈도분포나 동백분위 동등화로 얻어진 동등화 함수를 부드럽게 만드는 과정이다(Korean Society for Educational Evaluation, 2004). 동등화를 위한 자료는 모집단으로부터 표집된 자료이므로 표집오차(또는 무선오차)에 의해 동백분위 관계는 불규칙적으로 나타날 수 있다. 때문에 표집의 오차를 줄임으로써 동백분위 동등화의 정교성을 높이기 위한 목적으로 개발된 절차가 완곡화 방법이다. 하지만 완곡화가 항상 동등화의 정교성을 담보하지는 못한다. 이는 완곡화를 실시하는 과정에서 체계적 오차가 나타나기 때문에 무선오차가 감소하더라도 측정에서의 오차가 일정패턴으로 체계적으로 나타나는 체계적 오차가 증가하여 전체 오차가 커질 수 있기 때문이다(Kim KS, 2014). 그러나 개인검사의 표준화를 위해 아무리 면밀한 표집계획과 정교한 표집기법을 사용해 표준화 자료를 수집하더라도 확률적으로 집단검사보다 표집오차로 인한 각 연령별 분포 특성뿐 아니라 연령 간에 있어서 특히 평균 및 표준편차와 같은 분포 특성에 있어서 이론적으로 기대될 수 있는 규칙성이 파괴되어 정확하고 타당한 규준개발이 심각하게 위협된다(Angoff et al., 1982). 이는 분포가 정상성을 띄지 못하고 편포될 수 있음을 의미하며, 이는 더 큰 완곡화를 필요로 하게 된다. 또한 Moon SB(2005)은 “아무리 정교한 표집방법으로 표집을 하고 표집된 피험자들을 대상으로 아무리 정확한 표준화 절차에 따라 검사에 잘 실시한다고 해도 연령당 100∼200 정도의 소표집을 할 경우 각 연령별 점수분포가 정규분포에서 벗어나게 되고, 연령에 따른 집단간 평균이나 표준편차의 변화 형태가 정확하고 타당한 규준개발을 위해 기대되는 형태로부터 심각하게 일탈된 자료를 얻을 수밖에 없다”고 하였다. 소표본 자료가 가지고 있는 이러한 문제점에도 불구하고, 개별 연령집단별로 표집된 분포를 이론적으로 기대되는 정상분포의 형태로 수정하거나 연령에 따른 평균 혹은 표준편차의 변화를 이론적으로 기대되는 형태에 맞추어 완곡화하는 작업을 통해 자료를 수정한 후, 규준개발을 위한 자료로 사용해 왔다(Moon SB, 2005).

표준화 과정에서의 한계로 인해 기능의 차이가 없이 동일한 수행을 할 수 있는 한 개인일지라도 난이도가 다른 소검사를 하게될 경우 다른 표준점수를 얻게 될 가능성이 있을 것으로 보인다. 중간 정도의 난이도가 아닌 너무 쉽거나 너무 어려운 검사는 규준집단의 분포를 한쪽으로 편포되게 할 수 있기 때문이다. 난이도가 너무 쉬운 경우에는 최빈값이 중앙값보다 커지고 중앙값이 평균보다 커지면서 분포는 부적으로 편포되고, 난이도가 너무 어려운 경우에는 최빈값이 중앙값보다 작아지고 중앙값이 평균보다 작아지면서 분포는 정적으로 편포될 것이다. 때문에 정상분포를 이루는 표본집단을 표준정상분포로 만드는 것이 가장 이상적이겠지만, 편포된 분포를 표준정상분포로 만들기 위해 완곡화하는 과정에서 만들어진 표준점수는 신뢰롭지 못할 가능성이 더 크다고 본다. 때문에 기호쓰기 소검사가 개정되는 과정에서 고려하지 않았던 변수인 난이도에 따라 과제 수행에 미치는 영향이 일관적이지 않을 가능성, 표준화 과정에서 기능상의 차이가 없는 한 개인의 표준점수가 달라져 설명력이 오염될 가능성이 있는지에 알아보고자 한다. 하지만 K-WAIS와 K-WAIS- IV는 규준집단이 달라 직접적인 비교가 어렵다. 그러므로, 동일한 대상들에게 동일한 조건에서 서로 다른 조건의 기호쓰기를 실시한 후, 어떤 변인이 기호쓰기 검사에서 수행의 차이에 영향을 미칠 수 있는지와 수행의 차이가 유의한 조건들에서 보여지는 동일대상의 분포특성이 달라지는지의 여부를 확인하고자 한다.

연구방법

1. 연구대상

피험자는 Hwang ST et al.(2012a)의 방법에 따라 한국 인구구성비 및 규준표본의 백분율을 참고로 하여 모집하였다. 연령은 K-WAIS-IV 규준표본의 연령대상인 16세 0개월부터 69세 11개월까지 중 3번째 연령집단인 20세 0개월부터 24세 11개월까지의 집단을 모집하였으며, 이 연령집단은 K-WAIS와 K-WAIS-IV 모두에서 기호쓰기 소검사 수행의 최고연령집단으로 나온 바 있다(Jo SW, 2014). 실험에 참여한 46명 중, 2차에 참여하지 않은 2명을 제외하고 총 44명의 결과만을 분석하였고, 참가자들의 평균 연령은 22 (SD=1.5)세, 학력은 평균 14.8 (SD=1.3)년이었다. Table 1은 실험에 참여한 20∼24세 연령집단의 참가자들과 Hwang ST et al.(2012a)의 방법에서 제시한 한국 인구구성비 및 규준표본의 성별, 교육수준 현황을 백분율로 제시한 것이다. 본 연구는 덕성여자대학교 기관윤리심의위원회의 승인을 받아 진행하였고, 피험자로부터 연구에 대한 서면 동의서를 받았다(IRB 승인번호: 산학연구과-8825).

Table 1

The ratio of Korean population, K-WAIS-IV norm group, experiment participant

Group of age		Gender		Education
		Male	Female	≤8 years	9~11	12	13~15	16≤
20~24	Population	52.3	47.7	0.4	1.6	20.9	66.8	10.3
	Norm group	48.7	51.3	0.0	0.6	14.7	70.5	14.1
	Experiment participant	7	93	0	0	7	66	27

K-WAIS-IV: Korean Wechsler Adult Intelligence Scale-IV.

2. 실험도구 및 절차

본 연구는 연습효과를 최소화하기 위해 총 2회에 걸쳐 진행되었으며, 총 8개의 서로 다른 기호쓰기 소검사를 실시했다. 8개의 검사는 간격과 숫자배열, 그리고 보기에서 제시된 도형의 모양에 따라 영향을 줄 수 있는 나머지 요인들을 알아보기 위해 2 (간격)×2 (숫자배열)×2 (보기)의 방법으로 조작하였다. K-WAIS 바꿔쓰기와 K-WAIS-IV 기호쓰기를 각각 비교해 보았을 때 간격에 있어서 총 검사지 길이는 108 mm에서 241 mm로 약 2배 이상 확대되었고, 숫자배열은 K-WAIS 바꿔쓰기에서 앞 부분에 작은 숫자들만 제시된 것에 비해 K-WAIS-IV 기호쓰기에서는 고르게 분포되었으며, 보기에 제시된 도형의 모양도 매치된 숫자의 순번과 획의 개수가 같지 않은 등 보다 암기하기 어렵도록 변경되었다.

K-WAIS 바꿔쓰기와 K-WAIS-IV 기호쓰기의 제한시간, 시행할 수 있는 문항 수가 서로 다르기 때문에 문항 수가 모자르지 않고 최대한 만점자를 줄이기 위해 90초로 동일하게 시행하였다. Table 2에는 실험에 필요한 각 조건 별 실험지를 조작한 방법이 나와 있다.

Table 2

Conditions of example (2)×sequence (2)×distance (2)

Example	Sequence	Distance
K-WAIS (The old_simple)	K-WAIS (The old_irregular)	K-WAIS (The old_short)	Condition 1
		K-WAIS-IV (The new_long)	Condition 3
	K-WAIS-IV (The new_regular)	K-WAIS (The old_ short)	Condition 2
		K-WAIS-IV (The new_long)	Condition 4
K-WAIS-IV (The new_complex)	K-WAIS (The old_irregular)	K-WAIS (The old_ short)	Condition 8
		K-WAIS-IV (The new_ long)	Condition 6
	K-WAIS-IV (The new_regular)	K-WAIS (The old_ short)	Condition 7
		K-WAIS-IV (The new_ long)	Condition 5

K-WAIS-IV: Korean Wechsler Adult Intelligence Scale-IV.

총 8개의 기호쓰기 검사를 한 회당 4개씩 무작위 순서로 실시하며, 각각의 검사 중간에는 5분씩 쉬는 시간을 가졌다. 두 번째 방문은 첫 번째 방문 이후 최소 48시간 이후 진행되었으며, 피험자는 첫날 실시하지 않은 나머지 4개의 기호쓰기 검사를 동일한 절차로 수행하였다. 실험은 개별검사로 이루어졌으며, 실험을 통해 측정한 값은 동일한 피험자가 동일한 시간(90초)동안 서로 다른 8개의 처리속도검사에서 성공적으로 수행해낸 시행의 개수였다. 모든 검사에서 91개의 시행까지 채점하고, 이상은 만점 처리하였다.

3. 자료분석

본 연구는 피험자내 설계를 통해 처리속도 과제 수행 차이에 영향을 줄 수 있는 변인을 조작한 처치의 민감성을 보려함이 목적이다. 이를 통해 어떤 변인이 처리속도검사의 수행을 달라지게 하는데 있어서 주효과를 갖는지 알 수 있으며, 표준화 과정에서의 완곡화에 영향을 미칠 수 있는 편포 특성의 차이를 확인할 수 있다. 이를 위해서 기존의 K-WAIS 바꿔쓰기 소검사와 K-WAIS-IV 기호쓰기 소검사의 원본을 비롯하여 각각 변인을 다르게 처치한 8가지 조건의 기호쓰기 소검사에서 성공적으로 수행해낸 시행의 개수를 비교하였다. 자료분석을 위해 SPSS 18.0을 이용하였으며, 우선 피험자들의 일반적 특성인 성별, 연령, 학력에 대한 기술적 통계를 통해 피험자들의 분포 비율과 현황을 알아보았다. 이후, 피험자들에게 실시되는 8가지 조건의 실험지 중 K-WAIS 바꿔쓰기 원본과 K-WAIS-IV 기호쓰기 원본에서의 수행 값을 T 검증을 통해 분석함으로써 두 검사간의 차이를 보았다. 물리적 간격, 숫자 배열이 처리 속도에 미치는 영향을 알기 위해 삼원 분산 분석(3-way Analysis of Variance [ANOVA])을 실시하였으며, 이를 통해 물리적 간격과 숫자 배열의 주효과와 상호작용 효과를 확인하였다. 또한 8개의 실험지 중 유의한 차이를 보이는 반응들의 왜도와 첨도 및 정규성 여부를 Kolmogorov-Smirnov 검증(K-S검증)을 통해 확인한 뒤 분포 특성에서의 차이가 있는지 살펴보았다.

결 과

K-WAIS 바꿔쓰기 소검사와 K-WAIS-IV의 기호쓰기 소검사의 차이를 알아보기 위해 K-WAIS 바꿔쓰기 원본인 1번 조건의 실험지와 K-WAIS-IV 기호쓰기 원본인 5번 조건의 실험지를 비교하였고, 대응표본 t검정을 실시한 결과가 Table 3에 제시되어 있고, K-WAIS 바꿔쓰기 소검사와 K-WAIS-IV의 기호쓰기 소검사는 유의미한 차이가 있었다 [t (43)=3.15, p<.01].

Table 3

Difference between digit symbol in K-WAIS and coding in K-WAIS-IV

	M (SD)	Paired difference		t	df
		M (SD)	SEM
Condition 1 (N=44)	88.89 (4.01)	2.68 (5.65)	.85	3.148**	43
Condition 5 (N=44)	86.20 (6.03)

^** p<.01. K-WAIS-IV: Korean Wechsler Adult Intelligence Scale-IV.

K-WAIS와 K-WAIS-IV에 대한 배열과 간격, 보기에서의 차이에 대한 효과를 알아보기 위해 삼원분산분석을 실시한 결과는 Table 4에 제시되어 있고, 간격의 주효과가 유의하였다, F (1, 43)=4.40, p<.05. 또한 보기에 대한 주효과가 유의하였으며, F (1, 43)=8.16, p<.01, 배열에 대한 주효과는 유의하지 않았고, F (1, 43)=0.47, ns, 그 밖에도 K-WAIS와 K-WAIS-IV의 보기와 배열, F (1, 43)=0.92, ns, K- WAIS와 K-WAIS-IV의 보기와 간격, F (1, 43)=0.21, ns, 배열과 간격, F (1, 43)=0.02, ns, K-WAIS와 K-WAIS-IV의 보기와 배열과 간격, F (1, 43)=0.50, ns의 어떤 상호작용 효과도 유의미하지 않았다.

Table 4

3-way analysis of variance (ANOVA) of Example (2)×Sequence (2)×Distance (2)

	Type III SS	df	Mean square	F
Example	208.639	1	208.639	**8.156
Sequence	12.003	1	12.003	.469
Distance	112.503	1	112.503	*4.398
Example×Sequence	23.526	1	23.526	.920
Example×Distance	5.253	1	5.253	.205
Sequence×Distance	.480	1	.480	.019
Example×Sequence×Distance	12.753	1	12.753	.499

^* p<.05,

^** p<.01.

위 결과에서 수행의 개인차에 유의미하게 영향을 미칠 수 있는 주효과로 검증된 간격과 보기를 중심으로 각 2개씩 수행의 개인차가 나타날 가능성이 있는 조건들을 대응시킬 수 있다. 간격으로 인한 비교가 가능한 조건은 각각 1번 조건(짧은 간격, 반복시연의 배열, 단순한 보기)과 3번 조건(긴 간격, 반복시연의 배열, 단순한 보기), 7번 조건(짧은 간격, 고른 분포의 배열, 복잡한 보기)과 5번 조건(긴 간격, 고른 분포의 배열, 복잡한 보기)이다. 이들의 편포 특성을 비교해보고자 왜도를 분석한 결과는 Fig. 1에 제시되어 있다. 1번 조건(−2.20)이 3번 조건(−1.90)보다 왜도값이 작으므로 부적으로 편포되었고, 7번 조건(−1.66)이 5번 조건(−1.30)보다 부적으로 편포되었음을 알 수 있다.

Fig. 1

Comparison to distance

K-WAIS와 K-WAIS-IV의 보기로 인한 비교가 가능한 조건은 각각 1번 조건(짧은 간격, 반복시연의 배열, 단순한 보기)과 8번 조건(짧은 간격, 반복시연의 배열, 복잡한 보기), 4번 조건(긴 간격, 고른 분포의 배열, 단순한 보기)과 5번 조건(긴 간격, 고른 분포의 배열, 복잡한 보기)이다. 이들의 편포 특성을 비교해보고자 왜도를 분석한 결과는 Fig. 2에 제시되어 있다. 1번 조건(−2.20)이 8번 조건(−1.58)보다 왜도값이 작으므로 부적으로 편포되었고, 4번 조건(−2.00)이 5번 조건(−1.30)보다 부적으로 편포되었음을 알 수 있다.

Fig. 2

Comparison to example.

또한 간격과 보기 모두를 중심으로 각 2개씩 수행의 개인차가 다른 조건들을 대응시킬 수 있다. 간격과 K-WAIS, K-WAIS-IV의 보기 모두로 인한 비교가 가능한 조건은 1번 조건(짧은 간격, 반복시연의 배열, 단순한 보기)과 6번 조건(긴 간격, 반복시연의 배열, 복잡한 보기), 2번 조건(짧은 간격, 고른 분포의 배열, 단순한 보기)과 5번 조건(긴 간격, 고른 분포의 배열, 복잡한 보기)이다. 이들의 편포 특성을 비교해보고자 왜도를 분석한 결과는 Fig. 3에 제시되어 있다. 1번 조건(−2.20)이 6번 조건(−1.59)보다 왜도값이 작으므로 부적으로 편포되었고, 2번 조건(−3.96)이 5번 조건(−1.30)보다 부적으로 편포되었음을 알 수 있다.

Fig. 3

Comparison to distance and example.

각 조건의 정규성을 검증하고자 K-S 검증을 한 결과, 8개 조건 모두 유의미했고, 이는 Table 5에 제시되어 있다. 이는 모든 조건의 분포가 정규성을 띄지 않고 정상분포에서 벗어나 있다는 것을 의미한다.

Table 5

Skewness, kurtosis and K-S test

	Skewness		Kurtosis		sKolmogorov- Smirnov’s Z
	Statistic	Standard error	Statistic	Standard error
Condition 1	−2.195	.357	5.020	.702	***2.538
Condition 2	−3.963	.357	19.398	.702	***2.445
Condition 3	−1.902	.357	2.969	.702	***2.265
Condition 4	−1.995	.357	3.484	.702	***2.283
Condition 5	−1.296	.357	1.417	.702	*1.563
Condition 6	−1.585	.357	2.358	.702	**1.649
Condition 7	−1.660	.357	1.706	.702	**2.011
Condition 8	−1.578	.357	1.560	.702	***2.297

^* p<.05,

^** p<.01,

^*** p<.001. Kolmogorov-Smirnov test: K-S test.

고 찰

본 연구에서는 K-WAIS 지능검사의 개정판 K-WAIS-IV에서의 기호쓰기 소검사가 규준 환산점수에 있어서 모집단의 특성을 잘 반영하고, 특정 소수에게 불리함이나 유리함이 없는지를 확인하고자 하였다. 특히 기존의 K-WAIS와 개정된 K-WAIS-IV에서의 기호쓰기 소검사 난이도가 달라졌는지를 확인하고 그에 따른 영향이 있는지 확인하고자 하였다. 이를 위해 K-WAIS의 바꿔쓰기 소검사와 K-WAIS-IV의 기호쓰기 소검사의 원본을 비교하고, 난이도에 영향을 미칠 수 있는 차이들을 조작하여 검증해 보았다. 또한 실제로 수행에서 유의한 개인차를 보인 조건들의 분포 특성을 살펴봄으로써 규준 환산점수에 영향을 미칠 가능성을 알아보았다. 연구 결과를 요약하면 다음과 같다.

첫째, 동일한 환경에서 동일한 대상이 K-WAIS의 바꿔쓰기 소검사와 K-WAIS-IV의 기호쓰기 소검사를 무작위 순서로 실시한 개수를 비교한 결과, 둘 간에는 유의미한 차이가 있는 것으로 나타났다. 그렇기 때문에 Choi WJ(2015)의 연구에서 언급한 대로 K-WAIS의 바꿔쓰기 소검사와 K-WAIS- IV의 기호쓰기 소검사간의 수행에서 차이가 있다는 주장을 지지하였다. 나아가서, Choi WJ(2015)의 연구에서는 시간을 동일하게 맞추지 않고 120초의 시간제한을 갖는 K- WAIS-IV의 기호쓰기 소검사를 K-WAIS의 바꿔쓰기 소검사 시간에 따라 90초로 비례추정하여 환산하였다. 하지만, 본 연구에서는 모든 조건의 실험지를 동일한 시간인 90초로 맞추어 시행하였기 때문에 두 검사간에 있어서 개인차가 나타나고 다른 수행을 보인다는 것을 확인했다. 또한 Hwang ST et al.(2012a)은 K-WAIS의 바꿔쓰기 소검사와 K-WAIS-IV의 기호쓰기 소검사에서의 차이를 두 검사간의 난이도가 아닌 K-WAIS-IV의 기호쓰기 소검사를 먼저 실시했기 때문이라고 설명하였는데, 본 연구에서 두 검사간의 순서를 무작위로 시행한 결과 여전히 유의미한 차이를 보이는 것으로 나타나 위의 주장을 지지하지 않았다.

둘째, K-WAIS, K-WAIS-IV의 간격과 보기에서의 요인이 K-WAIS의 바꿔쓰기 소검사와 K-WAIS-IV의 기호쓰기 소검사의 난이도에 영향을 미쳤을 가능성을 확인할 수 있다. 이는 선행연구의 결과(Shulman et al., 1979; Tsal, 1983)인 연속적 주의 이동(analogue attention movements) 모형에 의한 주의는 시각장 위의 한 지점에서 다른 한 지점으로 이동할 때 다른 물리적 이동과 유사한 방식으로 일정한 속도를 가지면서 연속적으로 이동하므로 두 지점 사이의 거리가 멀수록 주의이동에 걸리는 반응시간도 일정하게 증가한다는 주장과 일치하였다. 또한 도약 안구 운동의 수가 증가함에 따라 반응시간이 증가한다고 주장한 Sul JD et al.(2011)의 주장과도 일치하는 결과였다. 이를 통해 기호쓰기 검사에서 숫자와 도형이 매치되어있는 보기자극과 실제 기록하는 칸과의 간격이 넓어질수록 더 수행이 저조해지는 것을 확인할 수 있었고, 간격이 넓을수록 난이도가 어려워질 수도 있다는 것을 의미한다. 또한 간격과 숫자 배열 외에도 보기에 제시되어 있는 각 숫자와 매치된 도형의 모양이 더 외우기 어려운 모양으로 바뀌었을 가능성 등을 비롯하여 연구 설계에서 고려하지 않았던 K-WAIS-IV의 변인으로 인해 난이도가 높아질 가능성이 있다는 것도 추가적으로 확인할 수 있었다. 그러므로 K-WAIS, K-WAIS-IV의 난이도가 다를 가능성과 함께 개정과정에서의 변인이 두 검사의 난이도 차이에 영향을 미쳤을 가능성을 확인할 수 있었다.

셋째, 실제로 수행에서 유의한 차이를 보인 검사들을 비교한 결과, 수행의 값이 높았던 검사들이 더 부적으로 편포되어 있음을 알 수 있었다. 검사개발에 있어서 정규성을 따르지 않는 분포들은 완곡화 과정을 거쳐야 하므로, 정상분포에서 더 일탈되어 있을수록 더 큰 완곡화 과정이 필요하다. 때문에 더 편포된 분포일수록 본래의 분포에서 변형이 커지게 되므로 규준 환산점수에도 영향을 미칠 것이라고 볼 수 있다. 부적으로 편포된 분포는 평균이 중앙값보다 작아지고, 중앙값이 최빈값보다 작아지게 된다. 이런 점을 고려해 실제로 심하게 비대칭인 분포의 집중경향을 보기 위해서는 평균대신 중앙값을 사용하기도 한다. Korean Psychological Association(1998)에서 언급한 것처럼, 점수 분포가 정상분포가 아닌 편포되어 있는 분포에서는 전집에서의 비교적 정확한 백분위를 추론할 수 없다고 보는데, 아래 표들에서 이를 확인할 수 있다. 다음의 표들은 실험에 참여한 참여자들의 백분위를 각 조건별로 계산해 보았을 때, 30 이상 차이가 나는 사례들을 제시한 것이다. Table 6은 간격의 차이로 인해 수행의 개인차가 달라진 4쌍의 조건들에서의 백분위 차이를 볼 수 있고, Table 7은 보기의 차이로 인해 수행의 개인차가 달라진 4쌍의 조건들에서의 백분위 차이를 볼 수 있다. Table 8은 간격과 보기 둘 다의 차이로 인해 수행의 개인차가 달라진 2쌍의 조건들에서의 백분위 차이를 볼 수 있다.

Table 6

Percentile of participants from distance difference

	Condition 1	Condition 3		Condition 2	Condition 4		Condition 8	Condition 6		Condition 7	Condition 5
PA4	63	16	PA4	64	23	PA2	66	18	PA2	41	75
PA24	28	68	PA7	64	8	PA4	11	43	PA5	72	8
PA25	63	25	PA8	15	65	PA5	66	32	PA6	22	75
PA38	63	29	PA9	28	65	PA8	66	36	PA9	41	75
PA42	5	36	PA25	64	30	PA10	32	73	PA18	72	3
PA43	63	11	PA34	64	30	PA18	26	73	PA19	72	40
PA46	3	68	PA36	64	30	PA23	66	12	PA20	72	40
						PA36	36	73	PA23	34	75
						PA37	66	25	PA25	72	24
						PA40	66	25	PA28	72	29
									PA32	41	75
									PA38	14	75
									PA42	1	40
									PA46	17	51

PA: participant.

Table 7

Percentile of participants from example difference

	Condition 1	Condition 8		Condition 3	Condition 6		Condition 2	Condition 7		Condition 4	Condition 5
PA4	63	11	PA8	68	36	PA4	64	17	PA5	65	8
PA10	63	32	PA18	3	73	PA7	64	29	PA6	17	75
PA24	28	66	PA25	25	73	PA12	64	29	PA7	8	46
PA37	28	66	PA40	68	25	PA19	15	72	PA8	65	29
PA38	63	21	PA46	68	25	PA21	64	22	PA18	65	3
PA39	63	21				PA23	64	34	PA21	65	8
PA43	63	11				PA38	64	14	PA24	65	22
						PA46	64	17	PA28	65	29
									PA34	30	75
									PA36	30	75

PA: participant.

Table 8

Percentile of participants from distance and example difference

	Condition 1	Condition 6		Condition 2	Condition 5
PA 2	63	18	PA 4	64	22
PA 5	63	32	PA 5	64	8
PA 7	18	49	PA 6	15	75
PA 18	12	73	PA 9	28	75
PA 24	28	73	PA 18	64	3
PA 38	63	10	PA 20	64	8
PA 40	63	25	PA 24	64	22
PA 43	63	8	PA 25	64	13
			PA 28	64	29
			PA 42	5	40

PA: participant.

Livingston(2014)의 연구에서는 완곡화가 표본을 사용함으로써 발생하는 분포의 불규칙성을 보정함으로써 실제 분포와 유사한 형태를 갖게 해주지만, 너무 약한 완곡화는 불규칙성을 줄일 수 없고, 너무 강한 완곡화는 분포의 형태를 변형시킬 수 있기 때문에 완곡화 과정에서의 추가적인 문제점과 한계에 대해서 인지할 필요성이 있다고 말하고 있다. 그러므로, 정규성을 따르지 않고 편포가 다른 데이터를 표준화시켜 규준 환산점수를 만드는 과정에 있어서 동등화의 정교성을 높이기 위한 검토가 필요할 것으로 보인다. 또한 편포가 심한 검사에서는 개인간의 정당한 차이를 밝혀낼 수 없을 것으로 시사되며, 규준참조검사로써 지능을 측정하기보다는 오히려 준거참조검사로써 하나의 신경심리개별검사로 활용하는 방안도 유용할 것으로 보여진다.

지난 1992년, 미국의 WAIS-R을 한국판으로 번안한 K-WAIS가 한국에 소개된 뒤, 20년만인 2012년에 미국에서의 WAIS-IV를 한국판으로 번안한 K-WAIS-IV가 나왔다. 여러 시대적, 문화적 요구에 맞춰 개정된 지능검사의 최종판이며, 현재 빠르게 보급되어 사용되고 있는 중이다. 앞으로도 지능검사는 다양한 요구에 맞춰 개정될 것이라 예상된다. 하지만 그 과정에서 측정도구로 인해 수행의 결과 분포가 지나치게 편포되면 검사의 타당성을 위협할 가능성에 대해서도 항상 염두하고 보완할 준비를 해야 할 것이다. 본 연구에서는 K-WAIS-IV의 소검사들 중 기호쓰기에서 이전에 사용하던 K-WAIS와 새로 개정된 K-WAIS-IV 간의 난이도가 다를 가능성이 있다는 점과 그로 인한 표준화 과정에서의 오차로 인해 동일한 대상임에도 현저히 차이가 나는 환산점수를 산출할 가능성이 있다는 점에 대해 시사하고 있다는 면에서 의의가 있다. 앞으로도 계속적으로 검사를 개발하고 개정하는 과정에 있어서 측정 오차를 만들 수 있는 변인들을 고려하여야 하겠다.

마지막으로 본 연구의 제한점은 다음과 같다. 첫째, 본 연구에 참여한 참가자들을 표집함에 있어서 지역적인 면을 고려하지 않았기 때문에 전국모집단을 대표하는 소집단으로 일반화하기에는 어려울 것으로 보인다. 또한 K-WAIS-IV가 성별을 구분하지 않고 연령 규준만 적용하기는 하더라도 실험에 참가한 참가자들의 성별 비율에서 여성이 대부분(93%)으로써 성별에 따른 차이가 나타날 가능성도 배제할 수 없다. 그러므로 향후 연구에서는 정교한 표집 기준과 절차에 맞춘 비교가 필요할 것으로 본다. 둘째, K-WAIS의 바꿔쓰기 소검사와 K-WAIS-IV의 기호쓰기 소검사에 보기(2)x배열(2)x간격(2)을 조작하여 만든 8가지 조건의 실험지는 동일한 사람에게 측정하기에는 너무 많았을 것으로 생각된다. 연습효과를 최대한 통제하기 위해 각 피험자마다 8개의 순서를 무작위로 배열하고 4개씩 나누어 2차에 걸쳐 수행하였다. 하지만 1차에 수행한 4개 조건의 실험지들과 2차에 수행한 4개의 조건의 실험지들간의 점수를 비교한 결과, 연습효과를 배제할 수 없었다(t=−4.142, p=.0005). 셋째, 검사개발의 표준화 작업에서 시행하는 완곡화 과정을 직접 만들지 못했다는 점이다. 때문에 편포 특성 확인을 통해 규준 환산 점수가 달라질 것을 유추했을 뿐 표준화 과정에서의 규준 환산 점수 차이의 양상을 정교하게 살펴볼 수 없었다.

Conflicts of interest

The authors declared no conflict of interest.

References

• Angoff WH, Robertson GJ. 1982, Deriving within-group norm when sample size are small(AGS Research Report). Circle Pines, MI: American Guidance Service.
• Atkinson RC, Shiffrin RM. 1971;The control of short-term memory. Scientific American. 225(2):82-90. doi:10.1038/scientificamerican0871-82.ArticlePubMed
• Choi WJ. 2015 A Verification of Homogeneity of K-WAIS-IV and K-WAIS Intelligence Quotients :Focusing on normal Male and Female Adults in their 20s. Master's thesis Duksung Women's University; Seoul, Retrieved from http://www.riss.kr/link?id=T13715957
• Cohen BH. 2008, Explaining Psychological Statistics. New York, NY: John Wiley &Sons, Inc.
• Hwang ST, Kim JH, Park KB, et al. 2012a, Korean Wechsler Adult Intelligence Scale-IV technical manual. Seoul: Korea Psychology Research Institute.
• Hwang ST, Kim JH, Park KB, et al. 2012b, Korean Wechsler Adult Intelligence Scale-IV administration and scoring manual. Seoul: Korea Psychology Research Institute.
• Hwang ST, Kim JH, Chey JY, et al. 2013, Essentials of WAIS-IV assessment. Seoul: Korea Psychology Corporation.
• Jo SW. 2014 Comparison of Wechsler Adult Intelligence Scale-IV Korean Version Subtest Performance between Age Groups. Master's thesis Chungbuk National University; Cheongju, Retrieved from http://www.riss.kr/link?id=T13476540
• Kim JK, Yum TH, Oh KJ, et al. 1992;Item Analysis of K-WAIS Standardization Data. Korean Journal of Clinical Psychology. 11(1):1-10.
• Kim KS. 2014 An investigation of the effect of adjusted correlation and the number of items on smoothing in linking for two tests of different lengths. Master's thesis Yonsei University; Seoul, Retrieved from http://www.riss.kr/link?id=T13454998
• Kim SW, Kim JS, Park HJ, et al. 2008 P300 ResPonses Evoked by Auditory Stimuli :Effects of Task Difficulty. Korean Society of Sport Psychology 19(2):17-28. http://uci.or.kr/ G704-000291.2008.19.2.012
• Kim YY. 1996 (A) study on the relationship between imformation processing speed and intelligence attendant on the complexity of cognition tasks. Master's thesis Sookmyung Women's University; Seoul, Retrieved from http://www.riss.kr/link?id=T3762266
• Kiss P, Pisio C, Fracois A, et al. 1998;Central executive function in working memory :event-related brain potential studies. Cognitive Brain Research. 6(4):235-247. doi:10.1016/S0926-6410(97)00035-9.ArticlePubMed
• Kok A. 2001;On the utility of P3 amplitude as a measure of processing capacity. Psychophysiology. 38(3):557-577. doi:10.1017/S0048577201990559.ArticlePubMed
• Korean Psychological Association. 1998, Manual for Development and Use of Psychological Test. Seoul: Chung Ang Juck Sung Publisher.
• Korean Society for Educational Evaluation. 2004, Educational Evaluation Thesaurus. Seoul: HAKJISA corporation.
• LaBerge D. 1983;Spatial extent of attention to letters and words. Journal of Experimental Psychology :Human Perception and Performance. 9(3):371-379. doi:10.1037/0096-1523.9.3.371.ArticlePubMed
• Livingston SA. 2014, Equating test scores (without IRT). Princeton, NJ: Educational testing service.
• Moon SB. 2005 Procedures for the Standardization of Cognitive Ability tests with Small Sample. Journal of Future Early Childhood Education 12(1):77-98. http://uci.or.kr/ G704-000819.2005.12.1.012
• Park K. 2009, Psychological Testing. Seoul: HAKJISA Corporation.
• Park YS. 1998, The reality of psychological assessment. Seoul: Hana Medical Publishing Company.
• Shulman GL, Remington R, McLean JP. 1979;Moving attention through visual space. Journal of Experimental Psychology:Human Perception and Performance. 5(3):522-526. doi:10.1037//0096-1523.5.3.522.ArticlePubMed
• Spitz HH. 1973, Consolidating Facts into the Schematized Learning and Memory System of Educable Retardates1. In Ellis NR (Eds.), International Review of Research in Mental Retardation (149-168). New York, NY: Academic Press; doi:10.1016/S0074-7750(08)60039-7.
• Sul JD, Kim SB. 2011 Verification of Response Complexity Effect Using Saccadic Eye Movement Task. Korean Society of Sport Psychology 22(4):83-96. http://uci.or.kr/ G704-000291.2011.22.4.003
• Tak JK. 2007, Psychological testing. Seoul: HAKJISA Corporation.
• Tsal Y. 1983;Movements of attention across the visual field. Journal of Experimental Psychology :Human Perception and Performance. 9(4):523-530. doi:10.1037/0096- 1523.9.4.523.ArticlePubMed

Figure & Data

References

Citations

Citations to this article as recorded by