Journal of Behavior Analysis and Support
Korean Association for Behavior Analysis
Article

델파이 조사를 통한 학급차원의 긍정적 행동지원 컨설팅 모델 개발*

백영선1, 손승현2,**
YoungSun Paek1, SeungHyun Son2,**
1경기도교육연구원, 연구원
2고려대학교 교육학과, 교수
1Gyeonggi Institute of Education
2Korea University
**교신저자(sshysk@korea.ac.kr)

ⓒ Copyright 2022 Korean Association for Behavior Analysis. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Mar 07, 2022; Revised: Apr 15, 2022; Accepted: Apr 17, 2022

Published Online: Apr 30, 2022

요약

본 연구의 목적은 학생들의 문제행동으로 인해 수업진행과 교실운영에 어려움을 겪는 교사가 체계적인 컨설팅을 통해 학급차원의 긍정적 행동지원(이하 PBS)을 수행할 수 있도록 구조화된 PBS컨설팅 모델을 개발하는 데에 있다. 이를 위해 문헌분석과 전문가 검토를 통하여 보편적(Tier1) 중재와 표적집단(Tier2) 중재를 위한 PBS컨설팅의 절차와 내용을 개발하였으며, 델파이 조사를 활용하여 PBS컨설팅의 절차에 따른 내용이 타당한가를 검증하였다. 이에 따른 결과를 요약하면 다음과 같다. 먼저, 보편적(Tier1) 중재를 위한 PBS의 절차는 4단계, 표적집단(Tier2) 중재를 위한 PBS의 절차는 5단계로 구성된다. 그리고 각 절차는 ‘관계형성 및 역할설정, 정보수집, 목표 및 전략 설정, 실행 및 진도점검’의 4단계 컨설팅 절차에 따라 일관되게 진행된다. 컨설팅 절차에 따른 내용은 보편적 중재는 21가지, 표적집단 중재는 29가지로 구성되며, 모두 구조화된 활동지를 중심으로 수행할 수 있도록 개발되었다.

ABSTRACT

The purpose of this study was to develop a structured PBS consulting model so that teachers who have difficulty in class management and student guidance due to students' problematic behavior can perform class-wide positive behavior support(PBS) through systematic consulting. First, the procedures and contents of PBS consulting for universal(Tier1) intervention and targeted group(Tier2) intervention were developed through literature reviewing and being verified by experts, and the validity of PBS consulting contents was verified using Delphi survey. The summary of the results is as follows. The procedure of PBS for universal (tier1) intervention consists of four steps, and the procedure of PBS for targeted group(tier2) intervention consists of five steps. And each procedure were performed identically in accordance with the four-step consulting procedure of “mutual relationship and role definition, collecting information, set goals and strategies, implementation and guidance”. The contents according to the consulting procedure consist of 21 activities of universal intervention and 29 activities of target group intervention, all of which were developed to focus on structured activity sheets.

Keywords: 긍정적 행동지원; 행동 컨설팅; 문제행동; 통합교육; 정서·행동장애
Keywords: Class-Wide Positive Behavior Support; Behavioral Consultation; Inclusive Education; Emotional and behavioral disorder

Ⅰ. 서 론

1. 연구의 필요성과 목적

현재 우리나라에서는 많은 교사가 학급에서 발생하는 학생들의 문제행동을 제대로 다루지 못해 어려움을 경험함에도 불구하고, 학급에서 적용할 수 있는 행동중재에 대한 구체적인 훈련을 받지 못하는 상황이다(노진아, 2015; 박혜향, 김은경, 2017; 오유빈, 이희연, 2021; 이소현, 박은혜, 2011; 정은미, 서유진, 2020; 최진혁 등, 2020). 실제 학교 현장에서는 개별중재를 할 정도로 문제행동이 심각하지는 않지만, 교사의 지시에 따르지 않아 행동지도가 어려운 10-15% 학생들이 거의 모든 학급마다 존재한다고 보고된다(McIntosh et al., 2009; Rifflel & Michiner, 2015). 수업시간에 발생하는 문제행동은 학생 본인뿐 아니라 다른 학생들의 학업에도 방해가 됨으로써, 수업 분위기와 교육활동 전반에 부정적인 영향을 미칠 수 있다는 점에서 조속한 개입이 필요하다(이상철, 2013; 이소라, 이영선, 2021; 이영주, 이승희, 2019). 특별히 코로나19 팬데믹으로 인해 장기화된 온라인 수업의 영향으로 학생들의 심리·정서적인 문제가 우려되는 현시점에서 학업을 방해하는 문제행동에 대한 대안은 시급하다고 볼 수 있다(김유리 등, 2021; 김창환, 2021; 이정연 등, 2020).

이와 관련하여 서구에서는 경미한 문제행동은 줄이면서 심각한 문제행동으로 전이를 예방하기 위해 긍정적 행동지원(Positive Behavioral Support, PBS)이 실행되고 있다. PBS는 학생의 문제행동을 감소시키는 동시에 학업성취를 향상시키는 데 목적을 두는 다층적 지원체계이다(OSEP, 2021). 이는 문제행동을 예방하고 사회적으로 중요하고 바람직한 행동을 증가시킴과 동시에 이미 일어난 문제행동은 감소시킨다는 점에서 각광받는 대안이 되고 있다(Carr et al., 2002; Sugai & Horner, 2006). PBS는 보편적 중재(universal prevention), 표적집단 중재(targeted prevention), 개별 중재(intensive, individualized prevention)의 세 차원의 체계로 되어 있으며 더 높은 차원으로 중재의 단계가 올라갈수록 더 강도 높은 지원이 제공된다(Loeber & Farrington, 2000; OSEP, 2021; Scott & Caron, 2005).

긍정적 행동지원의 적용방식은 개별적 차원의 지원뿐 아니라 학급차원(Class-Wide Positive Behavior Support)이나 학교차원(School-Wide Positive Behavior Support)의 다양한 단위규모의 적용이 가능하다고 보고된다(Simonsen & Myers, 2015). 하지만 우리나라의 경우 순환교사제로 인해 4년을 기준으로 교사의 전입과 전출이 잦아서 PBS 담당 교사팀이 있어도 이를 지속적으로 운영하기에는 구조적인 제한이 있어 학교 단위로의 실행이 어렵다는 의견이 제기되고 있다(김예리, 2016; 최진오, 2009). 이에 따라 국내 교육현장의 현실을 반영하여 학년이나 학급단위로 PBS를 탄력적으로 적용한 연구가 지속적으로 시도되고 있다(강삼성, 이효신, 2012; 김영란, 박지연, 2014; 배선화, 이병인, 조현근, 2016; 이선희 등, 2020; 이제화, 이상복, 2010; 최미점, 백은희, 2015). 이러한 학급이나 학년 단위로의 활용은 우리나라의 학교 상황을 적절하게 반영하여 PBS에 대한 접근성을 높일 수 있는 효과적인 대안이 될 수 있다.

교육부는 긍정적 행동지원(PBS)의 효과가 입증됨에 따라 국내 교육현장에서의 확산을 위해 특수교사나 일반교사들이 PBS를 자립적으로 실행할 수 있도록 원격연수나 집합연수를 지속적으로 제공해 왔다(국립특수교육원, 2022.4.21.). 하지만 그러한 노력에도 불구하고 여전히 교사들은 많은 학생 수, 과다한 업무량, 팀 접근의 어려움, 지원 인력과 전문성 부족 등의 이유로 중요성에 비해 실행가능성은 낮다고 인식하고 있다(김우리, 2014; 박지혜, 박재국, 김은라, 2017; 이효정, 2018). 주목할 것은 PBS에 대한 이러한 교사인식은 초기 연구에서 보고된 내용과 비교했을 때, 근래에도 큰 변화가 없는 것으로 나타났다는 것이다(강성구 등, 2020; 이계경, 이명숙, 2017). 이는 그간의 다양한 방식으로의 교사연수에도 불구하고 여전히 현장의 교사들은 PBS실행에 있어 어려움과 부담을 갖는 것으로 해석할 수 있다.

이러한 행동중재에 대한 연수형태의 교사교육 이외로도, 일반교사의 요구를 충족시킬 수 있는 또 다른 방식으로 집중적인 컨설팅 지원이 제안되기도 한다(강진령, 강복란; 2005; Cheney & Barringer, 1995; Keenan, 1997). 정서행동장애(Emotional and Behavioral Disorders, EBD)학생의 통합교육을 연구한 Shapiro 등(1999)의 논문에서는 PBS 중재전략 연수만을 받은 교사집단과 연수 후 교실에서 중재 전략을 실행할 수 있도록 컨설팅(consulting)을 지원받은 교사집단과의 성과를 비교하였다. 그 결과, 연수 후 추가적인 컨설팅이 없으면 교사들은 연수에서 배운 전략을 자신의 학급에서 제대로 실행하지 못하는 것으로 나타났다. 이는 연수나 훈련을 넘어선 PBS컨설팅 지원이 통합학급을 운영하는 일반교사의 중재실행능력을 향상시키는 중요한 요소라는 것을 보여준다고 할 수 있다(손유니, 2012; Orlando, Wu & Contreras, 2021).

이러한 컨설팅은 외부의 전문가와 교사가 협력적 관계를 맺어 교육과정에 기초한 실제적인 지원을 제공해줌으로써, 교사의 전문성을 신장시킨다는 점에서 기존의 교사 연수와 차이가 있다(김영란, 2008; 신기현, 2017). 미국의 경우 오래전부터 학교 심리학자(school psychologist)나 학교 전문가(Specialist)를 중심으로 진로, 상담, 행동 등의 다양한 컨설팅이 일반적으로 시행되어왔다(김예리, 박지연, 2017). 하지만 우리나라의 경우 교사들의 수업 개선을 위한 수업 장학이나 수업 컨설팅은 보편적인 교육 개선 활동으로 자리 잡은 데 반해, 행동 컨설팅은 상대적으로 희소하다(권희청, 오성진, 박수정 2021; 박은진, 2020). 통합교육에 관한 사회적 요구가 높아짐에 따라 통합학급 교사들의 행동중재 방안에 관한 요구 또한 높아지는 근래 학교의 현실에서, 행동 컨설팅은 학생들의 생활지도를 위한 교사지원 방안으로 유용하게 활용될 수 있다(이계경, 이명숙, 2017; 이대식 등, 2006; 이덕희, 2019).

지금까지의 내용을 종합해 볼 때, 학교 현장에서 긍정적 행동지원(PBS)에 대한 교사 접근성을 높이기 위해서는 컨설팅을 통한 교사지원 방식이 가장 효율적이고 합리적인 방안이라 볼 수 있다. 따라서 중재의 효과를 안정적으로 확보할 수 있는 행동 컨설팅을 지속적으로 제공하기 위해, 내용타당도가 확보된 구조화된 학급차원의 긍정적 행동지원 컨설팅 모델이 개발되어야 한다. 따라서 본 연구의 목적은 학생들의 문제행동으로 인해 수업진행과 교실운영에 어려움을 겪는 교사가 체계적인 PBS컨설팅을 통해 학급차원의 긍정적 행동지원을 수행할 수 있도록 델파이 조사를 통해 내용타당도가 확보된 CWPBS컨설팅 모델을 개발하는 것에 있다.

2. 연구 문제

이를 바탕으로 설정한 본 연구의 연구문제는 다음과 같다.

첫째, 학급차원의 긍정적 행동지원 컨설팅의 절차와 내용은 무엇인가?

둘째, 학급차원의 긍정적 행동지원 컨설팅 모델은 내적타당도를 확보하였는가?

Ⅱ. 연구 방법

본 연구에서는 Richey와 Klein(2007)이 정리한 설계·개발연구의 방법에 따라 다음과 같은 절차로 연구를 수행하였다. 첫 번째로 긍정적 행동지원(PBS)과 학교 컨설팅 모델과 관련한 선행연구를 중심으로 문헌분석을 실시하였다. 이 과정에서 학급차원의 보편적(Tier1) 중재와 표적집단(Tier2) 중재를 위한 PBS의 절차를 추출하였다. 그리고 이어 학급차원의 보편적(Tier1) 중재와 표적집단(Tier2) 중재를 컨설팅을 통해 구현할 수 있는 CWPBS컨설팅 모델의 절차와 내용을 개발하였다. 이 과정에서 2회에 거친 전문가 검토를 통해 초기 내용을 수정, 보완하였다. 두 번째로는 본 연구의 주제와 관련된 전문가를 대상으로 델파이 조사를 통해 초기 개발된 모델의 절차와 내용에 대한 내용타당도를 검증하였다. 이러한 연구의 전체적인 진행 절차는 <그림 1>과 같다.

jbas-9-1-75-g1
그림 1. 학급차원의 긍정적 행동지원(CWPBS) 컨설팅 모델 개발과정
Download Original Figure
1. 문헌 분석
1) 자료 수집

본 연구에서는 학급차원의 긍정적 행동지원 컨설팅 모델의 절차와 내용을 추출하기 위해 선행연구와 함께 관련 서적을 정리하고 분석하였다. 자료수집에 사용한 통합검색 엔진은 국내의 경우 한국교육학술정보원(RISS), 고려대학교 도서관(K-eArticles), 누리미디어(DBpia), 한국학술정보(KISS) 등이며, 국외의 경우 Elsevier, Wiley, Springer, Taylor & Farncis, Sage, IEEE, Web of Science, Scopus, JSTOR, PsycARTICLES, SocINDEX 등이다. 본 연구의 문헌연구에 필요한 논문과 관련 서적을 찾기 위해서 긍정적 행동지원(Positive Behavior Support)을 중심 키워드로 하여 ‘학급차원의 긍정적 행동지원, 행동컨설팅, 보편적 중재, 표적집단 중재, 개별적 차원의 긍정적 행동지원, 긍정적 행동지원 단일대상연구, PBIS, PBS consultation, CWPBS, behavioral consultation’등의 검색어를 투입하여 본 연구에 적합한 자료를 수집하였다.

보편적(Tier1) 중재를 위한 PBS절차를 추출하기 위해 국내연구의 경우 8편(강삼성, 이효신, 2012; 김미선, 박지연, 2005; 김미선, 송준만, 2006; 김보경, 박지연, 2017; 김정효, 2017; 문병훈, 이영철, 2016; 이선아, 이효신, 2015; 차재경, 김진호, 2014)의 논문이 분석에 활용되었다. 또한, PBS지원 중 보편적 중재 절차가 다뤄진 해외자료(Myers, Simonsen & Freeman, 2020; OSEP, 2021; Ryan & Baker, 2014; Stormont et al., 2012; Tincani, 2011)를 추가로 분석하였다.

표적집단(Tier2) 중재를 위한 PBS절차를 추출하기 위해 개별중재가 포함된 PBS국내외 연구를 검토하였다. 이는 표적집단(Tier2) 중재에도 기능행동평가(Functional Behavior Assessment, FBA)가 필요하다는 선행연구의 제안에 따른 것으로, Tier3 만큼의 강도 높은 수준은 아니지만 Tier2 중재에서도 교실에서 적용 가능한 범위의 개별중재가 PBS절차를 통해 지원되도록 개별 중재연구 자료를 분석에 포함하였다(Campbell & Anderson, 2008; Campbell & Anderson, 2011; Ennis et al., 2012; Fairbanks et al., 2007; Hawken, O’Neil & McLeod, 2011: McIntosh et al., 2009; Mong, Johnson & Mong, 2011; Simonsen, Myers & Briere, 2011; Todd et al., 2008; Turtura, Anderson & Boyd, 2014).

2) 자료 분석
(1)PBS절차 추출

다음의 <그림 2>는 본 연구를 위한 PBS절차이다. 델파이 조사를 위한 컨설팅 절차에 따른 내용을 개발하기 위하여, 먼저 문헌연구를 통해 학급차원의 긍정적 행동지원(Class-Wide Positive Behavior Support, CWPBS)의 절차를 추출하였다. 이후 전문가 2인의 검토의 과정에서 보편적 중재 PBS절차의 경우 ‘PBS팀구성’의 단계를 생략하여 기존 5단계에서 4단계로 수정하였다. 또한, 표적집단 중재 PBS절차의 경우는 ‘가설확정’의 단계를 ‘문제행동 기능에 따른 중재계획과 실행’에 포함하여 6단계에서 5단계로 단순화하였다. 이를 통해 보편적(Tier1) 중재와 표적집단(Tier2) 중재를 위한 긍정적 행동지원(Positive Behavior Support, PBS)의 절차가 개발되었다.

jbas-9-1-75-g2
그림 2. 보편적 중재와 표적집단 중재를 위한 PBS절차
Download Original Figure
(2) CWPBS컨설팅 모델의 절차 개발

PBS를 컨설팅을 통해 구현하고자 하는 본 연구의 목적을 달성하기 위하여, 앞서 도출된 PBS절차에 컨설팅 절차가 삽입되는 방식으로 학급차원의 긍정적 행동지원(Class-Wide Positive Behavior Support, CWPBS)컨설팅 모델을 개발하였다. 이때, 본 연구에서 활용한 컨설팅 모델은 DeVore, Miolo & Hader(2011)가 제안한 것으로 ‘역할과 책임 결정, 정보 수집, 목표와 전략 확인, 전략 실행과 진전도 점검’으로 이어지는 4단계 모델이다. 이렇게 개발된 CWPBS컨설팅 모델의 절차는 특수교육학 박사 2명과 박사학위를 취득하고 10년 이상의 교직경력을 가진 현직교사 1인으로 구성된 3인의 전문가 검토를 통해 최종적으로 확정되었다. <그림 3>은 학급차원의 긍정적 행동지원 컨설팅 모델의 절차이다.

jbas-9-1-75-g3
그림 3. CWPBS 컨설팅 모델의 절차
Download Original Figure

보편적(Tier1) 중재를 위한 PBS절차는 ‘사전 조사 및 자료검토, 보편적 중재 계획, 보편적 중재 실행(중재 후 피드백), 데이터 기반 자료검토’의 4단계이며, 각 단계는 컨설팅의 4단계 절차인 ‘관계형성 및 역할설정, 정보수집, 목표 및 전략 설정, 실행 및 진도점검’의 따라 수행된다. 이와 같은 방식으로 표적집단(Tier2) 중재 PBS절차도 ‘문제행동의 식별과 중재의 필요성 결정, 정보수집을 통한 기능평가, 가설수립, 행동의 조작적 정의와 직접관찰, 문제행동 기능에 따른 중재계획과 실행, 중재계획 실행의 효과 평가’의 각 단계를 다시 컨설팅의 4단계 절차에 따라 수행한다.

3) CWPBS컨설팅 모델의 절차에 따른 내용 개발

다음의 <그림 4>는 CWPBS컨설팅 모델의 절차에 따른 컨설팅 내용의 일부이다. 먼저, 보편적(Tier1) 중재를 위한 PBS의 첫 번째 단계인 ‘사전 조사 및 자료검토’에 해당하는 컨설팅의 절차와 세부적인 내용을 제시하였다. 다음으로 표적집단(Tier2) 중재를 위한 PBS의 첫 번째 단계인 ‘문제행동의 식별과 중재의 필요성 결정’에 해당하는 컨설팅의 절차와 세부적인 내용을 제시하였다.

jbas-9-1-75-g4
그림 4. CWPBS 컨설팅 모델의 절차에 따른 내용
Download Original Figure

여기서 보편적(Tier1) 중재와 표적집단(Tier2) 중재를 위한 컨설팅 절차에 따른 세부적인 내용은 ‘구조화된 활동지’를 기반으로 수행할 수 있도록 계획하였다. 이는 컨설팅 내용의 간명성을 추구한 것으로 사용자의 PBS접근성과 컨설팅의 효율을 높여 중재의 효과를 안정적으로 확보하고자 함이다. 이를 위해 활동지뿐 아니라 컨설팅 진행 안내문을 함께 개발하여 ‘컨설턴트와 컨설티(교사)의 역할, 사용해야 하는 활동지 종류, 활동지의 활용목적, 작성 안내, 진행 시 유의사항’ 등에 대한 명확한 정보를 제시하였다.

컨설팅의 절차마다 활용되는 보편적(Tier1) 중재와 표적집단(Tier2) 중재 활동지는 선행연구에서 보고한 자료를 기반으로 본 연구의 목적에 맞게 수정, 보완하여 제작되었다. 연구자에 의해 초기 개발된 활동지와 컨설팅 진행 안내문은 2차에 걸친 전문가 검토를 통해 최종적으로 확정되었다. 보편적(Tier1) 중재를 위한 컨설팅 진행 안내문은 ‘사전 조사 및 자료검토, 보편적 중재 계획, 보편적 중재 실행(실행 후 피드백), 데이터 기반 자료검토’의 4단계에 맞춰 각 1장씩 총 4장으로 제작되었다. 표적집단(Tier2) 중재를 위한 컨설팅 진행 안내문은 ‘문제행동의 식별과 중재의 필요성 결정, 정보수집을 통한 기능평가, 가설수립 및 행동의 조작적 정의와 직접관찰, 문제행동 기능에 따른 중재계획과 실행, 중재계획 실행의 효과 평가’의 5단계에 맞춰 각 1장씩 총 5장으로 제작되었다.

2. 델파이 조사
1) 델파이 패널

델파이 분석을 위한 적절한 패널의 규모는 선행연구에 따라 조금씩 다른 것으로 나타난다. 패널 수가 많을수록 판단의 신뢰도가 높아지는 경향이 있기는 하지만, 의견 합의 과정의 타당도와 신뢰도에 미치는 효과에 대해 검증된 바가 매우 드물어서 연구주제에 대한 전문성이 확보된 패널을 선발하는 것이 더 중요하다고 보고된다(박도순, 1992; 윤성혜, 강명희, 2017; Murphy et al., 1998; Okoli & Pawlowski, 2004; Paliwoda, 1983). 때문에 본 연구와 유사한 목적으로 연구를 수행한 선행연구들을 바탕으로 델파이 조사를 위한 적절한 전문가 집단과 크기를 선정하였다. 그중 김선희, 임철일(2016)의 디지털 매체 활동 포럼연극 수업설계의 개념 모형 개발연구를 보면, 전공영역이 다른 두 그룹의 전문가 즉, 교육공학을 전공한 교수설계 전문가 5인과 포럼연극 관련 내용 전문가 4인에게 두 차례에 걸쳐 각각 델파이 조사를 실시하였다. 이에 따라 본 연구에서도 다음에서 제시하는 기준에 1개 이상 부합한 경우, 본 연구를 위한 전문가 패널로 적절하다고 보았다. 먼저, 일반초등학교에서 다른 교사에게 수업 컨설팅이나 행동 컨설팅 경험이 있는 교직경력 10년 이상의 교사나, 특수학교에서 석사 이상의 학위를 소지한 교직경력 10년 이상의 교사 혹은 특수교육 석사 이상의 학위를 소지한 행동 전문가나 특수교육 혹은 교육상담 분야의 대학교수가 이에 해당한다. 전문영역이 다른 두 전문가 집단에서 각각 델파이 조사를 실시한 선행연구(김선희, 임철일, 2016)에 따라, 1차 조사에서는 학교현장의 실무담당 교사를 중심으로 배치하였고, 2차 조사에는 대학교수를 중심으로 배치하였다. 이러한 전문가 패널에 대한 정보는 <표 1>을 통해 기술하였다.

표 1. 델파이 조사 패널 현황
구분 순번 소속기관 직위 경력 전공 학위
1차 전문가 패널 1 A초등학교 교사 12 특수교육 박사
2 B초등학교 교사 10 초등교육 박사수료
3 C특수학교 교사 5 특수교육 박사수료
4 D특수학교 교사 6 특수교육 박사과정
5 E행동센터 원장 5 특수교육 박사수료
2차 전문가 패널 6 F대학교 교수 15 특수교육 박사
7 F대학교 교수 15 교육상담 박사
8 F대학교 교수 6 교육상담 박사
9 G대학교 교수 20 특수교육 박사
10 H대학교 교수 5 특수교육 박사
Download Excel Table
2) 자료 분석

CWPBS컨설팅 모델의 절차에 따른 내용이 해당 절차를 올바르게 수행하는데 적절한지에 대한 내용타당도를 검증하기 위해 델파이 분석을 실시하였다. 1차와 2차 델파이 조사를 통해 수집된 자료는 SPSS for window 17.0을 이용하여 평균과 표준편차를 확인하였고, 이 수치를 기반으로 Lawshe(1975)가 제안한 산출식에 의거하여 내용타당도 비율을 계산하였다. Lawshe(1975)가 제안한 내용타당도 비율(Content Validity Ratio, CVR)의 산출식은 다음과 같다.

내용타당도 비율 ( C V R ) = N e N / 2 N / 2

N은 각 항목에 응답한 전체 패널 수를, Ne은 해당 문항이 중요하다고 평가한 패널의 수를 의미한다. CVR 값은 델파이 조사에 참여한 전문가 패널 수에 따라 결정된다. Lawshe(1975)가 제안한 내용타당도 비율의 최소값은 <표 2>와 같이 델파이 전문가 패널 수에 따라 결정되는데, CVR값이 최소값 이상이 되면 문항에 대한 타당도가 있다고 판단한다. 본 연구에서는 Ne는 리커트 5점 척도에서 1∼5점 중 4점과 5점에 응답한 패널의 수를 산출하고, 이렇게 도출된 값은 Lawshe(1975)의 최소값 기준에 근거하여 문항의 유지 여부를 결정하였다. 본 연구의 전문가 패널은 10명이며 <표 2>에 따라 10명에 대한 CVR값인 .62 이상인 항목을 타당한 것으로 판단하였다(Lawshe, 1975).

표 2. Lawshe’s CVR 최소값 기준
패널수 CVR 최소값
5-7 .99
8 .75
9 .78
10 .62

출처: Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), p.568.

Download Excel Table

델파이 조사(Delphi-Technique)는 한 전문가 집단의 의견과 판단을 추출하고 종합하여 집단적 판단으로 정리하는 기법이다. 이는 계획된 익명의 반복적 조사를 통해 조사 참여자들이 직접 모여서 논쟁을 하지 않고서도 집단 구성원의 합의를 유도해 낼 수 있다는 장점을 가진다(박도순, 1992). 일반적인 델파이 분석 횟수는 3차∼4차 정도로 보고되고 있으나, 문헌연구를 통해 구조화된 초기 문항이 개발된 연구에서는 1차를 생략하고 총 2회로 델파이 조사를 진행하는 것으로 보고된다(윤성혜, 강명희 2017; 조성희, 2020). 이러한 선행연구의 방식에 따라 본 연구에서는 총 2회로 델파이 조사를 계획하였다. 2차 델파이 조사에서는 전문가 패널의 의견 안정도를 파악함으로써 추가 조사의 필요성에 대해 검증하였다. 이때 응답의 안정도를 의미하는 변이계수(Coefficient of Variation, CV)는 표준편차를 산술평균으로 나눈 값으로, .50 미만의 범위에 있을 때 추가적인 설문이 필요 없다고 보고되며, .50∼.80 사이의 경우는 비교적 안정적인 값으로, .80이상인 경우는 추가적인 설문이 필요하다고 보고된다(국토연구원, 2009).

Ⅲ. 연구 결과

1. 1차 델파이 조사 결과

1차 델파이 조사는 1∼5점으로 평정할 수 있는 리커트 5점 척도를 이용하였으며, 모든 절차마다 전문가의 추가 의견을 작성할 수 있도록 하였다. 보편적(Tier1) 중재를 위한 CWPBS컨설팅 모델 조사 결과는 다음과 같다. CVR값이 확보되지 않은 문항인 ‘교사 강점기록지’는 삭제하였으며, CVR값은 확보되었으나 전문가 다수의 공통된 의견으로 인해 ‘보편적 중재 중간 평가표, 팀 회의록’과 같은 2개의 항목에 대해 삭제하였다. 그리고 하나의 활동이었던 ‘중재계획표와 중재계획 체크리스트’를 2개의 활동지로 나눠야 할 필요성이 제기되어 이를 반영하여 총 28개의 CWPBS컨설팅 절차에 따른 내용이 도출되었다.

표적집단(Tier2) 중재를 위한 CWPBS컨설팅 모델 조사 결과는 다음과 같다. ‘교사 매일일지, 학부모 칭찬기록장’과 같은 2개의 항목에 대해 교사의 부담이 커질 것이라는 우려로 인해 해당 항목을 삭제하였다. 또한, ‘체크인 체크아웃_가정용’의 항목에 대해 회수율에 대한 문제가 다수 지적되어 추가로 삭제하였다. 그리고 ‘일화관찰기록과 A-B-C체크리스트’는 하나의 활동이었으나 활동의 세분화 필요성이 제기되어 두 개의 활동으로 수정하였다. 같은 이유로 ‘가설 세우기표, 조작적 정의 평가표, 행동목표 세우기표’ 또한 하나의 활동에서 세 개의 활동으로 수정하였다. 그리하여 총 41개의 CWPBS컨설팅 절차에 따른 내용이 도출되었다.

2. 2차 델파이 조사 결과

2차 델파이 조사는 1차 결과를 기반으로 CVR 값이 확보되지 않은 일부 내용을 삭제 혹은 수정, 변경하여 재실시하였다. 평가방식은 1차 조사와 동일하게 1∼5점으로 평정할 수 있는 리커트 5점 척도를 이용하였으며, 절차마다 전문가의 추가 의견을 작성할 수 있도록 하였다. 2차 델파이 분석 결과는 응답에 대한 평균과 표준편차를 산출하였고, 이 수치를 기반으로 CVR값과 CV값을 제시하였다. Lawshe(1975)가 제시한 패널 수에 따른 내용타당도 비율의 최소값 기준에 의거하여 각 문항에 대한 CVR값이 .62보다 작게 나타난 문항은 삭제하고자 하였으나, 조사 결과 모든 문항이 최소 기준을 충족하는 것으로 나타나 추가 수정 없이 최종 항목으로 결정하였다. 또한, 각 문항에 대한 응답 안정도를 의미하는 변이계수(Coefficient of Variation, CV)도 모든 항목에서 .50 미만의 범위에 있는 것으로 확인되어 2차 델파이 조사로 본 연구를 종료하였다(국토연구원, 2009). 보편적(Tier1) 중재를 위한 CWPBS컨설팅 활동 내용에 대한 2차 델파이 분석 결과 내역은 <표 3>과 같다.

표 3. 보편적(Tier1) 중재 CWPBS컨설팅 모델의 2차 델파이 분석 결과
PBS절차 컨설팅 절차 컨설팅 절차에 따른 내용(평가항목) M SD CVR CV
[A1]사전 조사 및 자료검토 [A1-1]관계형성 및 역할과 책임 설정 오늘의 컨설팅 진행 내용 안내하기 4.70 .48 1.00 .10
[A1-1]컨설팅 의뢰서 작성하기 4.50 .71 .90 .15
[A1-1]컨설팅 계약서 작성하기 4.80 .42 1.00 .08
[A1-2]정보수집 [A1-2]교사면담기록지 작성하기 4.90 .32 1.00 .06
[A1-3]목표 및 전략 설정 [A1-3]기대행동수립표 작성하기 4.90 .32 1.00 .06
[A1-4]실행 및 진도점검 [A1-4]보편적 중재 행동관찰기록지
(교사용_사전측정)작성방법 안내하기
4.90 .32 1.00 .06
[A2]보편적 중재 계획 [A2-1]관계형성 및 역할과 책임 설정 오늘의 컨설팅 진행 내용 안내하기 : 중재계획 및 중재실행 시 교사와 컨설턴트 역할 안내, 교사의 참여 책무성 강조 4.90 .32 1.00 .06
[A2-2]정보수집 [A1-4]보편적 중재 행동관찰기록지
(교사용_사전측정) 확인하기
4.70 .48 1.00 .10
[A2-3]목표 및 전략 설정 [A2-3]보편적 중재계획표 작성하기 4.80 .42 1.00 .08
[A2-3]보편적 중재계획 체크리스트 작성하기 4.60 .52 1.00 .11
[A2-4]실행 및 진도점검 보편적 중재 행동관찰기록지
(교사용_반복측정)작성 안내하기
4.70 .48 1.00 .10
[A2-4]보편적 중재 행동관찰 자기기록지 작성 안내하기 4.70 .48 1.00 .08
[A3]보편적 중재 실행(중재 후 피드백) [A3-1]관계형성 및 역할과 책임 설정 오늘의 컨설팅 진행 내용 안내하기 4.90 .32 1.00 .06
[A3-1]교사면담기록지 작성하기(1-2문항) 4.70 .48 1.00 .10
[A3-2]정보수집 [A3-2]교사면담기록지 작성하기(3-4문항) 4.70 .67 .90 .14
[A2-4]보편적 중재 행동관찰기록지
(교사용_반복측정)확인하기
4.90 .32 1.00 .06
[A3-3]목표 및 전략 설정 [A2-3]보편적 중재계획표 재확인하기: 중재목표 확인/ 행동관찰기록지와 상담기록지를 기반으로 중재 계획 점검 4.80 .42 1.00 .08
[A3-4]실행 및 진도점검 [A3-4]보편적 중재실행 교사점검표 작성 안내하기/ 정기적으로 확인 후 피드백 하기 4.90 .32 1.00 .06
[A2-4]보편적 중재 행동관찰기록지
(교사용_반복측정)작성 안내하기/ 정기적으로 확인 후 피드백하기
4.80 .42 1.00 .08
자료기반 중재전략 수정,보완하기 4.90 .32 1.00 .06
[A4]데이터 기반 자료 검토 [A4-1]관계형성 및 역할과 책임 설정 오늘의 컨설팅 진행 내용 안내하기 4.90 .32 1.00 .06
[A4-2]정보수집 [A4-2]교사면담기록지 작성하기: 보편적 중재 실행 소감 및 평가/교사 장점찾기 4.70 .48 1.00 .10
[A4-3]목표 및 전략 설정 [A4-3]교사면담기록지 작성하기: 교사 독자적인 보편적 중재계획 시 자료반영 방법 안내하기 4.70 .48 1.00 .10
[A2-4]보편적 중재 행동관찰기록지
(교사용_반복측정) 전체자료 분석하기
4.80 .42 1.00 .08
[A4-4]실행 및 진도점검 보편적 중재결과 교사와 공유하기 4.90 .32 1.00 .06
[A4-4]CWPBS_Tier1 실행충실도 평가표 작성 후 평가하기 4.80 .42 1.00 .08
[A4-4]사회적 타당도 작성하기 4.80 .42 1.00 .08
[A3-4]보편적 중재실행 교사점검표 취합하기 4.80 .42 1.00 .08
Download Excel Table

<표 3>의 델파이 조사 결과표를 살펴보면, 평가항목에 대한 평균과 표준편차는 4.50~4.90과 .31~ .71사이의 수치로 나타난다. CVR값의 경우 .90로 나타난 2개의 항목인 [A1-1]컨설팅 의뢰서 작성하기와 [A3]교사면담기록지 작성하기를 제외하고는 모두 1.00으로 나타나는데 이는 Lawshe(1975)가 제시한 내용타당도 비율의 최소 기준인 .62에 비교했을 때 상당히 높은 수치이다. CV값 또한 .15~ .06사이의 범위로 모든 항목에 대한 문항 안정도가 확보되었다고 해석할 수 있다.

<표 4>는 표적집단(Tier2) 중재를 위한 CWPBS컨설팅 활동내용에 대한 2차 델파이 분석 결과표이다. 평가항목에 대한 평균과 표준편차는 각각 4.50∼5.00과 .32∼ .00사이의 점수로 나타난다. CVR값의 경우 41개 항목에 대해 .80으로 보고된 4개의 항목을 제외하고는 모두 1.00의 높은 내용타당도 비율로 확인된다. 이에 더해 CV값 또한 .00∼ .21사이의 범위로 전반적으로 안정적인 문항이 확보됨에 따라 2차 델파이 조사를 통해 최종적인 CWPBS컨설팅 모델의 절차와 내용을 확정하였다.

표 4. 표적집단(Tier2) 중재 CWPBS컨설팅 모델의 2차 델파이 분석 결과
PBS절차 컨설팅 절차 컨설팅 절차에 따른 내용(평가항목) M SD CVR CV
[B1]문제행동의 식별과 중재의 필요성 결정 [B1-1]관계형성 및 역할과 책임 설정 오늘의 컨설팅 진행 내용 안내하기 4.80 .42 1.00 .08
[B1-1]교사면담기록지 작성하기 4.80 .42 1.00 .08
[B1-2]정보수집 [A2-4]보편적 중재 행동관찰기록지
(교사용_반복측정)자료기반 표적집단 중재대상자 1차 선정하기
4.90 .32 1.00 .06
[B1-2]행동장애의 체계적 선별(SSBD)을 통해 최종선별하기 4.80 .42 1.00 .08
[B1-3]목표 및 전략 설정 [B1-3]문제행동 우선순위 선정표/[B1-3]표적행동 우선순위 평가척도 작성하기 4.70 .67 1.00 .14
[B1-3]사회적 가치성 판단기준표 확인하기 4.70 .48 1.00 .10
[B1-4]실행 및 진도점검 [B1-4]기능평가 면담용 질문지 작성 안내하기 4.60 .52 1.00 .11
[B1-4]하루 일과표 평가척도 사전작성 안내하기 4.50 .97 .80 .21
[B2]정보 수집을 통한 기능평가 (간접평가와 관찰평가) [B2-1]관계형성 및 역할과 책임 설정 오늘의 컨설팅 진행 내용 안내하기 4.90 .32 1.00 .06
[B2-2]정보수집 [B1-4]기능평가 면담용 질문지 내용 확인하기 4.80 .42 1.00 .08
[B1-4]하루 일과표 평가척도 내용 확인하기 4.50 .97 .80 .21
[B2-2]문제행동 발생동기 평가척도 작성하기 4.80 .42 1.00 .08
[B2-3]목표 및 전략 설정 [B2-3]행동분포 관찰기록지 작성 안내하기 4.50 .85 1.00 .18
[B2-3]일화 관찰기록지 작성 안내하기 4.50 .71 .80 .15
[B2-3]A-B-C 기록지 작성 안내하기 4.90 .32 1.00 .06
[B2-4]실행 및 진도점검 [B2-3]행동분포관찰기록지, 일화관찰기록지, A-B-C기록지 사전제출 안내하기 4.80 .42 1.00 .08
[B3]가설 수립, 행동의 조작적 정의와 직접관찰
(사전측정 및 중간점검)
[B3-1]관계형성 및 역할과 책임 설정 오늘의 컨설팅 진행 내용 안내하기 4.90 .32 1.00 .06
[B3-2]정보수집 행동분포 관찰기록지, 일화관찰기록지 작성내용 확인 후 A-B-C 기록지 내용 수정하기 4.80 .42 1.00 .08
[B3-3]목표 및 전략 설정 [B3-3]가설 세우기표 작성하기 4.70 .48 1.00 .10
[B3-3]조작적 정의 평가표 작성하기 4.80 .42 1.00 .08
[B3-3]행동목표 세우기표 작성하기 5.00 .00 1.00 .00
[B3-4]실행 및 진도점검 사례에 적합한 행동관찰기록지를 선택하여 사전측정을 위한 작성 방법 안내하기 4.80 .42 1.00 .08
[B3-4]학생 강화목록설문지(내가 좋아하는 것)활용방법 안내하기 4.80 .42 1.00 .08
[B4]문제행동 기능에 따른 중개계획과 실행 [B4-1]관계형성 및 역할과 책임 설정 오늘의 컨설팅 진행 내용 안내하기 4.90 .32 1.00 .06
가설확정하기 4.80 .42 1.00 .08
[B4-2]정보수집 [B3-4]대상학생 강화목록 설문지(학생작성)검토하기 4.90 .32 1.00 .06
[B4-3]목표 및 전략 설정 [B4-3]경쟁행동 경로도표 작성하기 4.60 .70 .80 .15
[B4-3]표적집단 중재계획표 작성하기 4.90 .32 1.00 .06
[B4-3]표적집단 중재계획 체크리스트 작성하기 4.80 .42 1.00 .08
[B4-4]실행 및 진도점검 표적집단 행동관찰기록지(사전측정과 동일한 양식) 작성 안내하기/ 정기적으로 확인 후 피드백하기 4.80 .42 1.00 .08
[B4-4]표적집단 중재실행 교사점검표 작성 안내하기/ 정기적으로 확인 후 피드백 하기 4.70 .48 1.00 .10
자료기반 중재전략 수정, 보완하기 4.90 .32 1.00 .06
[B5]중재계획 실행의 효과 평가 [B5-1]관계형성 및 역할과 책임 설정 오늘의 컨설팅 진행 내용 안내하기 4.90 .32 1.00 .06
[B5-1]]교사면담지록지 작성하기 4.70 .48 1.00 .10
[B5-2]정보수집 [B5-2]교사면담지록지 작성하기: 표적집단 중재 실행 경험/ 컨설팅 경험에 관한 교사 소감 및 평가 4.70 .48 1.00 .10
[B5-3]목표 및 전략 설정 표적집단 중재 행동관찰기록지 전체자료 분석하기 4.70 .48 1.00 .10
[B4-4]표적집단 중재실행 교사점검표(반복측정 자료)취합하기 4.70 .48 1.00 .10
[B5-4]실행 및 진도점검 표적집단 중재 결과 교사와 공유하기 4.90 .32 1.00 .06
[B5-4]CWPBS_TIer2 실행충실도 평가표 작성 후 평가하기 4.80 .42 1.00 .08
[B5-4]컨설팅 만족도 조사지 작성하기 4.80 .42 1.00 .08
[B5-4]사회적 타당도 작성하기 4.90 .32 1.00 .06
Download Excel Table

Ⅳ. 논의 및 제언

본 연구는 교사가 긍정적 행동지원 컨설팅을 통해 교실에서 PBS를 쉽고 바르게 적용할 수 있도록 델파이 조사를 통해 내용타당도가 확보된 PBS컨설팅 모델을 개발하는 것에 목적이 있다. 이를 위해 문헌 연구와 전문가 검토를 통해 학급차원의 긍정적 행동지원(Class-Wide Positive Behavior Support Consulting Model, CWPBS)컨설팅 초기모델을 개발하고, 델파이 분석을 통해 컨설팅 절차에 따른 내용이 타당한가를 검증하였다. 본 연구를 통해 최종적으로 개발된 CWPBS컨설팅 모델의 구성은 다음과 같다. 먼저, 보편적(Tier1) 중재에는 4단계, 표적집단(Tier2) 중재에는 5단계로 PBS절차가 추출되었으며, 각 절차는 다시 4단계의 컨설팅 절차에 따라 진행된다. 이때 컨설팅 절차에 따른 내용은 보편적 중재는 21가지, 표적집단 중재는 29가지의 활동이 개발되었다. 이러한 연구결과를 기반으로 다음과 같은 시사점에 대해 논의하고자 한다.

첫째, 본 연구는 개별 연구자들에 의해 수행된 PBS를 통합교육현장에 보편적으로 적용할 수 있도록 PBS의 절차와 내용을 체계화하였다는데 의의를 갖는다. 본 연구에서는 컨설팅을 통해 교사의 PBS수행을 지원할 수 있는 체계적인 모델을 개발함으로써 그간 PBS의 필요성에 비해 실행 가능성이 낮게 인식된 ‘교사의 역할부담과 PBS전문기술의 부족’의 측면(강성구 등, 2020; 장소아, 강옥려, 2009; 정숙이, 2010; 최진혁 등, 2020)을 효과적으로 개선할 수 있는 방안이 될 것으로 사료된다. 이는 선행연구에서 제기한 교사의 PBS활용을 제고하기 위한 방안으로 컨설팅이 제안되는 바에 따라 PBS컨설팅을 위한 모델 개발의 필요성을 반영하였다(손유니, 2012; 이계경, 이명숙, 2017; 이대식, 2005). 또한, 중재의 효과와 유지를 위해서 중재 실행자 즉, 교사의 일관되고 지속적인 운영에 대한 중요성이 강조된다(Childs et al., 2016; Flannery et al., 2014; Pas & Bradshaw, 2012; Simonsen et al., 2014). CWPBS컨설팅 모델을 기반으로 한 컨설팅은 체계적이고 일관된 방식으로 높은 수준의 컨설팅을 제공하게 하여 담임교사의 올바르고 지속적인 운영을 안정적으로 돕는데 의미 있는 역할을 할 것이다.

둘째, CWPBS컨설팅 모델은 개별(Tier3) 중재를 위한 기능행동평가(Functional Behavioral Assessment, FBA)를 표적집단(Tier2) 중재에도 확장 적용하였다. 이는 표적집단(Tier2) 중재가 기능행동평가 없이 진행되었을 때, Tier2 중재에 반응하지 않는 학생의 경우 불필요한 Tier3 중재를 받게 되거나 Tier3 중재가 시급한 경우임에도 불구하고 개입이 지연될 수도 있다는 선행연구(Carter & Horner, 2009; Fuchs et al., 2003)의 지적을 반영한 결과이다. 즉, 개별(Tier3) 중재에 요구하는 정도의 수준은 아니지만, Tier2 중재에도 행동의 기능을 평가하여 그에 맞는 개별중재를 제공하도록 개발함으로써, 행동의 기능을 빠르고 정확하게 파악하여 더욱 효과적인 중재계획을 세울 수 있도록 고안되었다(McIntosh et al., 2009; Rifflel & Michiner, 2015).

셋째, 긍정적 행동지원이 교육 현장에 적용될 때 중요한 요소 중 하나는 실행 충실도(Implement fidelity)의 점검이다. 이는 중재연구의 특성상 중재실행자의 중재실행능력은 중재의 효과에 주요한 영향을 미칠 수밖에 없어 PBS중재에서 중요한 평가요소가 된다(남동미 등, 2020). 하지만 PBS시행 사례가 증가하고 있음에도 불구하고 중재 실행자에 대한 실행 충실도를 지속적으로 점검하는 연구가 없음이 지적되며, 이러한 연구에 대한 필요성이 강조되고 있다(Fallon, McCarthy & Sanetti, 2014). 본 연구를 통해 개발된 CWPBS컨설팅 모델은 교사자기점검표를 정기적으로 작성하고, 이를 컨설턴트가 지속적으로 점검하게 함으로써, 교사의 실행 충실도를 제고할 수 있도록 고안되었다. 이는 중재 실행도를 높이기 위해 연구자가 중재를 모니터링 한 후 교사에게 주기적으로 피드백을 제공한 선행연구(김미선, 박지연, 2005)와 유사한 맥락으로, CWPBS컨설팅을 통한 교사지원 방식이 PBS의 실행 충실도를 높이는 하나의 대안이 될 수 있을 것이다.

넷째, CWPBS컨설팅 모델은 보편적 중재(Tier1)와 표적집단(Tier2) 중재를 연속성 상에서 실행할 수 있도록 고안되었다. 즉, 보편적 지원 실행 이후에도 문제행동을 보이는 학생들에게 추가적인 지원과 점검을 함으로써, 학생의 현재의 문제행동을 경감시키고 나아가 문제행동이 심화되는 것을 예방하게 한다. 이는 다양한 수준의 문제행동을 보이는 학생들에게 중재의 강도를 달리하여 지원할 수 있는 PBS의 다층적 지원체계에 기반하여 개발되었기 때문이다(OSEP, 2021). CWPBS컨설팅 모델을 활용한 PBS컨설팅은 1명의 담임교사가 다양한 수준과 방식의 문제행동을 보이는 학급 내의 다수의 학생을 대상으로 실행할 수 있도록 돕는 효과적이고 실제적인 대안이 될 것으로 예상된다(김예리, 박지연, 2017; Ervin et al., 2007; Mitchell, Stormont & Gage, 2011).

마지막으로 본 연구의 한계와 후속연구를 위한 제언은 다음과 같다. 본 연구를 통해 개발된 CWPBS컨설팅 모델은 델파이 분석을 통해 모델의 내용타당도는 검증하였지만, 실제적인 현장 적용은 이뤄지지 않았다는 한계가 있다. 때문에 본 모델을 실제 교육현장에 적용해 봄으로써 보편적 중재와 표적집단 중재의 효과를 확인하는 과정을 통해 모델의 절차와 그에 따른 내용에 적합성을 검증하는 후속연구가 필요하다.

Notes

본 논문은 제1저자의 박사학위 논문의 일부 내용을 수정·보완한 것임.

This manuscript is a partial revision of the doctoral dissertation by Paek-YoungSun(2022).

참고문헌

1.

강삼성, 이효신 (2012). 학급수준의 긍정적 행동지원이 통합학급 초등학생의 문제행동과 학교생활 만족도에 미치는 영향. 정서·행동장애연구, 28(3), 1-35.

2.

강성구, 권혁상, 임경원, 곽승철 (2020). 학교차원의 긍정적 행동중재와 지원(PBIS)체계 적용에 대한 중등 특수교사의 인식. 학습자중심교과교육연구, 20(1), 1155-1178.

3.

강진령, 강복란 (2005). 초등학교 상담교사의 교사자문 모형 구안. 상담학연구, 6(3), 973-988.

4.

국립특수교육원 (2022.4.21. 검색일). 행복한 교실을 만들어 가는 긍정적 행동지원. Retrieved from https://www.nise.go.kr/sub/info.do?m=0203&page=08040004&s=nise

5.

국토연구원 (2009). 알기 쉬운 국토연구방법론. 경기: 국토연구원.

6.

권희청, 오성진, 박수정 (2021). 초등 수석교사의 수업컨설팅 경험 분석. 한국교원교육연구, 38(1), 375-398.

7.

김갑상, 국미진, 임은숙, 백은희 (2015). 개별 차원의 긍정적 행동지원이 통합 교육환경의 정신 지체 학생의 수업 방해 행동에 미치는 영향. 특수교육저널: 이론과 실천, 16(2), 627-647.

8.

김미선, 박지연 (2005). 학급차원의 긍정적인 행동지원이 문제행동을 보이는 초등학교 장애학생과 그 또래의 문제행동에 미치는 영향. 특수교육학연구, 40(2), 355-376.

9.

김미선, 송준만 (2006). 학교차원의 긍정적 행동지원이 초등학교 학생들의 문제행동과 학교 분위기에 미치는 영향. 특수교육학연구, 41(3), 207-227.

10.

김보경, 박지연 (2017). 학년 단위의 긍정적 행동지원을 통해 실시된 보편적 지원이 통합학급 초등학생의 사회적 능력, 수업참여행동 및 학교분위기에 대한 인식에 미치는 영향. 정서·행동장애연구, 33(1), 85-105.

11.

김선희, 임철일 (2016). 디지털 매체 활용 포럼연극 수업설계의 개념 모형 개발. 교육공학연구, 32(3), 453-486.

12.

김영란 (2008). 특수학교 교사의 긍정적 행동지원 적용을 위한 교수적 지원이 장애학생의 문제행동과 특수교사의 교사효능감에 미치는 영향. 특수교육, 7(2), 53-80.

13.

김영란, 박지연 (2014). 학교차원의 긍정적 행동지원이 특수학교 장애학생의 수업참여행동과 문제행동, 개별화교육목표 성취에 미치는 영향. 특수교육학연구, 49(3), 1-28.

14.

김우리 (2014). 학교차원의 긍정적 행동지원(SWPBS)모형의 중요성과 학교 현장에서의 실행가능성에 대한 일반교사와 특수교사의 인식. 특수교육, 13(3), 119-145.

15.

김유리, 배현순, 강하영, 정선숙, 송미숙 (2021). 학생 사회정서역량 강화를 위한 심리지원정책 발전 방안. 서울: 서울특별시교육청교육연구정보원.

16.

김예리 (2016). 학년차원의 긍정적 행동지원을 통해 실시된 표적집단 중재 실행연구. 미간행 박사학위논문, 이화여자대학교 대학원, 서울.

17.

김예리, 박지연 (2017). 학년차원의 긍정적 행동지원을 통해 실시된 표적집단 중재 실행연구. 정서·행동장애연구, 33(3), 297-324.

18.

김정민, 전병운, 임해주 (2014). 개별차원의 긍정적 행동지원이 중증 자폐성 장애 중학생의 특수학급에서의 수업참여행동에 미치는 영향. 특수교육학연구, 49(2), 45-67.

19.

김정효 (2017). 특수학교차원의 긍정적 행동지원: 성베드로학교 이야기. 서울: 학지사.

20.

김창환 (2021). 코로나 19의 부정적 영향과 회복을 위한 교육적 과제에 관한 연구. 홀리스틱융합교육연구, 25(3), 113-133.

21.

김창호, 이미애 (2013). 긍정적 행동지원(PBS)이 중증 자폐성 장애아동의 문제 행동에 미치는 효과. 특수아동교육연구, 15(4), 181-198.

22.

김창호, 이미애, 이근매 (2014). 긍정적 행동지원(PBS)이 중증 자폐성장애 학생의 자해 행동, 자리이탈 행동, 자위 행동에 미치는 효과. 특수아동교육연구, 16(4), 287-306.

23.

김형준, 전민정, 김정민, 백은희, 곽승철 (2013). 개별차원의 긍정적 행동지원이 중증 지적 장애학생의 문제 행동에 미치는 효과. 지적장애연구, 15(2), 129-150.

24.

남동미, 장은진, 원성두, 조광순, 송원영 (2020). 한국형 학교차원 긍정적 행동지원 1차 실행충실도 척도(KIFC-T1)의 개발과 타당화. 한국심리학회지: 학교, 17(3), 401-419.

25.

노진아 (2015). 증거기반의 행동중재 전략에 대한 특수교사의 인식. 특수아동교육연구, 17(2), 113-132.

26.

문병훈, 이영철 (2014). 메트릭스를 이용한 긍정적 행동지원이 초등학교 지적장애 학생의 통합학급 내 문제행동에 미치는 영향. 지적장애연구, 16(4), 57-84.

27.

문병훈, 이영철 (2016). 학교차원의 긍정적 행동지원이 초등 지적장애학생과 비장애학생의 문제행동 및 학교생활 만족도에 미치는 영향. 특수교육학연구, 51(2), 71-92.

28.

문병훈, 장천, 이영철 (2017). 개별차원의 긍정적 행동지원이 지적장애 초등학생의 문제 행동에 미치는 영향. 지적장애연구, 19(1), 105-126.

29.

문장원 (2011). 긍정적 행동지원이 장애학생의 수업방해 행동에 미치는 효과. 재활심리연구, 18(3), 301-319.

30.

민지영, 김은경 (2011). 긍정적 행동지원이 ADHD 아동의 수업참여 행동과 공격행동에 미치는 효과. 정서ㆍ행동장애연구, 27(2), 1-32.

31.

박도순 (1992). 교육연구방법론. 서울: 문음사.

32.

박민휘, 백은희 (2010). 긍정적 행동지원이 통합학급 정신지체 아동의 수업 방해행동과 수업참여 행동에 미치는 효과. 특수교육학연구, 45(1), 269-289.

33.

박은진 (2020). 수업장학, 수업컨설팅, 수업코칭의 개념의 혼란과 차이 탐색. 열린교육연구, 28(2), 47-65.

34.

박지혜, 박재국, 김은라 (2017). 발달장애 초등학생을 위한 특수교사의 긍정적 행동지원 활동 실태 및 인식. 지체·중복·건강장애연구, 60(2), 119-140.

35.

박현옥, 김정현 (2012). 긍정적 행동지원이 시각장애 - 지적장애 중복장애학생의 수업시간 중문제 행동에 미치는 영향. 시각장애연구, 28(3), 69-85.

36.

박혜진, 신현기 (2010). 개별차원의 긍정적 행동지원이 지적장애학생의 문제 행동과 일반학생의 대응태도 변화에 미치는 영향. 지적장애연구, 12(1), 1-29.

37.

박혜향, 김은경 (2017). 정서·행동장애 위험학생을 위한 중재 관련 국내 연구 동향 분석. 정서·행동장애연구, 33(4), 81-107.

38.

부현숙, 백은희 (2015). 개별화된 긍정적 행동지원이 초등학교 통합학급 정신지체 아동의 수업참여와 수업 방해 행동에 미치는 영향. 지적장애연구, 17(2), 49-71.

39.

배선화, 이병인, 조현근 (2016). 통합학급에서 학급차원의 보편적 지원과 개별화된 긍정적 행동지원이 유아의 문제행동과 사회적 유능감에 미치는 효과. 유아특수교육연구, 16, 131-159.

40.

손유니 (2012). 문제행동 중재 과정에 포함된 교사 지원에 관한 문헌연구. 교원교육, 28(4), 161-183.

41.

신기현 (2017). 정신건강컨설팅, 과정컨설팅, 행동컨설팅을 통해 본교육컨설팅의 구성 방향. 교육원리연구, 22(2), 85-108.

42.

양명희 (2020). 행동수정이론에 기초한 행동지원(2판). 서울: 학지사.

43.

오유빈, 이희연 (2021). 장애학생의 문제행동에 대한 초등 통합학급 교사와 특수학급 교사의 인식과 경험. 교육논총 41(1), 41-64.

44.

유환조, 이영철 (2016a). 긍정적 행동지원이 지적장애를 수반한 자폐성장애 학생의 문제 행동과 수업참여행동에 미치는 효과. 특수교육저널: 이론과 실천, 17(4), 347-368.

45.

유환조, 이영철 (2016b). 긍정적 행동지원이 지적장애학생의 문제 행동과 수업참여행동에 미치는 영향. 특수교육저널: 이론과 실천, 17(1), 61-83.

46.

윤성혜, 강명희 (2017). 델파이 기법을 통한 대학생용 세계시민성(Global Citizenship) 측정도구 개발. 시민교육연구, 49(4), 63-87.

47.

이계경, 이명숙 (2017). 협력적 행동컨설팅이 수업방해 행동과 주도적 공격 행동에 미치는 효과. 한국교육심리학회, 4(2), 1-27.

48.

이대식 (2005). 일반교사들이 특수아 지도와 관련하여 필요로 하는 전문가 지원. 한국교원교육학회, 22(3), 263-279.

49.

이대식, 김수연, 이은주, 허승준 (2006). 통합교육의 이해와 실제: 통합학급에서의 효과적인 교육방법. 서울: 학지사.

50.

이덕희 (2019). 생태행동컨설팅을 적용한 초등학교 부적응 문제해결팀 운영모형 개발. 미간행 박사학위논문, 동덕여자대학교 대학원, 서울.

51.

이상철 (2013). 학생의 수업시간 문제행동에 대한 예비교사의 인식 연구. 한국교원연구, 30(1), 1-28.

52.

이선아, 이효신 (2015). 초등학교 학생의 수업 중 문제행동 개선을 위한 학급차원의 긍정적 행동지원의 적용. 정서·행동장애연구, 31(2), 61-84.

53.

이선희, 이광림, 서영희, 백은희 (2020). 개별화된 긍정적 행동지원이 자폐성 장애 초등학생의 수업 방해 행동 및 요구하기 기술 교수에 미치는 영향. 한국행동분석학회, 7(1), 1-21.

54.

이소라, 이영선 (2021). 학급 차원의 기능기반 중재 팀 적용 연구 동향 및 프로그램 특성 고찰. 행동분석·지원연구, 8(1), 89-114.

55.

이소현, 박은혜 (2011). 특수아동교육. 서울: 학지사.

56.

이영주, 이승희 (2019). 정서·행동 문제를 지닌 학생에 대한 초등학교 교사인식에 관한 연구. 정서·행동장애연구, 35(3), 335-353.

57.

이유리, 곽승철 (2011). 긍정적 행동지원이 정신지체 학생의 문제 행동과 사회적 상호작용에 미치는 효과. 특수교육재활과학연구, 50(3), 289-315.

58.

이정연, 박미희, 소미영, 안수현 (2020). 코로나19와 교육: 학교구성원의 생활과 인식을 중심으로. 수원: 경기도교육연구원.

59.

이제화, 이상복 (2010). 학급수준의 보편적 지원이 통합학급 유아들의 문제행동과 사회적 유능감에 미치는 영향. 정서·행동장애연구, 26(2), 51-75.

60.

이효정 (2018). 학교차원의 긍정적 행동지원을 실행하는 특수학교 교사의 실행상황 및 어려움에 대한 인식. 특수교육, 17(3), 59-76.

61.

임해주, 김정민, 백은희, 전혜영 (2013). 개별차원의 긍정적 행동지원이 중증 정신지체학생의 수업 방해 행동에 미치는 영향. 특수교육학연구, 48(1), 49-69.

62.

장소아, 강옥려 (2009). 초등학교 통합교사와 특수교사의 긍정적 행동지원실태 및 지원요구. 한국초등교육, 20(1), 193-211.

63.

정숙이 (2010). 긍정적 행동지원에 대한 초등학교 교사의 인식 및 실행에 관한 연구. 미간행 박사학위논문, 서울교육대학교 교육대학원, 서울.

64.

정은미, 서유진 (2020). 초등학교 저경력 교사의 정서·행동 문제를 가진 학생지도경험에 대한 자문화기술지. 초등교육연구, 33(4), 245-271.

65.

정환별, 백은희, 김정민 (2011). 개별차원의 긍정적 행동지원이 정신지체 초등학생의 자리이탈 행동과 과제수행 행동에 미치는 효과. 특수아동교육연구, 13(1), 193-217.

66.

조성희 (2020). 학업 저성취 대학생을 위한 학습검사도구 개발 및 타당화. 미간행 박사학위논문, 고려대학교 대학원, 서울.

67.

차재경, 김진호 (2014). 학급단위의 보편적 차원 긍정적 행동지원이 통합학급 학생들의 수업참여행동과 방해행동에 미치는 영향. 지적장애연구, 16(4), 85-109.

68.

최미점, 백은희, 김정민 (2013). 개별차원의 긍정적 행동지원이 정신지체 학생의 자리이탈 행동에 미치는 효과. 특수교육저널: 이론과 실천, 14(2), 97-114.

69.

최미점, 백은희. (2015). 통합 상황에서 긍정적 행동지원이 발달지체 유아의 수업행동과 사회적 상호작용에 미치는 영향. 특수교육학연구, 50(3), 143-168.

70.

최진오 (2009). 초등교사의 문제행동 중재방법 활용실태 조사연구. 특수교육 저널: 이론과 실천, 10(1), 229-248.

71.

최진혁, 박재국, 김기흥, 김은라 (2020). 학교 차원의 긍정적 행동지원 적용 실태 및 초등특수교사와 초등교사의 인식. 특수아동교육연구, 22(3), 47-69.

72.

한은선, 김은경 (2016). 그림교환의사소통체계(PECS)를 활용한 긍정적 행동지원이 자폐성장애 초등학생의 문제 행동에 미치는 영향. 행동분석·지원연구, 3(2), 17-41.

73.

Bambara, L. M., & Kern, L. (2008). 장애학생을 위한 개별화 행동지원: 긍정적 행동지원의 계획 및 실행(이소현 등 역) 서울: 학지사.(원출판년도 2005)

74.

Campbell, A., & Anderson, C. M. (2008). Enhancing effects of check-in/check-out with function based support. Behavioral Disorders, 33(4), 233-245.

75.

Campbell, A., & Anderson, C. M. (2011). Check-in/check-out: A systematic evaluation and component analysis. Journal of Applied Behavior Analysis, 44(2), 315-326.

76.

Carr, E. G., Dunlap, G., Horner, R. H., Koegel, R. L., Turnbull, A. P., Sailor, W., & Fox, L. (2002). Positive behavior support: Evolution of an applied science. Journal of Positive Behavior Interventions, 4(1), 4-16.

77.

Carter, D. R., & Horner, R. H. (2009). Adding functional behavioral assessment to First Step to Success: A case study. Journal of Positive Behavior Interventions, 11(1), 22-34.

78.

Cheney, D., & Barringer, C. (1995). Teacher conference, student diversity, and staff training for the inclusion of middle school students with emotional and behavioral disorders. Journal of Emotional and Behavioral Disorders, 3(3), 174-182.

79.

Childs, K. E., Kincaid, D., George, H. P., & Gage, N. A. (2016). The relationship between school-wide implementation of Positive Behavior Intervention and Supports and student discipline outcomes. Journal of Positive Behavior Interventions, 18, 89-99.

80.

DeVore, S., Miolo, G., & Hader, J. (2011). Individualizing inclusion for preschool children using collaborative consultation. Young Exceptional Children, 14(4), 31-43.

81.

Ennis, R. P., Jolivette, K., Swoszowski, N. C., & Johnson, M. L. (2012). Secondary prevention efforts at a residential facility for students with emotional and behavior disorders: Function-based check-in, check-out. Residential Treatment for Children & Youth, 29(2), 79-102.

82.

Ervin, R. A., Schaughency, E., Matthews, A., Goodman, S. D., & McGlinchey, M. T. (2007). Primary and secondary prevention of behavior difficulties: Developing a data-informed problem-solving model to guide decision making at a school-wide level. Psychology in the Schools, 44, 7-18.

83.

Fairbanks, S., Sugai, G., Guardino, D., & Lathrop, M. (2007). Response to intervention: Examining classroom behavior support in second grade. Exceptional Children, 73, 288-310.

84.

Fallon, L. M., McCarthy, S. R., & Sanetti, L. M.(2014). School-wide positive behavior support (SWPBS) in the classroom: Assessing perceived challenges to consistent implementation in Connecticut schools. Education & Treatment of Children, 37, 1-24.

85.

Flannery, K. B., Fenning, P., Kato, M. M., & McIntosh, K. (2014). Effects of school-wide positive behavioral interventions and supports and fidelity of implementation on problem behavior in high schools. School Psychology Quarterly, 29, 111-124.

86.

Fuchs, D., Mock, D., Morgan, P. L., & Young, C. L. (2003). Responsiveness to intervention: Definitions, evidence, and implications for the learning disabilities construct. Learning Disabilities Research & Practice, 18, 157-171.

87.

Hawken, L. S., O’Neil, R. E., & McLeod, K. S. (2011). An investigation of the impact of function of problem behavior on effectiveness of the behavior education program(BEP). Education & Treatment of Children, 34, 551-574.

88.

Keenan, S. M. (1997). Program elements that support teachers and students with learning and behavior problems. In P. Zionts (Ed.), Inclusion strategies for students with learning and behavior problems: Perspectives, experiences, and best practices(pp. 117-138). Austin, TX: PRO-ED.

89.

Kerr, M. M., & Nelson, C. M. (2006). Strategies for addressing behavior problems in the classroom(5th ed.). Englewood Cliffs, NJ: Prentice Hall.

90.

Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563-575.

91.

Loeber, R., & Farrington D. P. (2000). Young children who commit crime: Epidemiology, developmental origins, risk factor, early interventions, and policy implications. Developmental Psychopathology, 12, 737-762.

92.

McIntosh, K., Campbell, A., Carter, D., & Dickey, C. (2009). Differential effects of a tier two behavior intervention based on function of problem behavior. Journal of Positive Behavior Interventions, 11(2), 82-93.

93.

Mitchell, B. S., Stormont, M., & Gage, N. A. (2011). Tier two interventions implemented within the context of a tiered prevention framework. Behavioral Disorders, 36(4), 241-261.

94.

Mong, M. D., Johnson, K. N., & Mong, K. W. (2011). Effects of check-in/check-out on behavioral indices and mathematics generalization. Behavioral Disorders, 36(4), 225-240.

95.

Murphy, M. K., Black, N., Lamping, D. L., McKee, C. M., Sanderson, C. F. B., Askham, J., T., Marteau. (1998). Consensus development methods and their use in clinical guideline development. Health Technology Assessment, 2(3), 1-88.

96.

Myers, D., Simonsen, B., & Freeman, J. (2020). Implementing Classwide PBIS: A Guide to Supporting Teachers. New York, NY: Guilford Press.

97.

Orlando, N., Wu, S., & Contreras, B. (2021). A Comprehensive Literature Review Of Instructional Consultation Within Schools Settings. Psychology, 15.

98.

Okoli, C., & Pawlowski, S. D. (2004). The Delphi method as a research tool: An example, design considerations and applications. Information & Management, 42(1), 15-29.

99.

OSEP Technical Assistance Center. (2021, DEC 31). Positive Behavioral Interventions & Supports. Retrieved from https://www.pbis.org.

100.

Paliwoda, S. J. (1983). Predicting the future using Delphi. Management Decision, 21(1), 31-38.

101.

Pas, E. T., & Bradshaw, C. P. (2012). Examining the association between implementation and outcomes: State-wide scale-up of school-wide positive behavior intervention and supports. Journal of Behavioral Health Services & Research, 39, 417-433.

102.

Richey, R. C., & Klein, J. D. (2007). Design and Development Research Methods, Strategies, and Issues. New York: Routledge.

103.

Riffel, L. A., & Mitchiner, M. (2015). Positive behavior support at the secondary “targeted group” level: Yellow zone strategies. Thousand Oaks, CA: Corwin.

104.

Ryan, C., & Baker, B. (2014). The PBIS Team Handbook Setting Expectations and Building Positive Behavior (Revised & Updated Edition). Minneapolis, MN: Free Spirit Publishing.

105.

Scheuermann, B. K., & Hall, J. A.(2017). 긍정적 행동중재와 지원: 행동중재를 위한 최신 이론과 실제(김진호, 김미선, 김은경, 박지연 역). 서울: 시그마프레스. (원출판년도 2016).

106.

Scott, T. M., & Caron, D. B. (2005). Conceptualizing functional behavior assessment as prevention practice within positive behavior support systems. Preventing School Failure, 50(1), 13-20.

107.

Shapiro, E. S., Miller, D. N., Sawka, K., Gardill, M. C., & Handler, M. W. (1999). Facilitating the inclusion of students with EBD into general education classrooms. Journal of Emotional and Behavioral Disorders, 7(2), 83-93.

108.

Simonsen, B., Myers, D., & Briere, D. E. (2011). Comparing a behavioral check-in/check-out(CICO) intervention to standard practice in an urban middle school setting using an experimental group design. Journal of Positive Behavior Intervention, 13, 31-48.

109.

Simonsen, B., MacSuga-Gage, A. S., Briere III, D. E., Freeman, J., Myers, D., Scott, T. M., & Sugai, G. (2014). Multitiered support framework for teachers’ classroom-management practices: Overview and case study of building the triangle for teachers. Journal of Positive Behavior Interventions, 16(3), 179-190.

110.

Simonsen, B., & Myers, D. (2015). Classwide positive behavior interventions and supports: A guide to proactive classroom management. New York, NY: Guilford Press.

111.

Stormont, M., Lewis, T. J., Beckner, R., & Johnson, N. W. (2012). 프로그램·학교차원의 긍정적 행동지원 시스템을 실행하기(노진아, 김연하 역). 서울: 시그마프레스. (원출판년도 2007).

112.

Sugai, G., Horner, R. H., Dunlap, G., Hieneman, M., Lewis, T. J., Nelson, C. M., et al. (2000). Applying positive support and functional behavioral assessment in school. Journal of Positive Behavior Interventions, 2, 131-143.

113.

Sugai, G., & Horner, R. H. (2006). A promising approach for expanding and sustaining school-wide positive behavior support. School psychology review, 35(2), 245-259.

114.

Tincani, W. (2011). 우리 교실의 행동문제 예방하는 방법: 긍정적 행동지원과 효과적인 학급운영(전혜인 역). 서울: 시그마프레스. (원출판년도 2011).

115.

Todd, A., Campbell, A. L., Meyer, G. G., & Horner, R. H. (2008). The effects of a targeted intervention to reduce problem behaviors. Journal of Positive Behavior Interventions, 10(1), 46-55.

116.

Turtura, J. E., Anderson, C. M., & Boyd, R. J. (2014). Addressing task avoidance in middle school students: Academic behavior check-in/check-out. Journal of Positive Behavior Interventions, 16(3), 159-167.