Review of the fidelity measures in universal behavioral supports

Kim, Jerin

doi:10.22874/kaba.2022.9.3.43

Journal of Behavior Analysis and Support 2022; 9(3):43-81

pISSN: 2383-5435, eISSN: 2733-8495

DOI: https://doi.org/10.22874/kaba.2022.9.3.43

Article

보편적 행동지원 실행충실도 평가도구 고찰

김제린 ¹ ^, ^*

Review of the fidelity measures in universal behavioral supports

Jerin Kim ¹ ^, ^*

Author Information & Copyright ▼

¹서울정진학교, 교사

^*교신저자 : jrkim80@gmail.com

ⓒ Copyright 2022 Korean Association for Behavior Analysis. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Nov 08, 2022; Revised: Dec 17, 2022; Accepted: Dec 18, 2022

Published Online: Dec 31, 2022

요약

본 연구의 목적은 학교 차원의 긍정적 행동지원(school-wide Positive Behavioral Interventions and Supports; 이하 SWPBIS)의 보편적 지원에 관한 실행충실도 평가도구를 도구적 특징 및 내용적 측면에서 살펴보는 것이다. 국내외에서 개발된 총 8개의 보편적 지원 실행충실도 평가도구를 선정하여, 각 평가도구의 특징을 사용 목적, 평가 방법, 실행 적절성 기준, 평가도구 구성, 접근성을 중심으로 살펴보았다. 또한, 문항 분석(총 258개)을 통해 보편적 지원의 핵심 요소와 하위 요소를 유목화하고, 핵심 요소별 관련 문항을 중재 요소의 양적 측면, 중재 제공자의 질적 측면, 중재 대상자의 반응성 측면에서 분석하였다. 연구 결과를 살펴보면, 보편적 지원 실행충실도 평가도구는 크게 연구와 학교 활용을 위해 개발되지만, 평가 방법에 따라 다양한 기능(예: 팀 기반 정기 점검, 교직원 인식 조사)을 제공한다. 각 평가도구는 평정척도 이외 다양한 정보(예: 평가, 채점, 활용 방법)와 자료(예: 자료 수집 양식, 실행계획서 양식)를 제공하며, 대부분 특정 사이트나 학술논문을 통해 무료로 배포되고 있다. 문항 분석을 통해 10개 핵심 요소(예: 기대행동 정의 및 교육)와 60개 하위 요소(예: 기대행동을 긍정문으로 명확하게 정의하기)가 확인되었고, 전반적으로 실행충실도의 다차원적 측면이 균형있게 평가되고 있다. 본 연구는 연구 결과의 시사점을 바탕으로 추후 SWPBIS 실행충실도 평가도구 개발과 적용에 관해 제언하였다.

ABSTRACT

The purpose of this study is to review the fidelity measures in school-wide positive behavioral interventions and supports; SWPBIS) with an emphasis on their instrumental characteristics and contents. A total of eight instruments, both domestically and internationally developed, were chosen and reviewed in terms of the purpose, the methods of assessment, the criterion scores on adequacy, the composition, and the accessibility. Also, through the in-depth investigation of the item contents (from 258 items), core and sub-elements were identified, and all relevant items within a specific core element were reviewed according to three dimensions including exposure of the intervention, quality of the intervention providers, and responsiveness of the intervention recipients. As a result, the fidelity measures in the universal behavioral supports are used in a school or research and provide multiple functions (e.g. school teams’ use for the regular implementation monitoring, survey of school faculty and staff’s perception) with varied assessment methods. To enhance the user’s understanding, most measures serve different types of information (e.g., measurement, scoring, utilization methods) and materials (e.g., data collection form, action plan form) in addition to the rating scales and are open to the public at no cost through relevant websites or research publications. Also, the review of the item contents found 10 core elements(e.g., defining and teaching the expected behaviors) and 60 sub-elements (e.g., defining the expectations and rules in a clear and positive manner), and those elements were measured evenly in all three dimensions. In the end, the study provided several implications regarding the further development and utilization of fidelity measures in universal behavioral supports.

Keywords: 학교 차원의 긍정적 행동지원; 보편적 지원; 실행충실도

Keywords: School-wide positive behavioral interventions and supports(SWPBIS); Universal supports; fidelity of implementation

Ⅰ. 서 론

1. 연구의 필요성과 목적

학교 폭력을 비롯하여 학교에서 발생하는 여러 형태의 문제행동은 우리 사회가 외면할 수 없는 고질적 문제이다. 문제행동 지도와 관련된 교사의 심리적 소진이 가중되면서(배현민, 최지영, 2021), 효과적 생활지도에 관한 교육청 연수나 교사연구회 활동이 증가하고 있다(김수희, 김수연, 김혜랑, 김현령, 2022; 박계신, 2022). 그럼에도 김수희 등(2022)은 일련의 시도들이 교실 현장에 안착하지 못하고 있음을 우려하며 교사 개인의 역량과 책임에 의존하는 지금의 생활지도 방식을 벗어나야 한다고 강조하였다. 특히 김수희 등은 최근 학교 현장에서 시도되는 다양한 생활지도 접근 방식에 관한 초등교사의 인식과 경험을 조사하였다. 조사 결과에 따르면 대표적인 증거 기반 행동지원체계로 알려진 학교 차원의 긍정적 행동지원(school-wide Positive Behavioral Interventions and Supports; 이하 SWPBIS)이 일반교사에게 생소한 측면이 있으나, 그들이 자주 활용하는 생활지도 방식과 유사한 측면이 있었다. 이러한 결과는 SWPBIS를 처음 접하는 초등교사들이 심리적 부담을 완화하고 실증적 지식을 교수적 행동으로 이어가는 데 기여할 수 있음을 시사한다. 이와 함께 많은 연구(김보경, 박지연, 2017; 박계신, 2020, 2022)가 긍정적 학교 문화 조성과 효과적 생활지도 체계 마련을 위해 SWPBIS의 체계적 준비와 도입을 제안하였다.

SWPBIS란 모든 학생을 위한 안전하고 안정적인 학교 환경, 정서 행동상 요구에 대한 체계적 선별과 신속한 개입, 증거 기반 중재 제공을 강조하는 다층예방적 행동지원체계이다(Horner & Sugai, 2015). SWPBIS는 3단계로 구성된 지원체계로 모든 학생을 대상으로 모든 교사가 참여하는 보편적 지원(1차 예방)의 도입으로 시작된다. 교내 곳곳에서 기대행동을 가르치고, 기대행동에 대한 학생의 시도와 참여를 격려하며, 문제행동에 대해 일관성 있고 효과적으로 반응한다. 더불어 추가적 지원이 필요한 일부 또는 소수의 학생을 대상으로 개별 요구에 적합한 강도높은 중재를 제공하기 위해 표적집단 지원(2차 예방)과 개별 지원(3차 예방)이 실행된다(Horner & Sugai, 2015; Sugai & Horner, 2020).

학교 차원의 행동지원체계를 계획하고 관리하기 위해 학교 구성원을 대표하는 학교팀이 구성된다(Sugai & Horner, 2020). 특히, 팀의 효과적 의사결정을 위해 자료의 수집과 활용이 강조되는데, 대표적인 자료의 예는 학생 행동과 실행충실도에 관한 자료이다. 학교팀은 학생 행동에 관한 자료를 점검함으로써 SWPBIS 실행을 통해 학생 행동을 개선하고 있는지 확인하고, 그 성과가 현재의 노력을 지속하고 확장할 만큼 충분한지 평가한다(Horner & Sugai, 2015). 이와 관련하여 Center on Positive Behavioral Interventions and Supports(이하 Center on PBIS)는 학생 행동에 관한 자료 수집과 점검을 평가의 기본 요소로 강조하지만, 효과성 평가는 적절한 수준의 실행충실도가 확보되었을 때 정확히 논의될 수 있다고 조언한다(Center on PBIS, 2020). 실행충실도란 특정 중재의 이론적 기반이 되는 핵심 원칙을 충실히 실행하고 있는 정도를 일컫는다. 학교가 SWPBIS의 핵심 요소를 충실히 실행하지 않으면 소기에 목표한 학생 변화를 기대할 수 없고, 학생 변화가 있더라도 지속 가능한 결과로 고려될 수 없다.

실행충실도 평가는 명확하게 정의된 특정 중재의 핵심 요소를 전제로 한다(Nelson et al., 2012). 중재 설계에 있어 효과에 영향을 미칠 것으로 가정된 구성개념(construct) 사이의 관계를 논리적으로 설명하는 과정에서 핵심적 중재 요소가 판별되고 이론과 연구를 기초로 실행 장면에서 정교화된다. SWPBIS의 경우 공중보건학에서 강조되는 다층예방체계를 학교 환경에 적용하고, 각 예방체계를 (a) 학교에서 중요하게 추구되는 성과(outcome), (b) 학생 행동 변화를 위해 제공되는 실제(practice), (c) 실제의 효율적 실행을 위해 운영되는 체계(system), (d) 효과적 의사결정에 활용되는 자료(data)로 구현한다(Horner & Sugai, 2015; Sugai & Horner, 2020). 이러한 4가지 요소는 행동이론, 조직행동학, 실행과학 등 다양한 영역에서 축적된 연구와 지식을 기반으로 핵심적 특징에 대해 조작적으로 정의된다.

특정 중재가 실행되는 역동적 현장에서 중재의 핵심 요소에 대한 실행 수준을 정확히 측정하기 위해 실행충실도의 다각적 측면이 고려되어야 한다. 선행연구는 실행충실도가 다차원적으로 복잡한 개념임을 강조한다(van Dijk, Lane, & Gage, 2020). 대표적으로 Dane과 Schneider(1998)는 1980년과 1994년 사이의 학령기 예방 프로그램에 관한 연구에서 충실도를 평가한 연구들이 준수(adherence; 중재 요소의 실행이 완료된 정도), 양적 측면(exposure; 중재 요소의 시간, 빈도, 양 등), 질적 측면(quality; 중재 제공자가 중재 내용을 전달하는 방식이나 태도), 반응성(responsiveness; 중재를 제공받는 사람이 전달된 중재 내용을 이해하고 참여하는 정도), 프로그램 차별성(program differentiation; 실험집단에서 제공된 중재와 통제집단이 노출된 환경의 차이) 중 1가지 이상을 평가하였음을 밝혔다. 또한, 관련 연구(Gage, MacSuga-Gage, & Detrich, 2020; Sanetti & Kratochwill, 2009)는 실행충실도의 개념적 다차원성을 강조하되 모든 차원의 일률적 평가가 아닌 중재 요소와 관련된 측면에 초점을 맞추어야 한다고 조언한다.

다차원적 개념의 실행충실도 평가는 연구 환경에서 독립 변인인 특정 중재가 다른 중재, 또는 중재가 적용되지 않는 일상적 상황과 차별화되는 특징을 확인하여 연구의 내적 타당도를 강화하는 데 기여한다(Gage et al., 2020; Sanetti & Kratochwill, 2009). 하지만 연구 상황이 아닌 환경에서도 실행충실도 평가는 유용한 정보를 제공한다. 학교에서 실시되는 SWPBIS 실행충실도 평가는 학교 단위로 핵심 요소에 관한 현재 실행 수준을 확인하고 실행계획 수립과 개선에 반영한다(Horner, Sugai, & Fixsen, 2017). 특히 실행충실도 평가도구는 각 중재 요소와 관련된 실행 과제를 구체적으로 제시하고 있어 학교 관계자가 실행지침으로 유용하게 참고할 수 있다.

SWPBIS의 실행충실도 평가도구는 다양한 형태로 개발되어 있다. 대표적으로 미국 연방 교육부의 재정지원에 기초하여 기술지원센터로 설립된 Center on PBIS(2020)는 다양한 연구자와 함께 여러 가지 평가도구를 개발하여 온라인 기반 자료관리체계와 함께 공유하고 있다. 특히 최근 개발된 schoolwide PBIS Tiered Fidelity Inventory(TFI; Algozzine et al., 2019)는 다층예방적 행동지원체계의 실행충실도를 자기 보고식 평정척도로 측정하며, 학교팀이 각 수준별 예방체계의 점진적 도입을 준비하고 실행하는 데 유용한 지침으로 활용될 수 있다. 국내에서도 SWPBIS 실행충실도 개발 연구가 증가하고 있다. 예를 들어 남동미 등(2020)은 국내 실정을 고려하여 보편적 지원의 실행충실도 척도(KIFC-T1)를 교사 수준의 자기보고형 평가도구로 개발하고, 타당화를 위한 실증적 근거를 제시하였다. 또한, 김제린, 홍주희(2022)는 TFI의 보편적 지원 섹션을 번역하고 국내 학교 환경에 맞게 수정 및 보완하였다.

이처럼 국내외에 걸쳐 다양한 SWPBIS 실행충실도 평가도구가 개발되어 있지만, 국내 학교에서 활용 가능한 평가도구는 여전히 제한적이다. 최근 특수학교를 시작으로 SWPBIS의 도입이 확대되고, 효과적 실행을 위한 기술적 지원에 대한 요구가 증가하면서 국내 학교 환경에 적합한 실행충실도 평가도구 개발의 중요성이 더욱 강조되고 있다(남동미 등, 2020). 이에 본 연구는 국내외에서 개발된 SWPBIS 실행충실도 평가도구를 살펴보고자 하며, 특히 다층예방체계 도입과 실행의 기반 환경을 제공하는 보편적 지원에 집중하고자 한다. 다층예방체계에서 상위 수준의 지원은 대상 학생을 보편적 지원에서 분리하는 것이 아니라 학생의 개별 요구에 적합한 중재 전략을 보편적 지원에 추가하는 것이다(Horner & Sugai, 2015). 결과적으로 보편적 지원의 적절하고 지속적인 실행을 통해 긍정적 영향을 받은 학생이 증가하면 상위 수준의 지원체계가 필요한 학생이 장기적 차원에서 감소하며, 학교는 한정된 비용과 인력을 효율적으로 사용할 수 있다. 최근 연구(Kittelman et al., 2022; Van Camp et al., 2021)는 보편적 지원의 실행충실도가 적절한 수준으로 2 ∼ 3년 이상 확인된 후 상위 수준의 지원체계를 순차적으로 도입할 것을 제안한다. 이에 따라 본 연구는 SWPBIS 보편적 지원(이하 보편적 행동지원) 실행충실도 평가도구를 도구적 특징과 평가 내용에 대해 다각적으로 살펴보고, 국내 보편적 행동지원 실행충실도 평가도구 개발 및 적용에 관한 시사점을 도출하고자 한다.

2. 연구 문제

다층예방체계의 도입과 확립을 위한 선결과제로 강조되는 보편적 행동지원 실행충실도 평가와 개선의 중요성을 고려하여 본 연구는 다음 두 가지 연구 문제를 살펴보고자 한다.

국내외에서 개발된 보편적 지원 실행충실도 평가도구의 특징은 무엇인가?
국내외에서 개발된 보편적 지원 실행충실도 평가도구가 다차원적 측면에서 측정하고 있는 보편적 지원의 핵심 요소와 하위 요소는 무엇인가?

Ⅱ. 연구 방법

1. 평가도구 선정기준 및 절차

국내외에서 체계적 연구에 기초하여 개발된 SWPBIS 실행충실도 평가도구를 선정하고자 다음과 같은 기준을 고려하였다. 첫째, 각급 학교 환경에 적용 가능한 도구를 포함하고, 실행 환경의 이질성을 고려하여 영·유아교육 기관 대상이나 교정 및 기숙 시설 대상의 SWPBIS에 관한 실행충실도 도구는 제외하였다. 둘째, 보편적 지원을 학교 수준에서 실행하는 데 활용될 수 있는 실행충실도 평가도구를 선정하였고, 학급 차원의 평가도구는 제외하였다. 셋째, 행동지원과 관련된 평가도구에 한정하고, 학업성취, 정신건강 등을 지원하기 위해 SWPBIS를 확장한 다층예방적 지원체제에 관한 평가도구(예: Interconnected Systems Framework-Implementation Inventory)는 제외하였다. 또한, 행동지원에 관한 별도의 하위 영역을 포함하더라도 SWPBIS를 포괄적으로 반영하는 데 한계가 있는 경우(예: Academic and Behavior Response to Intervention School Assessment) 포함하지 않았다. 넷째, 측정학적 특징에 관한 실증적 연구가 최소한 1개 이상 있는 평가도구를 선정하였다.

학술논문 검색 엔진을 활용하여 국내외 연구에서 활용된 SWPBIS 실행충실도 평가도구를 조사하였다. 해외 문헌의 경우 ERIC과 Google Scholar를 통해 검색어 조합(1 ＝ PBS, PBIS, “positive behavior support”, “positive behavioral interventions and supports”; 2 ＝ fidelity, integrity)을 활용하였다. 논문검색 결과 총 24,696개(2022년 6월 기준 키워드별 논문 개수의 합산)의 실행연구 및 문헌 연구 등에 관한 논문이 확인되었고, peer-review journal에 출간된 논문에 한정하여 논문의 초록, 방법론, 참고문헌을 살펴보아 총 35개의 평가도구를 확인하였다. 첫 번째 기준과 관련하여 영유아 교육기관(5개), 가족지원(1개)이나 기숙 및 교정시설(2개)에 관한 평가도구가 제외되었고, 두 번째 기준에 따라 정신건강(1개), 다문화 환경(1개), 읽기(3개), 기타 학업적 요구(3개)를 지원하기 위한 실행충실도 평가도구가 제외되었다. 또한, SWPBIS 실행충실도 평가도구 중 학급 차원의 실행(1개), 표적집단 지원 또는 개별 지원(3개), 특정 구성 요소나 중재(5개)에 한정된 평가도구가 제외되었다. 마지막으로 평가도구의 측정학적 특징에 대한 실증적 정보가 부족한 평가도구(3개)가 제외되었다. 총 7개의 평가도구가 선정기준에 부합하였다.

국내 문헌의 경우 RISS와 중앙도서관 검색 엔진을 통해 검색어 조합(1 ＝ 충실도, 질적지표, 평가; 2 ＝긍정적 행동지원)으로 관련 논문을 검색하였다. 국내학술 논문(학위논문 제외)에 한정하여 총 626개의 논문이 확인되었고, 추가 검토를 거쳐 총 6개의 평가도구가 1차 판별되었다. 이 중 영유아 교육기관을 대상으로 한 경우(3개), 개별지원(1개), 해외 문헌 조사와 중복된 경우(1개)를 제외하고 국내에서 개발된 1개의 평가도구가 분석에 포함되었다. 국내외를 망라하여 최종적으로 총 8개의 평가도구가 분석되었다.

2. 분석 대상 보편적 지원 실행충실도 평가도구

1) Tier 1 Benchmarks of Quality (BoQ)

BoQ(Kincaid, Childs, & George, 2010)는 보편적 행동지원에 관한 학교팀 기반 실행충실도 평가도구로 10개 영역(예: PBIS 팀), 53개 문항으로 구성되어 있다. 본 연구는 BoQ의 모든 문항을 분석에 사용하였다. BoQ는 문항별로 다양한 척도(2∼4점 척도)로 채점된다. 최종 점수는 전체 및 영역별 총점에 대한 백분율 점수로 산출되고, 적절한 실행충실도 판단 기준은 70%이다. 선행연구(Cohen, Kincaid, & Childs, 2007)에서 BoQ는 양호한 수준의 내적 일치도(α ＝ .96), 재평가 신뢰도(r ＝ .94, p ≤ .01; 97% 일치), 평가자 간 신뢰도(r ＝ .87, p ≤ .01; 89% 일치), SET 점수와의 정적 상관관계를 확인하였다. 이후 Childs, Kincaid, & George(2011)는 탐색적 및 확인적 요인분석을 통해 7개 문항을 삭제하고, 학급 체계와 관련된 7개의 문항을 추가하였다. 최근 연구(Bastable, Massar, & McIntosh, 2020; Mathews et al., 2014)에서 높은 내적 일치도(전체 α ≥ .90)를 재확인하였다.

2) Implementation Phase Inventory (IPI)

IPI는 외부 평가자를 통해 SWPBIS 실행단계별 실행충실도를 평가하며, 실행 단계별 4개 영역(준비, 시작, 실행, 지속)과 44개 문항으로 구성된다(Bradshaw et al., 2009). 본 연구의 성격을 고려하여 표적집단 지원 및 개별 지원과 관련된 4개 문항(9, 21, 34, 44)은 분석에서 제외되었다. IPI는 3점 척도(0점 ＝ 미실행 ∼ 2점 ＝ 완전히 실행)로 채점된다. 최종 점수는 전체 및 단계별 백분율 점수로 산출되며, 학교는 단계별 80% 이상 점수 달성 후 다음 단계에 집중한다. Bradshaw와 동료들은(2009)는 IPI 초기 타당화 연구에서 높은 내적 일치도(α ＝ .94), 재평가 신뢰도(r ＝ .80, p ≤ .01), 평가자 간 신뢰도(r ＝ .61, p ≤ .01), 다른 유사 도구와의 유의한 수준의 정적 상관을 확인하였다.

3) PBIS Self-Assessment Survey (SAS 3.0)

SAS(Sugai, Horner, & Todd, 2009)는 전체 교직원 대상 설문 형태의 SWPBIS 실행충실도 평가도구이다. SAS는 4개 영역별 행동지원체계(예: 학급 관리체계)에 관한 총 46개의 질문을 포함한다. 본 연구를 위해 개별지원과 관련된 8개 문항을 분석에서 제외하고, 학교 차원의 관리체계(이하 SW; 18문항), 학급 관리체계(이하 CW; 11개 문항), 학급 외 장소에서의 관리체계(이하 NC; 9개 문항)에 관한 3개 영역이 분석에 포함되었다. 교직원은 각 문항별 현행 수준과 개선 필요성에 대해 3점 척도(0점 ＝ 낮음 ∼ 2점 ＝ 높음)로 응답한다. 영역 및 문항별 결과는 척도별 응답 수의 비율로(예: 학급 관리체계에서 ‘미실행’ 응답은 40%) 요약되지만, 학교 차원의 행동지원체계 영역(18문항)의 경우 현행 수준에 관한 백분율 점수를 활용하여 보편적 행동지원 실행충실도 점수를 산출한다(Sugai, Horner, & Todd, 2009). 보편적 지원 실행충실도 점수가 80% 이상인 경우 적절한 것으로 판단한다(Mercer, McIntosh, & Hoselton, 2017). 선행연구(Solomon, Tobin, & Schutte, 2015)는 내적 일치도(α ＝ .82 ∼ .88)를 확인하였고, 확인적 요인분석에서 4개 요소와 상위 단일요소로 구성된 측정모형이 양호한 수준의 모형 적합도를 보였다. 다른 연구(Rice et al., 2019)도 높은 수준의 내적 일치도(α ＝ .91 ∼ .96)를 확인하고, 위계적 2수준 측정모형이 적절한 모형 적합도를 보였다.

4) PBIS Team Implementation Checklist 3.1 (TIC)

TIC는 초기 단계에서 학교팀 주도의 실행과 점검을 지원하기 위해 개발된 보편적 지원 실행충실도 평가 도구이다(Sugai et al., 2014). TIC는 7개 영역(예: 팀 구성 및 관리) 22개 문항으로 구성되었다. 개별지원과 관련된 3개 문항(20∼22번)은 본 연구의 분석에서 제외되었다. TIC는 실행 요소별 진전도에 대한 3점 척도(0점 ＝ 아직 시작하지 않음 ∼ 2점 ＝ 성취됨)로 평가된다. 최종 점수는 백분율 점수로 계산되며, 총점이 80% 이상인 경우 적절한 것으로 판단된다(Tobin et al., 2012). Tobin 등(2012)은 TIC 3.0가 높은 수준의 내적 일치도(α ＝ .91)를 나타내고, BoQ와 유의한 수준으로 정적 상관(r ＝ .59, p < .01)을 보였음을 확인하였다. 또한, McIntosh 등(2016)은 TIC 2.0와 3.1이 혼합된 평가자료에서 높은 수준의 내적 일치도(TIC 2.0의 경우 ordinal α ＝ .94, TIC 3.1의 경우 ordinal α ＝ .93)를 재입증하였고, 확인적 요인분석을 통해 7개 요인과 상위 단일 요인으로 구성된 위계적 측정 모형의 모형 적합도가 적절한 것으로 확인하였다.

5) School-wide Evaluation Tool (SET)

SET는 연구용으로 개발된 SWPBIS 보편적 지원의 실행충실도 평가도구이다(Sugai et al., 2001). SET는 7개 영역(예: A. 기대행동 정의 ∼ G. 지역 교육청 지원), 28개 문항으로 구성되며, 모든 문항이 분석에 사용되었다. 외부 평가자가 3점 척도(0점 ＝ 미실행 ∼ 2 ＝ 실행)에 따라 채점한다. 최종 점수는 전체 및 영역별 백분율 점수로 계산되며, 총점 및 기대행동 교수 영역의 백분율 점수가 모두 80% 이상인 경우 적절한 실행으로 판단된다. 선행연구(Horner et al., 2004)는 내적 일치도(전체 α ＝ .96), 재검사 신뢰도(14∼20일 간격; 영역별 92.3∼100% ; 전체 97.3%), 평가자 간 일치도(전체 99%), 준거 타당도(SAS와 r = .75, p ≤ .01), 변화에 대한 민감도(연수 후 6개월 이상 경과: t = 7.63, df = 12, p ≤ .001)를 확인하였다. 다른 연구(Vincent, Spaulding, & Tobin, 2010)에서 SET는 안정적인 내적 일치도(학교 유형별 α ＝ .840 ∼ .899)와 TIC의 유사 영역별 점수와 유의한 정적 상관을 보였다.

6) Self-Assessment and Program Review (SAPR)

SAPR(Walker, Cheney, & Horner, 2012)은 학교팀 주도의 실행과 점검을 위해 개발된 SWPBIS 실행충실도 평가도구이다. SAPR은 다층예방적 행동지원체계를 반영한 10개 영역(예: 9. 중재 프로그램 개발에 대한 파트너로 가족 참여)에서 총 62개 문항(예: 9.1 가족이 팀 구성원으로 포함되고, 회의에 참석함)을 포함한다. 본 연구를 위해 표적집단 지원 및 개별 지원과 관련된 32개 문항(2.1∼2.6, 6.1∼6.6, 7.1∼7.5, 8.5, 8.6, 9.1∼9.5, 10.1∼10.8)은 분석에서 제외되었다. 각 문항은 5점 척도(1점 = 미실행 ∼ 5점 = 완전히 실행)로 채점된다. 전체 점수는 전체 또는 영역별 백분율 점수로 계산되며, 80% 이상인 경우 적절한 것으로 판단된다. Walker, Cheney, Stage(2009)는 초기 타당화 연구(10개 영역 61개 문항)에서 전문가(n ＝ 18) 설문을 통해 모든 문항이 SWPBIS의 핵심적인 증거기반실제를 평가하고 있음을 확인하고, 실제 평가자료를 기초로 양호한 수준의 전체 문항(α ＝ .96) 및 영역별(α ＝ .76 ∼ .95) 내적 합치도를 검증하였다. 또한, 적정성 기준점수인 80%를 기준으로 학교별 SET와 SAPR 하위 영역 점수를 비교하여 71%의 하위 영역 간 결과가 일치함을 제시하였다.

7) School-wide PBIS Tiered Fidelity Inventory (TFI)

TFI(김제린, 홍주희, 2022; Algozzine et al., 2019)는 학교팀 기반 SWPBIS 실행충실도 평가도구로 다층예방적 행동지원체계를 반영하여 3개 영역(예: 표적집단 지원), 10개 하위영역, 45문항으로 구성되어 있다. 본 연구를 위해 보편적 지원에 관한 15개 문항이 분석에 사용되었다. 각 문항은 3점 척도(0점 ＝ 미실행 ∼ 2점＝ 완전히 실행)에 따라 채점된다. 최종 점수는 전체 및 영역별 백분율 점수로 계산되며, 70% 이상인 경우 적절한 것으로 판단된다. McIntosh 등(2017)은 내용 타당도(전체 CVI ＝ .92), 사용도(예: 평가 절차가 쉽고 직관적이라는 데 100% 동의), 평가자 간 신뢰도(ICC ＝ .99), 평가-재평가 신뢰도(ICC ＝ .99), 내적 합치도(α ＝ .76 ∼ .95)와 타 유사평가도구(예: BoQ, SAS, TIC, BAT)와 유의한 수준의 정적 상관을 입증하였다.

8) 한국형 학교 차원 긍정적 행동지원 1차 실행충실도 척도(KIFC-T1)

KIFC-T1(남동미 등, 2020)은 국내 학교 실정을 고려하여 최근에 개발된 보편적 지원의 실행충실도 평가도구로 5개 요인(예: 보편적 지원 계획 및 실행), 35개 문항으로 구성되어 있다. 본 연구를 위해 모든 문항이 사용되었다. 개별 교사가 소속 학교의 보편적 지원과 관련된 경험을 바탕으로 3점 척도(1점 ＝ 미실행 ∼ 3 ＝ 실행)를 활용하여 채점한다. 남동미와 동료들(2020)는 KIFC-T1의 개발 및 타당화 연구에서 우수한 내적 합치도(전체 α ＝ .96) 및 타 유사평가도구(예: 긍정적 행동지원 평가도구; 김영아, 2018)와 유의한 수준의 정적 상관을 확인하였다.

3. 분석 절차

<그림 1>은 본 연구의 분석 절차를 제시하고 있다. 분석에 앞서 보편적 행동지원 실행충실도 평가도구의 매뉴얼(2022년 6월 기준 가장 최근에 공유된 개정판)과 관련 연구를 수집하였다. 각 도구별 문항 중 보편적 지원과 관련된 문항(총 258)을 선별하고, 각 문항의 본문, 채점기준 등을 국내 관련 연구(예: 김제린, 홍주희, 2022; 남동미 등, 2020; 정광범 등, 2019)를 참고하여 한국어로 번역하되, 문항 분석은 정확한 이해를 위해 번역문과 원문을 모두 참고하였다.

그림 1. 분석 절차 요약

Download Original Figure

본 연구는 크게 보편적 지원 실행충실도 평가도구의 도구적 특징과 내용적 측면을 조사하였다. 보편적 지원 실행충실도 평가도구의 도구적 특징에 관한 조사는 평가 매뉴얼이나 관련 연구를 참고하여 평가도구별 사용 목적, 평가 방법, 평가 척도, 실행 적절성 기준점수, 평가도구 구성, 접근성을 살펴보았다. 뒤이어 평가도구의 내용적 측면이 문항(본문, 채점기준 등)을 중심으로 <그림 1>에서 제시된 순서에 따라 검토되었다. 우선, SWPBIS의 기본 요소를 고려하여 사회적으로 가치 있는 성과를 얻기 위해 운영되는 실제, 체계, 자료를 중심으로 문항을 분류하였다(Sugai & Horner, 2020). 기본 요소별로 문항(특히 문항 본문 중심) 간 내용 유사성에 따라 문항을 재분류하고 공통적 특징을 부여하는 유목화를 통해 보편적 지원의 핵심 요소와 관련 문항을 판별하였다. 예를 들어 세 가지 기본 요소에 따라 TFI 문항을 분류하고(예: 실제 - 1.3, 1.4, 1.5, 1.6, 1.8, 1.9), 유사 문항의 공통 내용을 반영하여 핵심 요소를(예: 1.3, 1.4 - 기대행동 정의 및 교수) 제시하였다. 평가도구별 결과를 비교·검토하여 총 10개의 핵심 요소(예: 팀 구성과 운영, 자료 기반 의사결정)가 결정되었다. 특정 문항 내용이 복수의 핵심 요소에 중복된 경우(TFI의 1.5, 1.15, BoQ의 1, 8, 16, 21, 27, 33, 37, 38, 40, 51, IPI의 35, KIFC의 6, TIC의 1, 5, 18, SAPR의 4.4, 5.4, 8.2, SAS의 SW17, NC1, NC2, NC4, NC8, NC9, SET의 A1, F8) 해당 요소에 관련 문항을 모두 포함하되, 이후 분석에서 중재 요소의 성격을 고려하였다.

핵심 요소별 개별 문항은 Dane과 Schneider(1998)의 관점을 반영하여 다차원적 측면에서 분석되었다. 앞에서 논의된 5가지 측면 중 준수와 프로그램 차별성 측면은 본 연구의 성격을 고려하여 분석에 반영되지 않았다. 중재 요소의 실제 실행 수준에 관한 준수의 측면은 문항별 평정척도로 측정되고, 최종적으로 적절히 실행되고 있는 중재 요소의 비율(백분율)로 보고된다(van Dijk et al., 2020). 따라서 준수의 측면은 평가 내용이 아닌 측정 및 해석과 밀접하게 관련된다. 또한, 프로그램 차별성 측면은 실험집단에 제공된 중재와 통제집단이 노출된 환경의 차이를 측정하지만(Dane & Schneider, 1998), 동일 중재에 관한 복수의 실행충실도 평가도구를 분석하는 본 연구에 적용하기 어렵다. 이에 본 연구는 문항별 다차원적 분석을 위해 다음 세 가지 측면을 고려하였다.

첫째, 양적 측면은 각 문항에서 중재 요소의 시간, 빈도, 양 등을 측정한다. 특정 중재의 모든 요소가 양적 측면으로 평가될 수 없으나, 대부분의 중재는 일부 요소에 대해 최소한의 양적 기준을 제안한다(Gage et al., 2020). 본 연구는 보편적 지원의 핵심 요소를 적절히 실행하기 위해 각 평가도구에서 제안한 중재 요소의 양적 기준을 조사하되, 절대적 수치(예: 월 1회) 이외에도 양을 가늠하게 하는 모든 표현을(예: 대부분) 포함하였다. 둘째, 질적 측면은 중재 제공자가 중재 내용을 전달하는 방식이나 태도가 이론적 원리에 얼마나 부합하는지를 측정한다(Dusenbury et al., 2003). 이러한 관점을 확장하여 관련 연구(Cross et al., 2015; Waltz et al., 1993)는 중재 제공자가 갖추어야 할 자질과 역량을 실행충실도의 개념적 요소로 강조하였다. 다만, 질적 측면은 양적 측면에 비해 광범위하게 정의되는 경향이 있다(Gage et al., 2020). 명확한 분석을 위해 SWPBIS의 실행 참여자인 학교팀 구성원과 교직원에게 기대되는 참여 수준(예: 관리자가 모든 회의 참석), 역량(예: 학교 관리자에 대한 기대 역량), 참여 수준 또는 역량 강화를 위한 지원 전략(예: 교직원 연수, 교직원과 학생 자료 공유)에 초점을 맞추어 질적 기준을 살펴보았다. 셋째, 반응성 측면은 중재 대상자가 중재를 통해 전달된 내용을 이해하고 적용할 수 있으며, 실생활에서 실천하고 있는지 점검한다(Bellg et al., 2004; Gage et al., 2020). 각 문항에서 학생의 적극적 중재 참여(예: 팀 구성원으로 학생 대표 포함), 중재를 통해 전달된 내용에 관한 학생의 이해 수준(예: 기대행동을 말할 수 있음), 중재의 실행과정에 따른 학생 행동 개선 점검에 초점을 맞추어 조사하였다. 또한, 가족, 지역사회 관계자 등 학생 주변인의 참여를 위한 학교 지원이 강조되므로 학생 주변인을 중재 대상자로 보고 반응성 측면에서 관련 문항을 분석하였다.

문항별 다차원적 분석이 앞에서와 같이 실시된 후 핵심 요소별 문항을 각 문항의 본문, 채점기준 등 모든 세부 내용을 고려하여 내용 유사성에 따라 문항을 분류(문항 내용의 복잡성에 따라 중복 허용)하고 공통적 특징을 부여하여 2차 유목화를 실시하였다. 결과적으로 총 60개의 하위 요소(예: 정기적인 팀 운영)가 판별되었고, 하위 요소별 관련 문항이 확인되면서 다차원적 측정 내용도 하위 요소에 따라 정리되었다. 마지막으로 분석 결과의 적절성 여부를 확인하기 위해 관련 전문가의 검토가 이루어졌다. 검토 전문가는 특수교육 전공 박사학위를 가지고, 현재 A시 교육청 긍정적 행동지원 관련 업무를 담당하고 있다. 해당 전문가는 분석에 포함된 모든 문항(원문, 번역문 모두 포함)과 분석 절차에 관한 상세한 설명을 참고하여 분석의 적절성을 약 3주간 검토하였고, 다차원적 문항 분석 내용에 모두 동의하였다. 하지만, 문항 분류와 관련하여 복수의 핵심 요소에 중복되는 문항에 관한 재검토를 요청하였고, 추가 수정이 이루어졌다.

Ⅲ. 연구 결과

1. 평가도구의 특징

<표 1>은 보편적 지원 실행충실도 평가도구의 특징을 제시하고 있다. 사용 목적은 크게 연구 활용과 학교 활용으로 구분되며, 연구 활용을 위해 개발된 SET 또한 학교 단위의 실행충실도를 점검하고 평가하는 데 활용될 수 있다. 이외에도 SAS는 실행 수준과 개선의 필요성에 관한 교직원의 전반적인 인식을 이해하고자, IPI는 SWPBIS 실행단계 확인 및 단계별 실행계획 수립을 위해 활용된다. 연구 활용을 고려한 SET의 경우 객관적 위치에 있는 외부 평가자가 주도적으로 자료를 수집하고 점수를 결정하지만, 학교 활용을 고려한 대부분의 평가도구는 학교팀이나 교직원에 의해 점수가 결정된다. 하지만 자기평가의 한계를 고려하여 IPI의 경우 코치 등 기술적 지원을 제공하는 전문가에 의해 평가가 실시되며 BoQ와 TFI의 경우 팀이 코치와 함께 평가하도록 권장되고 있다.

표 1. 보편적 지원 실행충실도 평가도구의 특징

평가 도구	사용 목적	평가 방법	평정 척도	실행 적정성 기준	평가도구 구성 [평정척도 外]	접근성 [출처]
BoQ	- 학교팀의 실행 충실도 점검 및 평가	- 팀 주도 자기 보고형 평가 - 코치와 함께 평가 권장	- 문항별 2∼4점 척도(≧ 0) - 척도별 채점 기준 제시	70%	- BoQ 안내(목적, 대상, 시기, 평가, 채점, 활용, 타당도, 용어) - 채점표 - 실행계획서	- PBIS 사이트¹⁾ - 무료배포
IPI	- 학교팀의 실행 충실도 점검 및 평가 - 실행단계 확인 - 코칭 도구로 단계별 실행 안내	- 코치(전문가) 보고형 평가	- 3점 척도 (0∼2점) - 일부 문항에 추가 설명	실행 단계별 80%	- IPI 안내(목적, 평가, 채점, 해석) - 채점표	- 논문부록 (학술검색) - 무료배포
SAPR	- 학교팀의 실행 충실도 점검 및 평가	- 팀 주도 자기 보고형 평가 - 개별 평가 후 팀 회의	- 5점 척도 (1∼5점) - 모든 문항에 추가 설명	80%	- SAPR 안내(목적, 평가, 채점, 활용) - 채점표 - 실행계획 양식	- 서적 판매처²⁾에서 유료판매
SAS	- 현행수준 및 개선 요구에 관한 교직원 인식 조사	- 전체 교직원 참여 - 자기 보고형 평가	- 3점 척도 (0∼2점) - 현행수준 결과로 실행충실도 평가	학교 차원의 체계 (SW) 70%	- SAS 안내(목적, 평가, 채점, 활용) - 채점표	- PBIS 사이트¹⁾ - 무료배포
SET	- 연구 목적 학교 수준 실행충실도 평가	- 외부 평가자 보고형 평가	- 3점 척도 (0∼2점) - 척도별 채점 기준 제시	총점 및 B영역 점수³⁾ 80%	- SET 안내(목적, 평가, 채점, 활용) - 면담질문지 - 면담기록지	- PBIS 사이트¹⁾ - 무료배포
TIC	- 초기 단계 학교팀의 현재 실행 수준 확인 및 정기 점검	- 팀 주도 자기 보고형 평가	- 3점 척도 (0∼2점) - 일부 문항에 추가 설명	총점 80%	- TIC 안내(목적, 평가 방법) - 채점 결과표 - 실행계획 양식	- PBIS 사이트¹⁾ - 무료배포
TFI	- 학교팀의 실행충실도 점검 및 평가 - 다층예방적 행동 지원체계 도입과 실행지침 제공	- 팀 주도 자기 보고형 평가 - 코치와 함께 평가 권장	- 3점 척도 (0∼2점) - 척도별 채점 기준 제시	총점 70%	- TFI 안내(목적, 대상, 타당도, 평가, 채점, 활용, 용어) - 면담 기록지 - 실행계획 양식 - T2/T3 실행자료	- PBIS 사이트¹⁾ - 한국어판(T1)은 논문부록 (학술검색) - 무료배포
KIFC T1	- 학교 수준 실행충실도 점검 및 평가	- 교사 대상 자기 보고형 평가	- 3점 척도 (0∼2점)	미정	- KIFC T1(목적, 평가 방법)	- 논문부록 (학술검색) - 무료배포

¹⁾ https://www.pbis.org/, https://www.pbisapps.org/

²⁾ https://brookespublishing.com/

³⁾ SET B영역은 기대행동 교육에 관한 5개의 문항을 포함함.

Download Excel Table

모든 평가도구가 평정척도를 활용하는데, 대부분 3점 척도를 적용하고 있다. 하지만 SAPR은 5점 척도를 적용하며, BoQ는 문항별로 서로 다른 점수를 부여한다. 또한, 정확하고 일관성 있는 점수 부여를 위해 대부분의 평가도구는 척도별 채점 기준을 제시하거나(BoQ, SET, TFI), 문항에 따라 추가 설명을 제시한다(IPI, SAPR, TIC). 하지만, 교직원 대상 설문으로 평가가 이루어지는 SAS와 KIFC T1의 경우 상세 설명을 추가하는 대신 간결하고 명확하게 문항을 제시하고 있다. 또한, 대부분의 평가도구가 실행 적절성 판단을 위한 기준점수를 백분율 점수로 제시하고 있으나, 최근에 개발된 KIFC T1의 경우 아직 기준점수가 결정되지 않았다. 평가도구 구성을 살펴보면 다수의 평가도구가 평정척도 이외에도 목적, 대상, 시기, 평가·채점·활용 방법 등을 안내하고 유용한 양식(예: 실행계획서 양식)을 제공하고 있다. 마지막으로 접근성과 관련하여 SAPR을 제외한 모든 평가도구가 특정 사이트나 학술 논문을 통해 무료로 배포되고 있다.

2. 평가도구의 핵심 요소와 하위 요소

1) 핵심 요소 1: 기대행동 정의 및 교육(관련: 보편적 지원의 실제)

<부록 1>은 보편적 지원의 실제, 체계, 자료와 관련된 핵심 요소, 하위 요소, 관련 문항을 문항별 다차원적 분석 결과와 함께 제시한다. 첫 번째 핵심 요소인 기대행동 정의와 교육에 관한 하위 요소(1∼11)는 기대행동 정의와 관련된 5개 하위 요소(예: 긍정문으로 명확하게 정의된 기대행동 및 장소별 규칙)와 기대행동 교육과 관련된 6개 하위 요소(예: 기대행동 교육을 위한 공식 일정과 교육계획 수립)를 포함한다. 다차원적 문항 분석 결과를 살펴보면, 중재 요소의 양적 측면은 기대행동 및 장소별 규칙의 개수(예: 상황별 5개 이하), 기대행동의 적용 범위(예: 교내 모든 장소 적용), 시각적 자료 게시 장소(예: 교실 및 3개 이상의 공용장소), 기대행동 및 규칙 (재)교육의 시기(예: 연중 상시), 교육 장소(예: 교내 모든 장소), 교육 빈도(예: 연 1회 이상), 교수전략 개수(예: 3개 이상의 교수전략)를 측정한다. 질적 측면은 교직원 대상 정보 제공(예: 모든 교직원과 행동규칙 안내표 공유), 교직원의 기대행동 인식 수준(예: 교직원이 기대행동을 알고 있음), 교직원의 실행 관련 의사결정 참여(예: 기대행동에 관해 교직원 다수가 의견 제공), 교육 참여 수준(예: 교직원이 기대행동 교육에 참여)을 측정한다. 반응성 측면의 경우 학생 현행 수준을 고려한 교육(예: 학생 자료 검토를 통해 기대행동 재교육 결정), 학생의 선호 및 관심 반영(예: 학생 눈높이에 맞는 규칙), 학생의 실행 관련 의사결정 참여(예: 학생의 교육과정 및 수업지도안 개발 참여), 학생의 이해 수준(예: 학생이 기대행동을 알고 있음)이 측정되고 있다.

2) 핵심 요소 2: 기대행동 강화(관련: 보편적 지원의 실제)

<부록 1>에서 기대행동 강화와 관련된 하위 요소(12∼18)는 공식적 강화체계 확립, 학생 흥미를 고려한 강화체계 개발 등을 포함한다. 기대행동 강화는 양적 측면에서 강화체계 운영 기간(예: 1년 내내), 신입(전학)생 대상 강화체계 안내 기간(예: 연간 상시), 기대행동 연계 구어적 피드백 제공 빈도(예: 강화 제공 때마다 항상), 문제행동 교정에 대한 강화의 상대적 빈도(예: 4배 이상)를 측정한다. 질적 측면은 강화체계에 대한 교직원 참여 수준(예: 90% 이상 교직원이 강화 제공)을 강조하며, 반응성 측면은 학생 흥미를 반영한 프로그램(예: 강화물 판별에 학생 참여)과 학생의 강화 경험(예: 50% 이상 학생이 강화 받음)을 측정한다.

3) 핵심 요소 3: 문제행동 관리(관련: 보편적 지원의 실제)

<부록 1>에서 문제행동 관리의 하위 요소(19∼23)는 공식적 문서로 명확히 기술된 문제행동 정의와 관리절차, 문제행동 관리절차에 관한 학부모·학생·교직원의 정확한 이해, 공식적 위기관리계획 수립 및 교직원의 정확한 이해 등을 포함한다. 다차원적 분석 결과를 살펴보면 양적 측면(예: 문제행동 유형 범위, 위기관리계획의 적용 범위)에 비해 학교 구성원의 이해와 준수를 강조하는 질적 측면과 반응성 측면이 중점적으로 측정되고 있다. 질적 측면은 교직원의 문제행동 관리 정책(위기관리계획 포함)에 관한 인식과 일관성 있는 실행 수준, 문제행동 관리와 관련된 법규에 관한 학교 종사자의 인식 수준을 측정한다. 반응성 측면에서 학생과 학부모의 문제행동 관리정책에 관한 정확한 이해를 강조하며, 이와 관련된 지원 방안(예: 정보 공유, 모국어 설명)이 측정된다.

4) 핵심 요소 4: 교내 모든 장소로 연계된 행동 지원(관련: 보편적 지원의 실제)

<부록 1>에서 교내 모든 장소로 연계된 행동 지원에 관한 하위 요소(24∼27)는 학교 차원의 체계와 연계한 학급 차원의 보편적 지원 실행, 교실 환경의 재구조화 등을 포함한다. 해당 요소는 양적 측면에서 부적절한 행동에 대한 교정에 대한 강화의 상대적 빈도(예: 4배 이상)와 학생 행동 및 관리상황에 관한 자료 검토 빈도(예: 연 4회)를 측정하고, 반응성 측면에서 학업 성취율(예: 75% 이상)을 측정한다. 특히 대부분 문항이 질적 측면에서 학급 및 교직원의 실제 참여 수준(예: 75% 이상 학급에서 거의 모든 교사가 참여함)을 측정한다.

5) 핵심 요소 5: 팀 구성 및 운영(관련: 보편적 지원의 체계)

<부록 1>에서 보편적 지원의 체계와 관련된 4가지 핵심 요소(5∼8) 중 팀 구성 및 운영에 관한 하위 요소(28∼33)는 보편적 지원 실행을 위한 학교팀 조직, 팀 구성원으로 포함된 학교관리자 및 전문가 등을 포함한다. 해당 요소는 양적 측면에서 팀 회의 빈도(예: 월 1회 이상)를 측정하며, 반응성 측면에서 가족이나 학생 대표를 팀 구성원으로 포함하고 있는지 확인한다. 질적 측면은 팀 구성원(관리자, 코치 포함)이 갖추어야 할 자질(예: 전문지식과 실무경험을 갖춘 구성원), 성격(예: 대표성), 참여 수준(예: 80% 이상 회의 참석), 학교팀에 관한 교직원 인식, 팀 구성원 역할에 관한 팀 구성원 인식을 측정한다.

6) 핵심 요소 6: 교직원 전문성 강화 지원(관련: 보편적 지원의 체계)

<부록 1>에서 교직원 전문성 강화 지원에 관한 하위 요소(34∼41)는 공식적 연수 일정 및 계획, 보편적 지원의 구성요소에 관한 교직원 연수 등을 포함한다. 관련 문항을 살펴보면 교직원 지원에 초점을 맞추고 있어 반응성 측면을 측정하고 있지 않다. 양적 측면은 연수 대상 범위(예: 전체 교직원 대상), 연수 빈도(예: 연 1회 이상), 코치의 방문 및 지원 빈도(예: 월 2회 이상 방문)를 확인하며, 가장 많이 고려된 질적 측면은 연수 주제(예: 기대행동 및 규칙 교육), 교직원 대상 공식적 재교육 제공, 전입·복직 교사와 학교팀 구성원 대상 연수, 코치 역량(예: SWPBIS, 행동이론 등에 관한 지식), 실행 자료 및 도구 개발(예: 매뉴얼), 연수 프로그램에 관한 교직원 의견 수렴 및 교직원 이해도 점검을 측정한다.

7) 핵심 요소 7: 학교 구성원의 참여와 몰입 조성(관련: 보편적 지원의 체계)

<부록 1>에서 학교 구성원의 참여와 몰입 조성의 하위 요소(42∼47)는 학교 및 교육청 차원의 공식적·명시적 지지, 학교 관리자의 실행 의지와 참여, 교직원의 지지와 몰입 등을 포함한다. 다차원적 분석 결과를 살펴보면 해당 요소의 성격상 반응성 측면은 반영되지 않았다. 양적 측면은 학교 정책상 중요도(예: 3가지 우선순위 중 하나), 실행계획 수립 빈도(예: 연 1회 이상), 실행계획과 준비를 위한 사전 회의 빈도(예: 학기 전 2회 이상)를 측정한다. 질적 측면은 학교 관리자에게 기대되는 역할(예: 관리자 의지 전달), 교직원 참여 수준(예: 3년 이상 SWPBIS 전념), 교육청에게 기대되는 역할(예: 코칭 및 연수)을 측정한다.

8) 핵심 요소 8: 피드백 관리체계(관련: 보편적 지원의 체계)

<부록 1>에서 피드백 관리체계의 하위 요소(48∼51)는 교직원 뿐 아니라 학생 및 관련인(학부모, 지역사회)을 대상으로 하며, 의견 수렴을 통한 의사결정 참여 기회 제공과 함께 의사결정에 도움이 되는 자료나 정보 제공을 강조한다. 다차원적 측면을 살펴보면 모든 요소가 양적 측면을 평가하되, 교직원 대상인 경우 질적 측면을, 학생 및 관련인 대상인 경우 반응성 측면을 중점적으로 측정한다. 양적 측면은 교직원 또는 학생 관련자와의 자료 공유 빈도(예: 연 3회)와 교직원 또는 학생 관련인의 의견 제공 빈도(예: 연 1회 이상)를 측정하고, 질적 측면은 교직원과 공유될 자료 유형(예: 문제행동 보고자료), 자료 공유를 통한 교직원 인식 변화(예: 문제행동 발생 현황을 알게 됨), 주제별(예: 기대행동 및 규칙) 교직원 의견 제시 여부를 측정한다. 반응성 측면에서 학생 및 관련인 대상 공유가 필요한 정보(예: 보편적 지원 특징), 학생 및 관련인 의견 반영이 필요한 주제(예: 보편적 지원 기반체제)를 확인한다.

9) 핵심 요소 9: 문제행동 자료관리체계(관련: 보편적 지원의 자료)

<부록 1>은 보편적 지원의 자료와 관련하여 2개 핵심 요소(9∼10)를 제시하며, 그 중 문제행동 보고자료 수집과 분석을 위한 자료관리체계 구축에 관한 하위 요소(52∼54)는 문제행동 보고자료 수집 절차, 문제행동 보고자료의 분석과 시각화 등을 포함한다. 다차원적 측면을 살펴보면 양적 측면은 문제행동 보고자료 분석 및 공유 빈도(예: 월 1회 이상)를 확인하고, 질적 측면은 교직원에게 기대되는 보고서 작성 수준(예: 문제행동 보고서를 적절히 작성), 자동화된 데이터베이스에 대한 교사 접근성(예: 입력 자료 및 시각화된 결과에 즉각 접근)을 측정한다. 반응성 측면은 수집되는 문제행동 및 관련 정보(예: 날짜, 시각, 장소 등), 자료 분석을 통해 검토되는 정보(예: 문제행동 빈도를 장소 등으로 구조화하여 검토)를 확인한다.

10) 핵심 요소 10: 자료 기반 의사결정(관련: 보편적 지원의 자료)

<부록 1>에서 자료 기반 의사결정에 관한 하위 요소(55∼60)는 자료 분석 결과의 공유, 검토, 활용을 강조하며, 구체적으로 문제행동 이외 다양한 자료 수집 및 검토, 실행충실도 평가 및 활용, 팀 구성원(코치 포함) 대상 자료 분석 결과 공유 등을 포함한다. 다차원적 측면을 살펴보면, 양적 측면은 실행충실도 평가 실시 빈도(예: 연 1회 이상), 교직원과 공유 빈도(예: 월 1회 이상), 자료 검토 빈도(예: 월 1회 이상), 총괄평가 실시 빈도(예: 연 1회 이상), 상위 교육청 보고 빈도(예: 연 1회 이상)를 측정한다. 질적 측면으로 팀 구성원 대상 자료 분석 결과 제공 여부를 확인하며, 반응성 측면에서 검토 자료 유형(예: 문화적 배경 정보)과 학생 자료(행동, 학업 등)의 검토를 통한 실행 평가 및 개선을 측정한다.

Ⅳ. 논의 및 제언

본 연구는 국내외에서 개발된 보편적 지원 실행충실도 평가도구의 특징을 사용 목적, 평가 방법, 평정척도, 평가도구 구성, 접근성에 관해 조사하고, 문항 내용 분석을 통해 실행충실도 평가도구가 측정하고 있는 보편적 지원의 중재 요소를 다차원적 측면에서 살펴보았다. 우선, 본 연구에서 살펴본 모든 실행충실도 평가도구는(연구 목적으로 개발된 SET 포함) 학교 차원의 실행과정을 점검하고 개선하는 데 활용될 수 있도록 개발되었고, 평가도구에 따라 다양한 기능을 제공하고 있다. 대부분 학교팀 주도의 자기 보고형 평가도구로, 사용 목적에 따라 전체 교직원이 참여하거나 외부 전문가가 주도한다. 모든 평가도구가 평정척도를 활용하며, 대부분 3점 척도(0∼2점)로 채점된다. 채점 결과는 백분율 점수로 산출되며, 실행 적절성 여부를 판단하기 위해 기준점수(예: 80%)를 제시한다. 도구별 구성의 차이는 있으나 대부분 평정척도와 함께 평가도구에 관한 정보와 실행 자료를 제공하며, SAPR을 제외한 모든 평가도구가 특정 사이트나 학술논문을 통해 무료로 배포되고 있다. 문항 분석을 통해 10개 핵심 요소와 60개 하위 요소(실제: 27개, 체계: 24개, 자료: 9개)가 확인되었고, 다차원적 문항 분석 결과 전반적으로 세 가지 측면(중재 요소의 양적 측면, 중재 제공자의 질적 측면, 중재 대상의 반응성 측면)이 골고루 평가되고 있으나, 개별 문항은 관련 중재 요소의 성격 및 기능과 관련된 차원을 집중적으로 측정하고 있었다.

본 장에서는 연구 결과를 중심으로 다섯 가지 사항을 구체적으로 논의하고자 한다. 첫째, 보편적 행동지원 실행충실도 평가도구는 도구에 따라 서로 다른 평가대상 및 방법을 적용하여 다양한 기능을 제공하였다. 예를 들어 SAS는 SWPBIS의 중재 요소별 실행 수준과 개선의 필요성에 관한 교직원 인식을 교사보고형 평정척도로 평가하며 실행에 관한 교직원의 의견과 이해 수준을 파악하는 데 주로 활용된다. 특히, 학교 수준의 행동지원체계 영역의 현행 수준에 관한 교직원 응답을 기초로 보편적 지원 실행충실도 점수를 산출하며(Mercer et al., 2017), 교직원 인식에 기반한 해석을 통해 실행에 관한 유용한 정보를 제공한다. 또한 학교 활용을 위해 여러 형태로 개발된 SWPBIS 실행충실도 평가도구는 학교가 위치한 실행단계에 따라 다양하게 활용될 수 있다(Horner, Sugai, & Fixsen, 2017). 준비 단계의 학교는 새로운 행동지원체계 도입에 있어 어떤 요구를 가지고 얼마나 준비되어 있는지를 이해하고, 학교 상황에 적합한 체계적 준비와 실행을 계획할 수 있다. 도입과 실행 단계의 학교는 SWPBIS 핵심 요소별 실행 수준을 정기적으로 점검하고 다양한 이슈와 문제를 신속히 확인하여 대처할 수 있다. 학교가 실행을 지속하는 경우 SWPBIS 실행과 성과에 관한 종합평가를 매년 실시하고 실행계획을 개선하여 장기적으로 실행환경의 변화에 유연히 대응할 수 있다. 또한, 학교 단위의 적용을 넘어 관할 학교의 SWPBIS 도입과 실행을 지원하는 교육청 등 지역 단위의 상위기관이 학교 상황을 점검하고, 적절한 지원 방안을 강구하는 데 실행충실도 평가가 유용하게 활용될 수 있다(Algozzine et al., 2019, Kincaid et al., 2010; Sugai et al., 2001).

둘째, 일부 SWPBIS 실행충실도 평가도구는 사용자 친화적인 도구 개발과 실행 환경 개선을 통해 평가도구의 활용성과 접근성을 강화하였다. 예를 들어, 코치와 함께 학교팀이 대표적으로 활용하는 BoQ(Childs et al., 2011)와 TFI 매뉴얼(Algozzine et al., 2019)을 살펴보면 평정척도 이외에도 해당 평가도구의 목적, 대상, 시기, 타당도, 평가, 채점, 활용 등에 관한 자세한 설명을 제공하며, 당장 출력하여 활용할 수 있는 면담기록지, 채점표, 실행계획서 양식 등을 부록으로 제공하고 있다. 이러한 구성은 학교팀과 코치가 해당 평가도구의 실행절차, 채점방법, 해석방법 등을 정확하게 이해하고 적절히 활용할 수 있도록 도와준다(McIntosh et al., 2017). 특히, 미국연방정부의 재정 지원에 기반하여 개발된 실행충실도 평가도구(SET, SAS, BoQ, TFI, TIC 등)는 www.PBIS.org와 www.PBISApps.org에서 무료로 다운로드 될 수 있고, 해당 사이트를 통해 각 평가도구에 관한 연수와 자료가 제공되고 있다(Center on PBIS, 2020). 특히 오레곤 대학 Education and Community Supports에서 운영하는 PBISApps는 PBISAssessment를 통해 실행충실도 평가도구의 문항별 점수 입력과 결과 산출 등 실행충실도 평가 관리를 위한 웹 기반 플랫폼을 제공하고 있다(PBISApps, 2022). 이러한 사례는 사용자가 이해하기 쉽고 적절하게 활용할 수 있는 평가도구 개발도 중요하지만, 학교 관계자가 이러한 평가도구를 쉽게 찾을 수 있고, 누구나 이용할 수 있으며, 효율적으로 관리할 수 있는 체계적 실행 환경 구축이 각 평가도구의 학교 기반 활용성을 강화할 수 있음을 보여준다.

셋째, 보편적 행동지원 실행충실도 평가도구가 공통적으로 측정하고 있는 보편적 지원의 핵심 요소는 선행연구(Filter et al., 2022; Horner & Sugai, 2015; Reinke, Herman, & Stormont, 2013)를 충실히 반영하고 있다. SWPBIS는 응용행동분석의 이론적 토대를 기초로 학교 차원의 장면에서 학생과 교사 행동을 체계적으로 변화시키기 위한 환경적 변인을 조작하여 학교 전반의 환경을 재구성한다(Horner & Sugai, 2015). SWPBIS가 제공하는 환경적 특징은 다음과 같다. 우선 모든 학생들이 경험하는 보편적 행동지원의 실제는 학교 차원의 기대행동 정의와 교수, 바람직한 행동 강화, 문제행동에 대한 일관성 있는 대처와 후속 조치를 포함하며 각 중재 요소는 학교 차원에서 모든 학급과 교사에 의해 일관성 있게 실행된다(Reinke et al., 2013). 또한, SWPBIS는 교직원의 참여 및 행동 변화를 지원하기 위한 실행 체계의 확립을 강조하며, 학교 구성원을 대표하는 팀이 구성되어 보편적 행동지원 실행을 계획하고 주도한다. 학교팀과 학교 관리자는 팀 구성원과 교직원을 위한 다양한 연수 및 기술지원을 계획하고, 학교 구성원에게 실행에 관한 의견 제시의 기회를 제공하며, 정책을 통해 학교 차원의 지지와 실행을 공식화하고, 안정적인 행·재정적 지원을 확보하기 위해 노력한다(Boden et al., 2020; Horner, Sugai, & Fixsen, 2017). 학생과 교사의 행동 변화를 위한 학교 차원의 노력은 계획, 실행, 평가로 이어지는 순환적 의사결정을 통해 체계적으로 관리되는데, SWPBIS는 효과적 의사결정을 지원하기 위해 자료의 수집과 활용을 강조한다. 학교팀은 학생 행동과 실행에 관한 자료를 효율적이고 지속적으로 수집하며 정기적인 자료 검토를 통해 환경 변화 속 시행착오와 새로운 문제를 이해하고 최선의 해결방안을 결정한다(Horner & Sugai, 2015).

넷째, 보편적 행동지원의 핵심 요소와 하위 요소를 유목화하는 과정에서 서로 다른 요소에 중복되는 문항을 재검토하였고, 실행과정에서 고려되어야 할 요소 간 기능적 관련성을 확인할 수 있었다. 예를 들어 문제행동 보고서 자료 작성 및 제출과 관련된 다수의 문항이(BoQ 8, 51, IPI 26) 문제행동 관리와 자료관리체계에 모두 관련되었다. 구체적으로 살펴보면 문제행동에 관한 자료관리체계는 교내 문제행동 관리절차가 정의하고 있는 문제행동과 관련 후속조치를 반영해야 하고, 반대로 문제행동 관리절차를 규정할 때 문제행동 자료 수집 절차와 활용 방안을 고려하여야 한다. 또 다른 예로 교직원과의 정기적 자료 공유에 관한 문항(예: 하위 요소 48, 57)은 개념적으로 피드백 관리체계와 자료 기반 의사결정 모두에 포함될 수 있지만, 각 요소에서 강조되는 기능을 고려하여 학교팀이 교직원의 의견을 수렴하고 실행 참여의 기회를 제공하기 위한 전체 교직원과의 자료 공유는 피드백 관리체계에 포함하고, 학교팀의 효과적 의사결정을 도와주기 위한 팀 구성원과의 정기적 자료 공유는 자료 기반 의사결정에 반영하였다(Boden et al., 2020; Horner, Sugai, & Fixsen, 2017). 따라서 학교 내 자료 담당자는 학교 차원에서 수집되는 자료를 전체 교직원 및 학교팀 구성원 모두와 공유하는 것이 맞지만, 기능을 고려하여 자료의 내용과 범위를 결정해야 한다. 종합해보면 SWPBIS의 실제는 성과를 위해 체계 및 자료와 상호보완적 관련성을 가지고 기능한다(Horner & Sugai, 2015).

다섯째, 개별 문항은 중재 요소와 관련된 측면을 집중적으로 측정하고 있으나, 전체 문항을 살펴보면 측정에 유리한 양적 측면에 치우치지 않고 질적 측면과 반응성 측면이 골고루 측정되고 있다. 예를 들어 교직원 전문성 강화에 관한 문항들은 대체로 교직원 역량과 관련된 질적 측면을 집중적으로 측정하지만, 보편적 지원의 체계와 관련한 문항을 살펴보면 모든 측면이 반영되어 있다. 관련 연구는(Gage et al., 2020; Sanetti & Kratochwill, 2009) 역동적 실행 장면을 타당하게 측정하기 위해 실행충실도의 개념적 다차원성이 반드시 고려되어야 하지만 모든 차원에 대한 일률적·소모적 평가가 아닌 중재 요소와 관련된 측면을 평가해야 한다고 강조한다. 이러한 측면에서 보편적 지원 실행충실도에 관한 타당한 평가는 실행충실도의 개념적 다차원성과 중재의 이론적 토대를 면밀하게 고려하여야 한다.

지금까지 논의한 바와 같이 본 연구 결과는 향후 보편적 지원 실행충실도 평가도구 개발과 활용에 유용한 정보를 제공하고, 학교팀 대상 컨설팅 제공 시 참고 자료로 활용될 수 있다. 그럼에도 연구 결과를 참고하는 데 있어 다음과 같은 연구의 제한점을 고려해야 한다. 첫째, 본 연구는 반복적 자기 검토와 외부 전문가 검토로 분석의 질을 보완하고자 하였으나, 복수 연구자에 의한 분석 및 분석의 일치도 확인 등 엄격히 통제된 분석 결과의 신뢰도에 미치지 못한다. 이에 본 연구는 분석 절차를 상세히 설명하고, 근거 문항을 세부적으로 제시하고 있으므로 결과 해석에 있어 이러한 정보를 참고할 필요가 있다. 둘째, 본 연구에 포함된 보편적 지원 실행충실도 평가도구는 가장 최근에 배포된 개정판을 포함한 것으로 개정 이전의 평가도구나 향후 개정될 평가도구와 비교하여 세부 내용에 차이가 발생할 수 있다. 셋째, 분석에 포함된 8개 도구 중 대부분이 해외에서 개발된 것으로 세부 평가 내용이 국내 학교 환경에서 동일하게 적용되지 않을 가능성이 있다. 국내에서 개발된 KIFC는 다른 도구와 마찬가지로 보편적 지원의 핵심 요소를 측정하고 있으나, 보편적 지원 실행을 위한 국가별 기반 환경의 차이는 하위 요소와 관련된 측정 내용(예: 자동화된 자료관리체계)에 영향을 미칠 수 있다(김제린, 홍주희, 2022). 따라서 본 연구 결과의 활용을 고려하는 경우 현시점에서 문화적 이질성이 미칠 수 있는 영향을 고려해야 한다.

위에서 확인된 연구의 제한점에도 불구하고 본 연구 결과는 보편적 행동지원 실행충실도 평가도구에 관한 개발 및 현장 활용을 위한 시사점을 다음과 같이 제시한다. 첫째, SWPBIS 평가도구 개발이 고려될 수 있는 국내의 경우 보편적 행동지원 실행충실도 평가도구는 여러 목적(예: 연구, 정기적 점검, 종합적 평가)과 형태(평가자, 평가방법, 문항수 등)를 반영하여야 한다. 예를 들어 연구 활용과 같이 신뢰도 확보를 위한 엄격한 측정이 강조되는 경우 외부 전문가에 의한 직접평가(관찰)가 효과적이지만, 학교 활용을 고려할 경우 관찰에 소요되는 시간과 비용을 완화할 필요가 있다. 특히, 정기적 점검 도구로 자주 활용되는 평가도구의 경우(예: TIC) 자기보고식 평정척도(간접평가)를 활용하고 문항수가 상대적으로 적다(Gage et al., 2020). 이처럼 보편적 행동지원 실행충실도 평가도구가 평가 목적에 따라 여러 방법과 형태로 개발되어 있는 경우 사용자 입장에서 평가 목적(예: 종합적 총괄평가)과 맥락(예: 다층예방적 지원체계의 도입 과정에서 보편적 지원에 집중)을 고려하여 여러 도구(예: TFI T1, SAS)를 함께 활용할 수 있다(Gage et al., 2020; McIntosh et al., 2017). 학교 현장에서 활용 가능한 실행충실도 평가도구 개발이 요구되는 국내의 경우 다양한 기능을 고려하되, 명확한 목적과 설계의 배경을 제시하여 학교 관계자의 합리적 선택과 효과적 활용을 지원하는 것이 필요하다.

둘째, 보편적 행동지원 실행충실도 평가도구의 내용 체계 및 문항 개발은 이론적 근거와 선행연구에 근거하여 핵심 요소를 구체화하되, 실행충실도의 다차원적 측면을 고려하여야 한다. 보편적 지원의 실행충실도를 함축하는 구성개념을 이론적 토대에 기초하여 조작적으로 정의하고, 이를 기초로 문항의 내용 체계와 세부 내용을 개발한다(Carney, Smith, & Hughes, 2022; Wilson, 2009). 특히, 보편적 지원의 핵심 요소와 기능적 관계가 반영된 내용 체계는 추후 평가를 통해 실행계획 수립과 개선에 유용한 정보를 제공할 수 있다. 또한, 실행충실도는 이론적으로 연구상 독립 변인에 해당하는 중재의 고유한 특성을 확인하기 위해 측정되지만, 중재의 특징은 실행 장면의 역동성을 반영하여 중재 요소의 양적 측면과 중재 참여자의 심리와 행동을 통해 설명된다(Gage et al., 2020). 이러한 실행충실도의 개념적 다차원성은 실행지침으로 중재 요소에 관한 최소한의 양적 기준을 안내하고, 교직원의 참여 및 역량과 학생 반응 및 요구에 관한 정기적 평가를 통해 이해 당사자에 관한 학교팀의 인식을 강화할 수 있다. 따라서 보편적 행동지원 실행충실도 평가도구 개발에 있어 평가의 내용 체계는 중재의 이론적 배경을 중점적으로 고려하되(Rosa, & Ridings, 2017; Wilson, 2009), 세부 내용은 실행충실도의 개념적 다차원성을 고려하여 각 중재 요소의 실행이 관련된 차원에서 결정되어야 한다(Gage et al., 2020).

셋째, 실행계획 수립, 점검, 개선에 이르는 실행의 전반적 과정에서 보편적 지원의 실행충실도 평가를 목적에 맞게 적절히 실시하고 활용하기 위해 시기별 평가계획이 구체적으로 세워져야 한다. Center on PBIS(2020)는 평가계획은 평가 목적(예: 총괄 평가)과 결과의 활용방안을 명확히 결정하는 것에서 시작되며, 실행충실도 평가가 어떤 의사결정을 내리기 위한 것인지 구체적 질문(예: 보편적 지원의 핵심 요소를 얼마나 충실히 실행하였는가? 보편적 지원의 실행충실도는 표적 집단 지원을 도입하기에 충분히 적절한가? 어떤 요소가 적절히 실행되고 있으며, 어떤 요소가 개선될 필요가 있는가?)을 제시해야 한다고 조언한다. 이어 평가 질문에 적합한 평가도구를 선택하고, 누가, 언제, 어떻게 평가자료를 수집하고 평가 결과와 개선방안을 논의하며, 향후 문서화된 평가 결과를 누구에게 보고하고 어떻게 학교 구성원의 의견을 수렴할지에 관한 구체적 전략이 계획되어야 한다. 종합해보면 학교팀은 실행계획의 전반적 운영과정에 따라 시기별(예: 실행계획 수립 후 3∼4개월 경과)로 평가의 목적(예: 실행계획의 단기목표 진행 상황 점검 및 실행전략 개선)과 관련 의사결정을 반영하여 평가 일정과 방법을 결정하며, 평가 결과의 보고와 활용에 관한 계획도 수반하여야 한다(Algozzine et al., 2019).

마지막으로 학교 현장에서 SWPBIS 실행충실도 평가를 통해 실행을 점검하고 개선해가는 새로운 평가 관행이 자리잡을 수 있도록 학교 관리자 등 학교 관계자가 실행충실도 평가를 효과적 의사결정 과정으로 인식할 수 있게 교육청을 비롯한 관련 기관의 지속적 안내와 지원이 필요하다. Center on PBIS(2020)는 평가를 일방적 책임을 강제하기 위한 조치가 아니라 평가를 통해 학교의 강점과 약점을 확인하고 실행계획과 개선에 반영하는 순환적 과정으로 실행과 효과 측면에서 지속 가능한 발전을 위해 학교와 교사에게 필요한 과정임을 설득해야 한다고 조언한다. 특히, 교육청 등 상위기관에 대한 학교의 실행충실도 평가 보고가 정책 수립이나 학교 단위 기술지원체계(예: 컨설팅)와 연계되지 않고, 단순히 예산 지원에 관한 결과 보고로 운영된다면 부정적 학교 이미지, 차년도 예산 감액 등 향후 불이익에 대한 오해와 부담으로 학교 차원의 신뢰도 있는 실행충실도 평가를 기대하기 어렵다. 더욱이 국내의 경우 학술논문으로 실행충실도 평가도구가 공개되고 있어 연구자가 아닌 학교 관계자가 필요한 평가도구를 검색하여 사용하는 데 어려움이 있고, 대부분의 특수학교가 실행충실도 평가와 활용에 익숙하지 않으므로 평가관리에 관한 연수 등 추가적인 기술적 지원이 필요한 상황이다(김제린, 홍주희, 2022). 따라서 학교 관계자가 실행충실도 평가도구의 중요성을 인식하고, 각종 평가도구에 관한 정보를 효율적으로 습득하여 정확하게 사용할 수 있도록 교육청 차원의 지속적인 연수와 안내가 필요하다. 또한, 장기적으로 지속적 평가 관리를 저해할 수 있는 현실적 장벽(예: 학교팀 대상 기술지원체계, 정보공유사이트, 자료관리체계)을 해결하기 위해 연구자, 현장 전문가, 관련 공공기관 등은 적극적 소통과 공동의 노력을 지속하여야 한다.

참고문헌

김보경, 박지연 (2017). 학년 단위의 긍정적 행동지원을 통해 실시된 보편적 지원이 통합학급 초등학생의 사회적 능력, 수업참여행동 및 학교 분위기에 대한 인식에 미치는 영향. 정서·행동장애연구, 33(1), 85-105.

김수희, 김수연, 김혜랑, 김현령 (2022). 긍정적행동지원, 학급긍정훈육법, 회복적생활교육에 대한 초등교사의 인식 비교. 통합교육연구, 17(1), 81-109.

김영아 (2018). 유아 문제행동 지도를 위한 긍정적 행동지원 평가도구 개발. 미래유아교육학회지, 25(1), 159-182.

김제린, 홍주희 (2022). 한국판 SWPBIS Tiered Fidelity Inventory Tier 1 (TFI T1)의 내용 타당도 연구. 특수교육, 21(2), 5-32.

남동미, 장은진, 원성두, 조광순, 송원영 (2020). 한국형 학교차원 긍정적 행동지원 1 차 실행충실도 척도 (KIFC-T1) 의 개발과 타당화. 한국심리학회지: 학교, 17(3), 401-419.

박계신 (2020). 학교차원 긍정적 행동지원 적용을 통한 위기학생 예방 및 지원 방안 모색. 행동분석·지원연구, 7(1), 23-50.

박계신 (2022). 한국의 특수교육대상자 행동지원 정책 분석. 행동분석·지원연구, 9, 1-25.

배현민, 최지영 (2021). 교사의 심리적 소진 연구 국내 연구동향: 2013년∼2020년을 중심으로. 교육연구논총, 42(3), 181-207.

정광범, 이병인 (2019). 보편적 차원의 긍정적 행동지원에 관한 문헌연구: 질적 지표 (Benchmarks Of Quality) 중심으로. 정서·행동장애연구, 35(2), 285-310.

10.

Algozzine, B., Barrett, S., Eber, L., George, H., Horner, R. H., Lewis, T., Putnam, B., Swain-Bradway, J., McIntosh, K., & Sugai, G. (2019). School-wide PBIS Tiered Fidelity Inventory version 2.1. OSEP Technical Assistance Center on Positive Behavioral Interventions and Supports. www.PBIS.org

11.

Bastable, E., Massar, M. M., & McIntosh, K. (2020). A survey of team members’ perceptions of coaching activities related to Tier 1 SWPBIS implementation. Journal of Positive Behavior Interventions, 22(1), 51-61.

12.

Bellg, A. J., Borrelli, B., Resnick, B., Hecht, J., Minicucci, D. S., Ory, M., Ogedegbe, G., Orwig, D., Ernst, D., & Czajkowski, S. (2004). Enhancing treatment fidelity in health behavior change studies: Best practices and recommendations from the NIH Behavior Change Consortium. Health Psychology, 23(5), 443.

13.

Boden, L. J., Ennis, R. P., Allen, L., Williams, D., & Dana, L. (2020). Staff and youth buy-in ideas for initial and sustainable facility-wide positive behavior intervention and supports implementation within residential and juvenile facilities. Remedial and Special Education, 41(2), 88-98.

14.

Bradshaw, C. P., Debnam, K., Koth, C. W., & Leaf, P. (2009). Preliminary validation of the implementation phases inventory for assessing fidelity of schoolwide positive behavior supports. Journal of Positive Behavior Interventions, 11(3), 145-160.

15.

Carney, M. B., Smith, E., & Hughes, G. (2022). Construct maps and item frameworks: an example in proportional reasoning. Mathematics Education Research Journal,

16.

Center on Positive Behavioral Interventions and Supports. (2020). Positive Behavioral Interventions and Supports (PBIS) Evaluation Blueprint Version 2 [Blueprint]. University of Oregon. https://www.PBIS.org/resource/PBIS-evaluation-blueprint

17.

Childs, K. E., Kincaid, D., & George, H. P. (2011). The revised school-wide PBS Benchmarks of Quality (BoQ). OSEP Technical Assistance Center on Positive Behavioral Interventions and Supports.

18.

Cohen, R., Kincaid, D., & Childs, K. E. (2007). Measuring school-wide positive behavior support implementation: Development and validation of the benchmarks of quality. Journal of Positive Behavior Interventions, 9(4), 203-213.

19.

Cross, W., West, J., Wyman, P. A., Schmeelk-Cone, K., Xia, Y., Tu, X., Teisl, M., Brown, C. H., & Forgatch, M. (2015). Observational Measures of Implementer Fidelity for a School-based Preventive Intervention: Development, Reliability and Validity. Prevention Science : The Official Journal of the Society for Prevention Research, 16(1), 122-132.

20.

Dane, A. V., & Schneider, B. H. (1998). Program integrity in primary and early secondary prevention: Are implementation effects out of control? Clinical Psychology Review, 18(1), 23-45.

21.

Dusenbury, L., Brannigan, R., Falco, M., & Hansen, W. B. (2003). A review of research on fidelity of implementation: Implications for drug abuse prevention in school settings. Health Education Research, 18(2), 237-256.

22.

Filter, K. J., Johnson, L. D., Ford, A. L., Sowle, C. A., Bullard, S. J., Cook, C. R., ... & Dupuis, D. (2022). An Expert Consensus Process to Distill Tier 1 PBIS into Core Practice Elements Essential to Frontline Implementation. Education and Treatment of Children, 45(1), 51-67.

23.

Gage, N., MacSuga-Gage, A., & Detrich, R. (2020). Fidelity of Implementation in Educational Research and Practice. The Wing Institute. https://www.winginstitute.org/systemsprogram-fidelity

24.

Horner, R. H., & Sugai, G. (2015). School-wide PBIS: An Example of Applied Behavior Analysis Implemented at a Scale of Social Importance. Behavior Analysis in Practice, 8(1), 80-85.

25.

Horner, R. H., Sugai, G., & Fixsen, D. L. (2017). Implementing Effective Educational Practices at Scales of Social Importance. Clinical Child and Family Psychology Review, 20(1), 25-35.

26.

Horner, R. H., Todd, A. W., Lewis-Palmer, T., Irvin, L. K., Sugai, G., & Boland, J. B. (2004). The school-wide evaluation tool (SET) a research instrument for assessing school-wide positive behavior support. Journal of Positive Behavior Interventions, 6(1), 3-12.

27.

Kincaid, D., Childs, K., & George, H. (2010). Tier 1 Benchmarks of Quality (BoQ). Unpublished instrument, University of South Florida. https://www.livebinders.com/play/play?id=2127037

28.

Kittelman, A., Mercer, S. H., McIntosh, K., & Hoselton, R. (2022). Optimal timing for launching installation of tiers 2 and 3 systems of school-wide positive behavioral interventions and supports. Journal of Positive Behavior Interventions, 24(3), 171-182.

29.

Mathews, S., McIntosh, K., Frank, J. L., & May, S. L. (2014). Critical features predicting sustained implementation of school-wide positive behavioral interventions and supports. Journal of Positive Behavior Interventions, 16(3), 168-178.

30.

McIntosh, K., Massar, M. M., Algozzine, R. F., George, H. P., Horner, R. H., Lewis, T. J., & Swain-Bradway, J. (2017). Technical adequacy of the SWPBIS tiered fidelity inventory. Journal of Positive Behavior Interventions, 19(1), 3-13.

31.

McIntosh, K., Mercer, S. H., Nese, R. N., Strickland-Cohen, M. K., & Hoselton, R. (2016). Predictors of sustained implementation of school-wide positive behavioral interventions and supports. Journal of Positive Behavior Interventions, 18(4), 209-218.

32.

Mercer, S. H., McIntosh, K., & Hoselton, R. (2017). Comparability of fidelity measures for assessing tier 1 school-wide positive behavioral interventions and supports. Journal of Positive Behavior Interventions, 19(4), 195-204.

33.

Nelson, M. C., Cordray, D. S., Hulleman, C. S., Darrow, C. L., & Sommer, E. C. (2012). A procedure for assessing intervention fidelity in experiments testing educational and behavioral interventions. The Journal of Behavioral Health Services & Research, 39(4), 374-396.

34.

PBISApps. (2022). PBISAssessment User’s Manual. https://www.PBISapps.org/resource/PBIS-assessment-users-manual

35.

Reinke, W. M., Herman, K. C., & Stormont, M. (2013). Classroom-level positive behavior supports in schools implementing SW-PBIS: Identifying areas for enhancement. Journal of Positive Behavior Interventions, 15(1), 39-50.

36.

Rice, K. G., Srisarajivakul, E. N., Meyers, J., & Varjas, K. (2019). Multilevel confirmatory factor analysis of the Effective Behavior Support Self-Assessment Survey. School Psychology, 34(3), 318.

37.

Rosas, S. R., & Ridings, J. W. (2017). The use of concept mapping in measurement development and evaluation: application and future directions. Evaluation and program planning, 60, 265-276.

38.

Sanetti, L. M. H., & Kratochwill, T. R. (2009). Treatment integrity assessment in the schools: An evaluation of the Treatment Integrity Planning Protocol. School Psychology Quarterly, 24(1), 24.

39.

Solomon, B. G., Tobin, K. G., & Schutte, G. M. (2015). Examining the reliability and validity of the effective behavior support self-assessment survey. Education and Treatment of Children, 38(2), 175-191.

40.

Sugai, G., & Horner, R. H. (2020). Sustaining and Scaling Positive Behavioral Interventions and Supports: Implementation Drivers, Outcomes, and Considerations. Exceptional Children, 86(2), 120-136.

41.

Sugai, G., Horner, R. H., & Todd, A. W. (2009). PBIS Self-Assessment Survey (SAS, Version 3.0). Center on Positive Behavioral Interventions and Supports. https://www.PBISapps.org/resource/self-assessment-survey

42.

Sugai, G., Horner, R., Lewis-Palmer, T., & Rossetto Dickey, C. (2014). PBIS team implementation checklist (TIC 3.1). Educational and Community Supports. http://www.PBISapps.org

43.

Sugai, G., Lewis-Palmer, T., Todd, A., & Horner, R. H. (2001). School-wide evaluation tool. Eugene: University of Oregon.

44.

Tobin, T., Vincent, C., Horner, R., Dickey, C. R., & May, S. (2012). Fidelity measures to improve implementation of positive behavioural support. International Journal of Positive Behavioural Support, 2(2), 12-19.

45.

Van Camp, A. M., Wehby, J. H., Copeland, B. A., & Bruhn, A. L. (2021). Building from the bottom up: The importance of Tier 1 supports in the context of Tier 2 interventions. Journal of Positive Behavior Interventions, 23(1), 53-64.

46.

van Dijk, W., Lane, H., & Gage, N. A. (2020). The Relation Between Implementation Fidelity and Students’ Reading Outcomes: A Systematic Review of the Literature.

47.

Vincent, C., Spaulding, S., & Tobin, T. J. (2010). A reexamination of the psychometric properties of the school-wide evaluation tool (SET). Journal of Positive Behavior Interventions, 12(3), 161-179.

48.

Walker, B. A., Cheney, D., & Horner, R. H. (2012). The SAPR-PBIS manual: A team-based approach to implementing effective schoolwide positive behavior interventions and supports. Paul H. Brookes Publishing Company.

49.

Walker, B., Cheney, D., & Stage, S. (2009). The validity and reliability of the self-assessment and program review: Assessing school progress in schoolwide positive behavior support. Journal of Positive Behavior Interventions, 11(2), 94-109.

50.

Waltz, J., Addis, M. E., Koerner, K., & Jacobson, N. S. (1993). Testing the integrity of a psychotherapy protocol: Assessment of adherence and competence. Journal of Consulting and Clinical Psychology, 61(4), 620.

51.

Wilson, M. (2009). Measuring progressions: Assessment structures underlying a learning progression. Journal of Research in Science Teaching: The Official Journal of the National Association for Research in Science Teaching, 46(6), 716-730.

Appendices

부록 1. 보편적 지원 실제, 체계, 자료와 관련된 핵심 요소 및 하위 요소

핵심 요소 1. 기대행동 정의 및 교육(관련: 보편적 지원의 실제)
하위 요소	관련 문항	양적 측면	질적 측면	반응성 측면
1. 기대행동 및 규칙을 긍정문으로 명확하게 정의하기	BoQ 17, IPI 10, KIFC 24, SAPR 4.1, SAS SW1, SET A1, TFI 1.3, TIC 9	- 5개 이하(TFI 1.3, SET A1); 3-5개 기대행동(BoQ 17, IPI 10, SAS SW1, TIC 9) - 교내 모든 장소에 적용되는 기대행동(SAPR 4.1)
2. 기대행동을 상황 및 장소별 규칙으로 구체화하기	BoQ 19, 20, KIFC 25, SAS SW1, SAS NC1, SET A1, TFI 1.3, TIC 10	- 상황별 5개 이하의 규칙 (KIFC 25)	- 모든 교직원과 행동 규칙 안내표 공유(TIC 10)
3. 교직원 참여를 통해 모두에게 적용되는 기대행동 및 규칙 개발하기	BoQ 18, 21, SET A1, B2,	- 모든 학생과 교직원 대상 적용 (BoQ 18)	- 교직원 동의(SET A1) - 교직원 다수의 의견 제공(BoQ 21) - 기대행동이 학생과 교직원 모두에게 적용됨을 교직원에게 명시적으로 전달(BoQ 18)
4. 기대행동 및 규칙을 장소별로 게시하기	BoQ 17, 19, IPI 17, KIFC 26, 27, SAPR 4.3, SET A2, TFI 1.3, TIC 9	- 교실 및 3개 이상의 공용장소에 게시(BoQ 17) - 교실 외 장소 및 교실마다 1개 이상의 게시물 부착 (IPI 17) - 10개 중 8개 이상 장소에 게시(SET A2) - 교내 모든 공공장소에 게시 (TIC 9)		- 자료에 근거하여 문제행동이 빈번하게 발생하는 모든 장소에 게시 (BoQ 19) - 포스터에 대한 학생들의 긍정적 반응과 포스터 제작 참여 (SAPR 4.3) - 학생들의 눈높이에 맞는 규칙 (KIFC 26, 27)
5. 교직원이 기대행동 및 장소별 규칙을 정확히 알고 말할 수 있음.	BoQ 50, SET B5, TFI 1.3, TIC 20		- 교직원이 기대행동 및 규칙을 알고 있음(TIC 20) - 90% 이상의 교직원이 기대행동의 67% 이상을 말할 수 있음(TFI 1.3, SET B5, BoQ 50)
6. 기대행동 교수를 위한 문서화된 공식 일정과 교육계획 수립하기	TFI 1.4, BoQ 37, 38, 40, SET B1, TIC 12, IPI 14, 24, SAPR 4.4	- 1년 단위 교육 계획(SET B1) - 모든 학생 대상 (TIC 12) - 연중 상시적으로 신입/전학생 대상 (BoQ 40) - 학기가 시작하는 날/주간/월간에(SAPR 4.4)
7. 기대행동 및 장소별 규칙을 교실 및 교실 외 장소에서 직접적이고 반복적으로 가르치기	BoQ 20, 38, IPI 24, KIFC 28, SAPR 4.1, 4.4, SAS SW2, 14, SAS NC2, SET B2, TFI 1.4, TIC 12	- 교내 모든 장소에서 교육 (SAPR 4.4) - 연 1회 이상 공식적으로 재교육; 기대행동과 장소별 규칙을 주 1회 이상 학생들과 복습(BOQ 38) - 매년 여러 차례 실행(학기 초, 개학 직후 등; IPI 24)	- 전체(대부분, 90% 이상) 교직원이 실제 기대행동을 교육(TFI 1.4, TIC 12, IPI 24, KIFC 28, SAS SW2, SAS NC2, SAPR 4.1, SET B2) - 교사가 행동 규칙 안내 및 교수 시 일관성 있게 기대행동과 연계하여 지도(BoQ 20) - 교사가 반복적 교육 실시(BoQ 38, IPI 24, SAS SW14, SAPR 4.4)	- 학생 자료 검토를 통해 필요시 학생대상 재교육 추가실시(BoQ 38)
8. 행동 교수를 위한 교육과정 및 수업지도안 개발하기	BoQ 29, 33, TIC 11		- 교직원의 교육과정 및 수업지도안 개발 참여(BoQ 33, TIC 11)	- 학생의 교육과정 및 수업지도안 개발 참여(BoQ 33)
9. 수업지도안에서 (1) 다양한 교수전략 (2) 규칙의 좋은/나쁜 예 제시하기	BoQ 30, 31, SAPR 4.1	- 수업지도안에 3개 이상의 교수전략 (모델링, 역할놀이, 비디오 촬영 등) 포함(BoQ 31)	- 교사가 사회적 행동 교수 방법(시범, 역할극)을 알고 있음(SAPR 4.1)
10. 기대행동을 교과 수업(정규 교육과정)에 삽입하여 가르치기	BoQ 32, IPI 24	- 매일(주 5일) 교과수업에 기대행동 관련 내용 삽입(BoQ 32)	- 모든 교사가 행동교수를 일상 수업에서 지도함(BoQ 32, IPI 24)
11. 학생이 기대행동 및 규칙을 알고 있음	BoQ 50, SET B4, TFI 1.4, TIC 12			- 학생이 기대행동을 알고 있음(TIC12) - 70% 학생이 기대행동의 67%를 말함(TFI 1.4, SET B4); 거의 모든(≧90%) 학생이 기대행동과 규칙을 말함(BoQ 50).

핵심 요소 2. 기대행동 강화(관련: 보편적 지원의 실제)
하위 요소	관련 문항	양적 측면	질적 측면	반응성 측면
12. 문서화된 지침(유형, 빈도, 시기)을 통해 공식적 강화체계 확립하기	BoQ 22, 39, IPI 15, SET C1, TFI 1.9, TIC 13
13. 학생 흥미를 고려하여 다양한 강화전략 개발하기	BoQ 23, 25, 27, KIFC 29, 30	- 1년 내내 다양한 강화물 제공 (BoQ 25)	- 교내 모든 장소에서 교직원이 다양한 강화전략 실행(KIFC 29, 30)	- 학생 연령, 문화, 성별, 흥미 반영(BoQ25) - 강화물 개발에 학생 참여(BoQ27)
14. 공식적 계획에 따라 학생 대상 강화체계 안내하기	BoQ 37, 40	- 연중 상시 신입(전학)생 대상 강화체계 안내(BoQ 40)
15. 교내 모든 장소에서 교직원이 학교 차원의 강화체계를 일관성 있게 실행하기	TFI 1.9, BoQ 22, 52, SET C3, TIC 13, IPI 25, SAS SW 3, SAS NC4, SAPR 4.4		- 거의 모든(90% 이상) 교직원이 강화체계를 실행(BoQ 22, 52, SET C3, TFI 1.9, TIC 13) - 교직원이 일관성 있게 교실 및 교실외 장소에서 실행(IPI 25, SAS SW3, SAS NC4 SAPR 4.4)
16. 기대행동 및 규칙과 연계한 구어적 피드백과 함께 강화전략 실행하기	BoQ 24	- 강화 제공 때 항상 기대행동과 연계된 구어적 피드백 제공(BoQ 24)	- 실제 교사가 기대행동과 연계하여 구어적 피드백 제공함(BoQ 24)
17. 부적절한 행동에 대한 교정보다 적절한 행동에 대한 강화를 더 자주 제공하기	BoQ 26, TIC 13	- 부적절한 행동에 대한 교정에 비해 적절한 행동에 대한 교사 강화 빈도가 4배 이상 높음(BoQ 26; TIC 13)	- 실제 교사가 교정적 피드백에 비해 긍정적 피드백을 자주 제공함 (BoQ 26, TIC 13)
18. 대부분의 학생이 교직원으로부터 강화를 제공받음	TFI 1.9, SET C2, TIC 13			- 질문을 받은 학생의 50% 이상이 (지난 2개월 간) 강화를 제공받음 (SET C2, TFI 1.9) - 학생이 강화체계를 알고, 실제 긍정적 강화를 제공받음(TIC 13)

핵심 요소 3. 문제행동 관리(관련: 보편적 지원의 실제)
하위 요소	관련 문항	양적 측면	질적 측면	반응성 측면
19. 공식적 문서에 서술 또는 시각적 형태로 명확하게¹⁾ 기술된 문제행동 정의와 관리절차	BoQ 7, 10, 11, KIFC 13, SAPR 5.1, 5.2, SAS SW4, SW5, SW6 TFI 1.5, TIC 14	- 모든 유형의 문제행동이 기술됨 (BoQ 10)
20. 학부모, 학생, 교직원이 문제행동 관리절차를 정확히 알고 있음.	BoQ 11, 12, 51, IPI 22, SAPR 5.1, 5.2, SET D2, TFI 1.5		- 대부분(90% 이상)의 교직원이 어떤 문제가 교실에서 관리되고, 어떤 문제가 학교 차원에서 관리되는지 알고 있음(BoQ 11, 51, IPI 22, SAPR 5.2, SET D2) - 심각한 문제행동 대응 절차를 관리자와 관련 교직원이 알고 있음(BoQ 12, SAPR 5.1)	- 문제행동 관리 절차에 관해 가족들과 공유(TFI 1.5) - 핸드북에서 문제행동 관리절차에 관해 다문화 학생/가족의 모국어로 설명(SAPR 5.2) - 학교 차원에서 관리되는 심각한 문제행동 대응 절차를 학생 및 가족이 알고 있음(SAPR 5.1, 5.2)
21. 공식적 문서로 위기관리계획을 수립하고 교직원이 정확하게 이해하기	SAS SW8, SAPR 5.5, SET D3, D4	- 교내 7개 중 6개 장소에 적용 될 수 있는 위기관리계획(SET D3)	- 교직원의 90%가 위기상황에 관한 대응절차를 적절히 말함(SET D4) - 위기관리계획을 실행(SAS SW8)
22. 처벌 중심이 아닌 예방적, 교육적, 회복적 접근²⁾을 강조	BoQ 8, 12, SAPR 4.5, 5.3 5.4, 5.5, SAS SW7, SET D1, TFI 1.6, TIC 14		- 문제행동 관리에 참여한 모든 사람이 관련 법․규정을 이해(SAPR 5.3)
23. 문제행동 관리절차³⁾를 일관성 있게 실행하기	BoQ 12, 51, IPI 26, 30, KIFC 14, SAPR 5.1, 5.2, TFI 1.6		- 교내 문제행동 관리정책을 일관성 있는 실행(BoQ 51, IPI 30, KIFC 14, SAPR 5.2, TFI 1.6) - 심각한 문제행동 대응 절차를 관리자와 관련 교직원이 일관성 있게 실(BoQ 12, SAPR 5.1) - 대부분(90% 이상) 문제행동 보고서 양식을 적절히 작성(BoQ 51, IPI 26)

핵심 요소 4. 교내 모든 장소로 연계된 행동지원(관련: 보편적 지원의 실제)
하위 요소	관련 문항	양적 측면	질적 측면	반응성 측면
24. 학급에서 보편적 지원의 구성요소⁴⁾를 학교 차원의 체계와 일관성 있게 형식을 갖추어 실행하기	BoQ 42-48, SAS CS 1-7, TFI 1.8, TIC 15	- 긍정적 피드백을 부정적 피드백보다 더 많이(4배 이상) 제공 (BOQ 46, SAS CS4)	- 대부분(75% 이상; BoQ 42-48)의 학급에서 거의 모든 교사가 참여(모든 관련 문항)⁵⁾
25. 교실(수업․생활) 환경의 재구조화⁶⁾	KIFC 19-21, 23, SAS CS 11		- 위와 동일(모든 관련 문항)
26. 교수학습활동개선⁷⁾을 위한 노력	SAS CS 8-9 KIFC 17, 18, 22		- 위와 동일(모든 관련 문항)	75% 이상의 학업 성취율(SAS CS9)
27. 교실외 장소에서 보편적 지원의 구성요소 및 예방적 전략⁸⁾을 일관성 있게 실행하기	SAS NC1-6, 8, 9	연 4회 자료 기반 학생행동 및 관리상황 점검(SAS NC8)	- 위와 동일(모든 관련 문항) - 모든 교직원이 직/간접적으로 교실외 행동 관리에 참여(SAS NC9)

핵심 요소 5. 팀 구성 및 운영(관련: 보편적 지원의 체계)
하위 요소	관련 문항	양적 측면	질적 측면	반응성 측면
28. 보편적 지원 실행을 위한 학교팀 조직	IPI 4, KIFC 1, SAPR 1.4, 1.5, SAS SW 9, SET F2, F3, TFI 1.1, TIC 3		- 전문지식과 실무경험⁹⁾을 갖춘 구성원(TFI 1.1) - 모든 교직원을 대표하는 구성원¹⁰⁾ (IPI 4, TIC 3, SAPR 1.5, SET F3, TFI 1.1) - 각 구성원의 회의 참석률이 80% 이상임(TFI 1.1) - 90% 이상의 교직원이 팀 존재를 알고 있음(SET F2)	- 팀 구성원으로 학부모(가족 구성원) 포함(SAPR 1.5, TFI 1.1, TIC 3) - 팀 구성원으로 학생 대표 포함 (TFI 1.1)
29. 팀 구성원으로써 학교관리자 포함	BoQ 1, KIFC 10, SAS SW10, SET F5, TFI 1.1, TIC 1		- 관리자는 모든 팀 회의(BoQ 1, SET F5) 또는 80% 이상 회의 참석 (TIC 1, TFI 1.1) - 관리자가 팀 결정 지지(BoQ 1) 및 팀 활동에 적극 참여(SET F5, SAS SW10, KIFC 10)
30. 팀 구성원으로써 코치 (내/외부 전문가) 포함	IPI 12, TFI 1.1		- 코치가 회의 월 1회 이상 회의 참여(IPI 12)
31. 팀 회의의 정기적 운영	BoQ 2, IPI 4, 11, KIFC 3, TFI 1.2, SET F6, SAPR 1.4	- 월 1회 이상 회의(IPI 11, KIFC 3, SET F6, SAPR 1.4, TFI 1.2) - 매월(연 9회/1시간 이상; BoQ 2)
32. 공식적 문서에 명확히 기술된 팀 목표, 미션, 운영 절차¹¹⁾	BoQ 3, KIFC 2, TFI 1.2, TIC 3, 4, SET F4, F8		- 90% 이상의 팀 구성원이 팀 리더가 누구인지 말함(SET F4)
33. 교내 다른 운영팀(타 정책 관련 팀 회의)과의 효율적 통합 및 연계 운영	KIFC 4, TIC 5

핵심 요소 6. 전문성 강화 지원(관련: 보편적 지원의 체계)
하위 요소	관련 문항	양적 측면	질적 측면
34. 문서화된 연수 운영 계획 및 일정	BoQ 35, 36, KIFC 7, TFI 1.7
35. 보편적 지원의 구성 요소에 관한 교직원 대상 연수	BoQ 35, 36, IPI 36, KIFC 7, SAPR 3.1 - 3.5, 5.4, 5.6, SAS CS10, NC7, SET B3, TFI 1.7, 1.5, TIC 16	- 전체 교직원 대상 (TFI 1.7, BoQ 35) - 매년 실시(SET B3)	- 연수 및 기술지원이 필요한 주제 ① 기대행동 및 규칙 교육(TFI 1.7, SET B3, BoQ 36) ① 적절한 행동 강화(TFI 1.7, BoQ 36) ① 문제행동 관리체계 및 자료관리체계(TFI 1.5, 1.7; BoQ 35; IPI 43) ① 학생들의 사회․정서적 문제 해결 지원(예: 진정 및 구어적 표현; SAPR 5.4) ① 위기관리에 참여하는 교직원 대상 위기 상황에 대한 안전 교육(SAPR 5.6) ① 문제해결을 위한 교사의 지원(예: 솔루션 회의, 코칭 등) 신청 절차(TFI 1.7) ① 교실외 장소에서의 적극적 관리 기술(SAS NC7) ① 학급 차원의 지원 관련 기술적 지원(관찰, 코칭 등)(SAS CS10; TIC 16) ① 기타: 사회정서발달 프로그램, 행동수정, 교수적 수정․보완, 사회적 발달 방해/기여 요인, 행동장애(SAPR 3.1 - 3.5)
36. 교직원 대상 재교육 계획	BoQ 38, IPI 35	- 연 1회 이상 실시(BoQ 38)	- 계획에 따라 교직원 대상 재교육(BoQ 38) - 자료(행동, 실행충실도 자료 등) 검토 결과 추가(BoQ 38, IPI 35)
37. 신규․대체․전입․복직 교사 대상 SWPBIS 안내 및 연수	BoQ 40, IPI 20, 43	- 연간 상시적으로(일년 내내)	- 전입․복직 교사에게 SWPBIS 안내 및 관련 연수 제공(BoQ 40, IPI 20) - 신규/대체 교사 및 교육 실습생 대상 공식화된 연수계획(IPI 43)
38. 학교팀 대상 연수계획 수립 및 기술적 지원 제공	IPI 5, 42, SAS SW17		- 학교팀 구성원이 학년말 방학 연수에 참여하고 실행계획 수립(IPI 5) - 온라인 연수자료 및 연방/주별 웹사이트 활용과 차년도 학교팀의 연수/회의 참석(IPI 42) - 교육청 차원의 학교팀 지원(SAS SW17)
39. 전담 코치의 기술적 지원 및 학교팀과의 협력¹²⁾	IPI 6, 7, 13, 18	- 월 2회 이상 학교 방문 및 월 1회 이상 기술적 지원 제공 (IPI 13)	- 코치 대상 연수 기회 제공 (IPI 7) - 코치는 SWPBIS, 행동이론, 자료 기반 의사결정에 관한 지식을 가지고, 집단역학, 소통 및 촉진, 대중 연설에 능숙함(IPI 7)
40. SWPBIS 실행 자료 및 도구 개발	IPI 38, KIFC 6, 32		- 교직원 등을 위한 보편적 지원 실행 자료 및 도구(예: 매뉴얼)를 문서화된 형태로 개발(IPI 38, KIFC 6, 32)
41. 연수 효과 및 만족도 평가	BoQ 35, 36, SAPR 3.6		- 연수 종료 후 교직원이 효과성과 적용 가능성에 관한 피드백 제공(SAPR 3.6) - 연수 과정에서 교직원 이해도 점검(BoQ 35, 36)

핵심 요소 7. 학교 구성원의 참여와 몰입 조성(관련: 보편적 지원의 체계)
하위 요소	관련 문항	양적 측면	질적 측면
42. 공식적 문서를 통해 학교․교육청 차원의 명시적 지지	SAPR 1.1, SET F1, TIC 1	- 학교 운영개선안의 3가지 우선 과제로 행동지원 개선방안 포함(SET F1, TIC1)
43. 학교관리자 실행 의지와 참여¹³⁾	BoQ 1, IPI 2, 29, KIFC 9, TIC 1, 5		- 행정적 지원(예산 할당, 교내 타 정책과의 연계 운영 등; IPI 2, 29, KIFC 9, TIC 5) - 보편적 지원 실행에 대한 관리자의 의지를 전달함(BoQ 1) - 상위 3대 목표 중 하나로 사회적 행동을 명시 (TIC 1) - 실행 과정에 적극적 참여 및 관리(BoQ 1, IPI 2) - 연수 참여(IPI 2, TIC 1, BoQ 1,)
44. 전체 교직원의 지지와 몰입	BoQ 28, IPI 3, 40, KIFC 5, SAS SW16, SAS NC9, TIC 2		- 80% 이상 교직원이 문제행동 관리와 환경 개선을 우선 정책목표로 채택(IPI 3, TIC 2) - 관리자와 교직원이 3년 이상 SWPBIS 실행에 전념(TIC 2) - 교직원이 팀의 SWPBIS 자료수집에 적극 참여(KIFC 5) - 모든 교직원이 학교 차원의 중재(교실외 장소 관리 포함)에 직/간접적으로 참여(SAS SW16, SAS NC9) - 교직원 출석 및 참여가 높고, 교직원 설문이 빠르게 작성됨(IPI 40) - 교직원 의욕 향상과 유지를 위한 전략 수립(IPI 40, BoQ 28)
45. 명확한 실행 목표 설정 및 체계적 실행계획 수립	IPI 8, KIFC 8, SAPR 1.6, SET F8	- 1년 미만 단위의 단기 목표 포함(SET F8) - 학기 前 2회 이상 회의(IPI 8) - 연 1회 이상 연간․단기 목표 및 실행계획 수립과 공유(SAPR 1.6)
46. 충분한 자원 및 예산 확보 및 지원을 위한 학교 차원의 노력	IPI 39, KIFC 12, SAPR 1.3, SAS SW15
47. 교육청 등 상위기관의 안정적인 재정적․행정적(부서/인력)․기술적 지원	IPI 1, KIFC 11, SAS SW17, SET G1, G2		- 학교관리자가 교육청 등 상위기관의 관련 직원을 알고 있음(SET G2) - 교육청 고용 전문인력을 통한 학교팀 연수 및 기술 지원(SAS SW17, IPI 1) - 코칭 및 연수, 회의 및 계획 수립을 위한 시간 배정(IPI 1)

핵심 요소 8. 피드백 관리체계(관련: 보편적 지원의 체계)
하위 요소	관련 문항	양적 측면	질적 측면	반응성 측면
48. (학교팀의) 학교 자료(data)를 교직원과 정기적 공유	BoQ 4, 16, IPI 31, SAPR 8.2, SET E3, F7, TFI 1.10, 1.15, TIC 18	- 연 3회 문제행동 자료 공유(SET E3) - 연 4회 이상 진행 상황(SET F7), 학교 자료(TFI 1.10), 문제 행동 자료(TIC 18) 공유 - 매월/연 8회 이상 문제행동 자료 공유 (BoQ 4) - 월 1회 이상 학교 자료 공유(BoQ 16, SAPR 8.2) - 연 1회 이상 연례평가 결과 공유(TFI 1.15)	- 아래 자료를 정기적으로 공유 ① 학교 차원에서 수집되는 자료(TFI 1.10, BoQ 16, SAPR 8.2) ② 문제행동 보고자료(BoQ 4, IPI 31, TIC 18, SET E3) ③ 진행 상황 보고(SET F7) ④ 총괄평가 결과(TFI 1.15) - 정기적 자료 공유를 통해 교직원이 교내 문제행동 발생현황을 알고 있음(BoQ 4)
49. 보편적 지원 계획 및 실행에 관한 교직원 의견 제공 및 참여	BoQ 5, 6, 21, 33, 49, SET A1, TFI 1.10	- 연 1회 이상(TFI 1.10, BoQ 5, 49) - 일년 내내(BoQ 6)	- 아래 주제에 관한 의견 제시 및 참여(설문, 투표, 브레인스토밍 등) ① 보편적 지원의 기반체제(TFI 1.10) ② 기대행동 및 규칙(BoQ 21; SET A1) ③ 실행계획 수립 및 개선(BoQ 49) ④ 장기목표 수립(BoQ 5) ⑤ 수업지도안 개발(BoQ 33) - 모든 실행 단계마다 피드백 제공, 제안 및 선택의 기회 제공(BoQ 6)
50. 학생, 가족(학부모) 및 지역사회 구성원 대상 보편적 지원 관련 정보 공유 계획 수립 및 정기적 실행	BoQ 34, 41, IPI 23, KIFC 6, SAS SW13, SAPR 1.2, 4.2, 4.7, TFI 1.15	- 연 1회 이상 연례평가 결과를 학부모, 지역사회, 지역교육청 등과 공유(TFI 1.15)		- 아래 정보를 다양한 방법(뉴스레터, 웹포스팅, 학부모회의, 학부모 면담, 학교개방, 안내책자)으로 정기적 공유 ① 기대행동 정의(SAS SW13) 및 교수전략(SAPR 4.2) ② 보편적 지원 특징(BoQ 34, KIFC 6) ③ 예방적 학생지원 프로그램(실제, 기대효과, 신청 방법; SAPR 1.2) ④ 보편적 지원의 진행 및 평가결과(BoQ 41, SAPR 4.7, TFI 1.15)
51. 보편적 지원 계획 및 실행에 관한 학생 및 가족, 지역사회 구성원의 의견 제공 및 참여	BoQ 27, 33, 49, IPI 41, KIFC 31, TFI 1.11	- 연 1회 이상 의견 제공(TFI 1.11)		- 보편적 지원의 기반 체제에 관한 학생, 가족, 지역사회 구성원의 피드백 (TFI 1.11) - 학생의 강화물 개발 참여(BoQ 27) - 기대행동 및 장소별 규칙에 관한 수업지도안 개발 및 전달에 학생 참여 (BoQ 33) - SWPBIS 실행에 관한 학부모 피드백 제공(KIFC 31, BoQ 49) 및 직접 참여(IPI 41)

핵심 요소 9. 문제행동 자료관리체계(관련: 보편적 지원의 자료)
하위 요소	관련 문항	양적 측면	질적 측면	반응성 측면
52. 문제행동 발생 및 대처에 관한 보고서 자료 수집 절차(보고서 양식, 보고서 작성과 제출, 자료 입력, 서류보관) 마련	BoQ 8, 9, 51, IPI 16, 26, 27, KIFC 15, SAPR 8.1, SAS SW11, SET E1, E2, TIC 17, 18	- 주 1회 이상 자료 입력(TIC 18)	- 대부분의(90% 이상) 교직원이 문제행동 보고서 양식을 적절히 작성함(BoQ 51, IPI 26)	- 문제행동 자료수집(BoQ 8, IPI 16, KIFC 15, SAPR 8.1, SAS SW11, SET E2, TIC 18) - 문제행동 보고서 양식에 유용한 정보(이름/학년/성별, 날짜, 시각, 작성 교사, 장소, 문제행동, 예측되는 동기, 참여자, 학교 차원의 결정)를 포함(BoQ 9, SET E1, TIC 18)
53. 문제행동 보고자료의 정기적 분석 및 시각화(그래프)	BoQ 13, 15, IPI 31, KIFC 16, SET E2, SAPR 8.1, SAS SW11, TFI 1.12, TIC 17, 18	- 월 1회 이상 자료분석(BoQ 15)		- 문제행동 평균 발생빈도(예: 1일/1인당)를 행동유형, 장소, 시간(연도, 월, 요일, 교시), 동기, 학생에 따라 검토(BoQ 13, TFI 1.12, TIC 18)
54. 문제행동 자료 입력, 분석, 요약을 위한 자동화된 데이터베이스	BoQ 13, IPI 27, SAPR 8.1, SET E2, TFI 1.12		- 교직원 및 팀 구성원이 입력된 자료와 시각화된 결과에 즉시 접근가능함 (TFI 1.12, BoQ 13)

핵심 요소 10. 자료 기반 의사결정(관련: 보편적 지원의 자료)
하위 요소	관련 문항	양적 측면	질적 측면	반응성 측면
55. 문제행동 보고자료 이외 추가자료(성적, 교사 복무, 설문조사 등)의 수집 및 검토	BoQ 14, 53, IPI 19, SAPR 8.3, 8.4, TFI 1.13			- 문제행동 외 성적 및 기타 학업 성취 자료 등 활용(TFI 1.13, BoQ 14, 53, SAPR 8.3) - 긍정적 행동 자료(IPI 19) - 문화적 배경 정보 수집 통해 문제행동 관리체계와 문화적 편견의 관련성 확인(SAPR 8.4)
56. 타당도와 신뢰도를 갖춘 평가도구로 실행충실도 평가 및 활용	KIFC 35, TFI 1.14, TIC 6, 8	- 연 1회 이상 평가(TFI 1.14)
57. 자료 담당자가 자료 분석 결과를 팀 구성원(코치 포함)과 공유¹⁴⁾	BoQ 16, IPI 28, SAPR 8.2, SAS SW12, TIC 19	- 월 1회 이상 팀 구성원과 공유(BoQ 16, TFI 1.13, TIC 19, SAPR 8.2) - 월 1회 이상 코치와 공유(IPI 28)	- 팀 구성원에게 학교 차원의 자료 분석 결과 제공(모든 관련 문항)
58. 자료(행동, 학업, 실행충실도 등)의 정기적 검토 및 실행계획 수정 및 개선에 관한 의사결정(예: 연수 추가)에 활용	BoQ 16, 53, IPI 31, 32, 33, 35, 37, KIFC 16, 33, 34, SAS SW12, NC8, SAPR 8.2, SET E3, E4, TFI 1.13, TIC 7, 19	- 월 1회 이상 팀 구성원 자료 검토 (TFI 1.13, BoQ 16, TIC 19, SAPR 8.2) - 연 4회 이상 교실 외 장소에서 학생 행동현황과 관리실태 점검(SAS NC8)		- 학생 자료(행동, 학업)의 검토를 통한 실행 평가 및 개선에 활용(BoQ 53, IPI 32, 33, 35, 37, KIFC 16, 33, 34, SAS SW12, SAPR 8.2, SET E4, TFI 1.13, TIC 7, 19)
59. 보편적 지원 실행에 관한 총괄평가(효과성 평가 포함) 실시 및 결과의 활용	BoQ 53, SAPR 1.7, 4.6, TFI 1.15	- 연 1회 이상(TFI 1.15) - 계획된 자료의 대부분이 수집 및 활용됨(BoQ 53)		- 위와 동일(모든 관련 문항)
60. 학생 행동 및 실행에 관한 평가 결과를 상위 교육청에 보고	SAS SW18, TFI 1.15	- 연 1회 이상(SAS SW18)

¹⁾ 문제행동 정의 및 관리정책의 명확한 기술은 교실 또는 교사 차원에서 관리되는 경미한 문제행동과 학교 차원에서 관리되는 심각한 문제행동의 차이를 반영함(BoQ 11, SAS SW6, TIC 14, TFI 1.5).

²⁾ 예방적, 교육적, 회복적 성격이 반영된 문제행동 관리정책(TFI 1.6)과 관련된 특징으로 다음을 포함함: ① 문제행동 감소를 위한 효과적 대처전략(예: 구어적 촉진, 대체행동 교육 등; BoQ 12, SET D1, TIC 14, SAPR 4.5), ② 문제행동으로 인한 수업지연 최소화 방안 (SAS SW 7), ③ 학생의 사회정서적 문제 또는 갈등 해결에 도움 제공(SAPR 5.4), ④ 상위 법․규정에 부합(SAPR 5.3), ⑤ 문제행동 발생 및 대처에 관한 기록 및 보고 체계 포함됨(BoQ 8).

³⁾ 문제행동 관련 보고서 작성 및 제출의 정확한 실행에 관한 문항은 문제행동 자료관리체계(하위요소 52)에서 분석됨

⁴⁾ 보편적 지원의 구성요소(TFI 1.8)는 학급 규칙 및 일과 정의 및 교수(BoQ 42, 43, 44; SAS CS 1, 3), 구체적 칭찬 및 강화의 지속적․즉각적 제공(BoQ 45, 46; SAS CS 4), 학급 내 문제행동 대응 절차 마련(BoQ 48; SAS CS 2, 5, 6, 7), 문제행동 기록 및 점검(BoQ 47), 실행 과정 점검(TIC 15)을 포함함.

⁵⁾ 대부분 문항들(BoQ 제외)은 구체적 양적 기준 없이 학급 참여 수준에 관한 판단을 요구함. 해당 학급의 참여를 판단하기 위해 학급별 지도교사 다수의 참여를 확인해야 하므로, 실행 수준에 관한 판단 기준으로 제시함.

⁶⁾ 교실 환경의 재구조화는 구조화된 일과 및 활동 성격을 고려한 공간(KIFC 19, 20, 21), 효율적이고 질서있는 활동 간 전이 지원(신호나 알림; SAS CS 11, KIFC 23)을 포함함.

⁷⁾ 교수학습활동 개선을 위한 노력으로 학생 능력 고려(SAS CS 8), 수업지도안 구비(KIFC 17), 다양한 교수학습활동 구성(KIFC 22) 및 수업활동자료 준비(KIFC 18), 학생들에게 높은 성취 경험 제공(SAS CS 9)을 포함함.

⁸⁾ 교실 외 장소에서 적용 가능한 예방적 전략으로 적극적 관리(active supervision; SAS NC 3), 물리적/공간적 환경 재구성(예: 이동 경로 및 시간 조율 등; SAS NC 5, 6) 등을 포함함.

⁹⁾ 팀은 5가지 영역(①행동 분석 및 중재, ②코칭, ③학생 학업 성취 및 행동 양상, ④각급 학교(예: 유치, 초, 중, 고) 교육과정 및 프로그램 운영, ⑤학생의 요구 및 선호; 김제린, 홍주희, 2022)의 전문지식 및 실무경험을 갖춘 구성원을 포함(TFI 1.1).

¹⁰⁾ 관련 문항에서 제안한 팀 구성원은 학교관리자, 업무담당자, 가족 구성원/학부모, 대표 교직원/학년별 대표교사, 지역사회 구성원, 행동 전문가, 보조인력, 특수교사, 상담교사 등을 포함함.

¹¹⁾ 팀 운영 절차의 구성요소로 정기회의 형식 및 의제, 회의록, 명확한 구성원 역할, 실행계획을 제시함(TFI 1.2).

¹²⁾ 해당 요소는 학교팀 구성원으로써 코치의 팀 회의 참여(하위 요소 30 참고)도 포함함.

¹³⁾ 팀 조직 및 운영(하위 요소 29)에서 강조된 팀 구성원으로써 학교 관리자 역할(예: 적극적 팀 참여, 지속적 회의 참여 및 팀 결정 지지)을 모두 포함함.

¹⁴⁾ 교직원과의 자료 공유는 피드백 관리체계(하위 요소 48)에서 분석됨.

Download Excel Table