Educational Harness Engineering - AI 시대, 학생들의 꼼수에 강한 수업·평가를 설계하는 법

## 📝 Key Trigger (1–3 lines) > [!NOTE] > 7-6-2026 미디어스쿨 학과 워크샵 > **"Educational Harness Engineering: AI 시대, 학생들의 꼼수에 강한 수업·평가를 설계하는 법"** 자료정리 ## 1. 결과물 중심의 교육 평가 모델 붕괴 ### 1.1 영국고등교육정책연구소 (HEPI) 연구결과 (2026) - **영국고등교육정책연구소 (HEPI) 설문조사 (2026):** - 1,054명 학부생들 대상으로 한 설문조사에서 AI를 학업 용도로 어떤식으로든 활용하는 학생의 증가. - 2024년-2026년동안 **66% → 92%→ 95%** 로 증가하였으며, - 가장 많은 활용은 텍스트 생성 (56%), 요약해줘 (38%), 문장을 고쳐줘 (37%), 번역해줘 (31%), 이미지 그려줘 (22%)의 다섯 가지. ### 1.2 AI 컨닝 및 꼼수는 학생들의 Default다  - 연세대학교 비대면 시험 대규모 컨닝 (2025. 10. 15) - 온라인 사이트에 접속해 객관식 문제를 푸는 방식 - 카메라를 동원하였으나, '에브리타임' 게시판에 올라온 투표 글에 따르면 **'커닝했다'가 211명** - 서울대학교 '통계학실험' 강의 대면시험 컨닝 (2025. 10월) - 30여명이 수강하는 '통계학실험' 강의에서 일부 학생들이 대면 강의실 컴퓨터에서 일부 학생들이 **조교 몰래 AI활용한 정황 포착** - 고려대학교 카카오톡 정답 공유 사태 (2025. 10. 25) - 1400명 가량이 수강중인 '고령사회에 대한 다학제적 이해 (비대면, 교양 수업)' 중간고사 - **시험 도중 학생들이 카카오톡 오픈채팅방을 통해 문제와 정답을 공유** (중간고사 결과 전면 무효화 조치)  ### 1.3 국내 대학생들의 '사고의 외주화' 실태 - **AI 편리하지만… “습관적으로 의존해 사고의 필요성 잃어 (한국대학신문 `2026 신년기획/AI&미래고등교육③` , 2026. 1. 31)”** - 기사 제목 자체가 **"공부는 쉬워지고 사고의 필요성은 줄었다"** 라는 제목. - 학생들은 높은 편리함을 절대적 장점으로 꼽으면서도, 답을 찾기 위해 고민하고 사고해야 할 필요성을 잃었다고 언급. - **이 씨(20세·고려대 철학과): "글쓰기 연습 왜 해요?"** 생각을 글로 풀어내는 일은 꼭 필요한 역량이지만, AI를 써도 결과물은 그럭저럭 비슷하게 나오니 스스로 글쓰기를 연습할 이유가 많이 사라졌다 - **정 씨(26세·경북대 경제학부): "쉽게 해결하지만 나 자신은 그대로"** 공부하면서 이해하기 어려운 점을 AI로 너무 손쉽게 해결할 수 있지만, 내가 성장하는 것이 아닌, 단순히 눈앞에 놓인 어려운 장애물을 쉽게 넘을 수 있을 뿐 나 스스로 넘지 못하는 건 그대로인 것 같다. - **배 씨(25세·단국대 정치외교학과): "사고 방식이 단순화된 기분"** 조금만 막히는 순간이 있으면 바로 AI에 검색해 찾아보게 된다. 마치 사고하는 방식이 멈춘 것만 같다. 사고방식이 단순화된 기분. ## 2. 탐지와 금지는 답이 아니다 ## 2.1 Open AI's Text Classifier : 2023년 중단 (업데이트 없음)  > [!quote] OPENAI - "낮은 정확도로 중단" (2023. 7. 20) > As of July 20, 2023, the **AI classifier is no longer available due to its low rate of accuracy.** We are working to incorporate feedback and are currently researching more effective provenance techniques for text, and have made a commitment to develop and deploy mechanisms that enable users to understand if audio or visual content is AI-generated. ### 2.2 AI detector는 '비영어권' 학생들에게 누명을 씌운다 - **Liang et al. (2023) - doi: [10.1016/j.patter.2023.100779](https://doi.org/10.1016/j.patter.2023.100779)** - 핵심 연구결과1: AI 탐지기는 영어 원어민이 아닌 사람에게 "AI글이네요" 라고 False Positive 누명을 씌우는 문제가 있다. - 핵심 연구결과2: AI글을 쓰고 프롬프트 한줄이면 "AI글이 아닙니다"라고 둔갑시키는 것도 가능하다 - Liang et al. (2023) - GPT 탐지기에 **비원어민(TOEFL) 영어 에세이**를 통과시키자 **절반 이상이 'AI 작성'으로 오탐**(논문 평균 오탐률 61.3%) - **"원어민처럼 풍부한 단어를 써줘"** 라는 프롬프트 한줄 만으로 AI 탐지율이 **11.3%로 급감 (false negative 급증)** - 실제 8학년 원어민 학생의 글에서 단어/어휘를 제한하자 **오탐률 (false positive)가 5.1%에서 56.9%로 급증** - GPT 탐지기의 **비원어민 미국 대학 입학 에세이** 오탐률이 **70.0%** 에 달함 - **"문학적으로 다양한 표현을 써줘"** 라는 프롬프트 한줄만으로 AI 탐지율이 **3.3%로 급감 (false negative 급증)** - GPT 탐지기에 **비원어민이 쓴 논문 초록** 오탐률이 **43.9%** 에 달함 - **"문학적으로 다양한 표현을 써줘"** 라는 프롬프트 한줄만으로 AI 탐지율이 **19.1%로 급감 (false negative 급증)** - **Hadra, Cambridge & Mesbah (2026) - doi: [10.1007/s40979-026-00213-1](https://link.springer.com/article/10.1007/s40979-026-00213-1)** - 핵심 연구결과1: Tuirnitin과 Originality의 에세이 글 AI탐지율 연구결과, - **Turnitin**의 **900-1100단어 에세이 오탐률이 32%** - **Originality**의 **450-550단어 에세이 오탐률이 37%** 다. - 핵심 연구결과2: Turnitin과 Originality 모두 **이공계열 Academic writing에서 오탐지율이 각각 49%, 42%로 굉장히 높다** - 인문학적 writing 탐지율 정확도는 각각 86%, 96%지만, 이공계열 논문 등은 **글 자체가 짧고 수치와 팩트만 쓰게 되어있는 discipline이라 AI 탐지기 자체가 부적합** ### 2.3 "탐지하는" 방식 자체도 한계가 있다 > [!quote] Ardito (2023) - Contra generative AI detection in higher education assessments > **"탐지 메커니즘에 대한 의존은 AI가 점점 보편화되는 교육 현실과 어긋난다.** > 견고한 평가 방법과, 생성형 AI를 포용하면서 학문적 무결성을 지키는 교육 정책으로의 전략적 전환이 필요하다." > [!quote] Ardito (2023) - Contra generative AI detection in higher education assessments > "전통적인 표절 탐지기와 **AI 탐지기** 는 작동 방식 자체가 다르다. > Turnitin과 같은 표절 탐지기는 **'원본 텍스트가 존재하는 경우에 대조하는'** 방식이지만, > AI 기반 탐지기는 **'최종 출력물을 기준으로 최종 텍스트가 '일반적인 LLM이 생성했을 문장인 것처럼 여겨지는 문장'** 을 탐지하는 방식이므로, > 원본을 대조하는 전통적인 표절 탐지기와 달리 **평과 결과를 독립적으로 검증할 수 있는 수단이 없다** > (AI detectors operate on a fundamentally different principle. They assess the degree to which textaligns with the most common outputs of supported large language models and do not provide anymeans to independently verify their assessment.) > [!quote] Ardito (2023) - Contra generative AI detection in higher education assessments > Alice와 Bob이라는 두 명의 학생을 생각해보자. > Alice는 **에세이 초안을 작성하고 고민하며 작성하는 모든 과정을 직접 작성**하였는데, **최종적인 '마감'은 AI를 썼다는 이유로** AI유사도가 높게 나왔다. > Bob은 반대로 **에세이를 GPT를 사용하여 전부 생성하고, 최종 마감 제출 직전에 단어와 문장을 'AI 검사기에 안걸리게 바꿔서'** 제출해서 AI 유사도가 낮게 나왔다. > **이 경우, AIice의 에세이가 AI 유사도가 높다는 이유만으로 이 학생이 직접 작성한 origianl idea가 아니라고 판단하는 것이 과연 타당한가?** ### 2.4 AI 금지와 AI 탐지도 둘 다 안된다면 - 답은 '설계'다 - **금지 / 방임 / 설계: 세 갈래에서 답은 하나** - **금지형 ("AI 쓰지 마"):** 확인 불가능하고, 학생의 AI 활용 역량도 안 자란다. - **탐지형 ("탐지기로 잡자"**): - OpenAI의 Text Classifier 공식 폐기 - 비영어권 학생 및 STEM 계열 학생 편향 - '탐지기 작동방식'의 근본적으로 다른 설계 - 한계점 - **방임형 ("AI 써도 돼, 결과물만 내")**: 교수자가 전혀 통제할 수 없는 최악의 방향. > [!important] 탐지, 금지도 아는 "설계"로의 전환 > **남는 답은 하나 — 설계다.** > 학생이 AI를 써도 자기 사고 없이는 통과할 수 없도록 평가를 설계하는 것. 이것이 AI시대 교육의 출발점이다. ## 3. Educational Harness Engineering: "학생들이 꼼수를 뭘 쓸까" 부터 출발한다 ### 3.1 Prompt에서 Context로, 그리고 Harness로의 진화 - AI를 활용할때 보통 출발점은 "해줘" 혹은 "더 구체적으로 써줘"와 같이 무엇을 더 '해달라는' 시리즈의 프롬프트로 시작합니다. - 예를 들어 "팩트체크 해줘"라는 프롬프트를 쓰면 **AI는 팩트체크가 뭔지 모릅니다.** - 팩트체크라는 말 대신, **"한국기자협회 (www.journalist.or.kr) 웹사이트 '이달의 기자상' 페이지에 있는 페이지의 이달의 기자상 수상작 페이지에 있는 기사들의 본문만을 대상으로 여기에 있는 텍스트 내용을 대조해줘"** 라는 식으로 말을 다 풀어서 설명해야 비로소 제대로 작동하기 시작합니다. 이것이 바로 **Context Engineering**입니다. - 그런데 잘 생각해보면, "한국기자협회 사이트에서만 대조해줘"라는 말은 사실 "이 사이트 이외에는 네 멋대로 참조하지 마"라고 **제약 조건을 더 쎄게 명시하는 것과 같습니다.** - 무언가 더 구체적으로 명시하는 것은 **사실 '하지 마'라는 금지 시리즈/제약 조건을 더 쎄게 명시하는 것**과 같습니다. 이것이 바로 **Harness Engineering** 입니다.  ### 3.2 사고방식의 전환: "공격자처럼 생각하라" > [!QUOTE] Bruce Schneier — The Security Mindset (2008) > *"Good engineering involves thinking about how things can be made to work; the security mindset involves thinking about how things can be made to fail. It involves thinking like an attacker, an adversary or a criminal. ... if you don't see the world that way, you'll never notice most security problems."* > (좋은 공학은 무엇이 *작동하게* 만들지를 생각한다. 보안 마인드셋은 무엇이 *실패하게* 만들 수 있을지를 생각한다. 공격자·적·범죄자처럼 보지 않으면, 대부분의 보안 문제를 결코 알아채지 못한다.) ### 3.3 Educational Harness Engineering - 나쁜 방식 (하네스 실패): - **"내가 이렇게 열심히 시험문제/과제를 만들었는게 네가 감히 꼼수를!"** - 좋은 방식 (하네스 성공): - **(GPT 혹은 AI를 동원해서 하네스 기획/설계/컨설팅 검토)** - "자, 내가 비대면 시험/과제로 이런 방식의 instruction으로 시험/과제를 내려고 해. 첨부파일은 내 시험/과제 instruction이고 시험은 이런이런식으로 진행하려고 해. 이렇게 했을 때 학생들이 어떻게든 어떻게든 어떻게든 본인 스스로 '절대' 생각을 안하고 에세이를 "AI야 써줘"식으로만 하고 대충 내려고 할건데, - **a) 학생들의 꼼수가 어떤 것들이 있을 수 있으며,** - **b) 학생들이 아무리 치팅/꼼수를 쓰더라도 AI만 의존하는 식으로는 반드시 실패할 수 밖에 없도록 하는 설계 혹은,** - **c) 학생들이 본인 스스로 생각/기획/검토/비판을 안하면 logical error를 단번에 반드시 잡아낼 수 있도록 "사고 과정"을 평가 방식으로 설계하려면 어떻게 해야할까?**  ## 마인드를 바꾸셔야 합니다. ## 학생들이 꼼수를 쓴다면, ## 교수님 본인께서 학생들이 "꼼수를 쓸 것 까지 감안해서" 틀어막는 평가 디자인 설계에 실패한 것입니다. ## 학생들은 "반드시" 생각을 안하려는 꼼수를 씁니다. ## 아예 모든 시험과 과제 평가를 거기에서 부터 출발해야 합니다. ## 4. Educational Harness Engineering 실제 사례1: AI활용조사방법론 ### 4.1 AI활용조사방법론 - 수업 예시 - 수업시간 및 편성 : **대면수업** - 매주 월요일 수업 (3시간) - 수업 진행 방식: **강의 + 토론 + 실습** - 강의내용: **사회과학 조사방법론 + 프롬프트 엔지니어링 및 AI활용법** - 사회과학 커뮤니케이션 관점의 전통적인 조사방법 이론 및 방법론 소개 - 사회과학 관점의 AI활용법 (Top-down thinking vs. Bottom-up thinking) - 토론 및 실습: **NotebookLM 활용 + 영어 논문 읽기** - 제한시간 15-20분 동안 AI를 활용해서 프롬프트 엔지니어링에 대한 논문 등 읽기 - 교수자: 소크라테스식 질문으로 학생들 스스로 직접 말로 설명할 수 있는지 되묻기 > [!quote] Achmage's Socratic Questioning Example > 교수자 : "해당 논문 (Attention is all you need)에서 무슨 내용을 읽었죠?" > 학생: **(화면을 보고 눈으로 읽으며)** "저는 논문에서 수식에 대해 물어봤는데요, AI설명에 따르면.." > 교수자: **(의도적으로 말 끊기, 학생을 똑바로 쳐다보기)** "아, 수식이나 이런 거는 됐고, 그래서 이 논문에 따르면 LLM은 어떻게 작동하는지 설명할 수 있나요?" > 학생: **(잠시 고민하다가)** "죄송합니다, 잘 모르겠습니다." > 모르겠으면 "**나 아직도 잘 이해가 안되는데 더 쉽게 설명해줘, 초등학생도 이해할 수 있을 수준으로 설명해줘**, 라고 물어봐서 끝까지 내가 이해할 때까지 되물어봐야죠. 그래도 이해 안되면 옆에 '슬라이드 생성' 버튼으로 **이 논문을 쉽게 이해하기 위한 어린이용 학습만화를 그려줘,** 라고 프롬프트를 쳐서 읽어봐서라도 끝까지 이해를 해야죠. **그게 바로 프롬프트 엔지니어링의 첫 걸음 입니다.**" ### 4.2 AI활용조사방법론 - In-class 글쓰기 - 매 주차마다 수업 시간에 **매 주 30분 - 1시간 정도** '나 자신이 사회현상을 어떻게 바라보는지' 학습자가 스스로 파악하기 위한 글쓰기를 진행 - 글쓰기 주제는 **AI가 대신 작성해주는 것이 전혀 의미가 없는** 주제로 선정 | 주차 | 종류 | 질문1 - A type | 질문2 - B type | | :-----------------------: | :---------------: | :-------------------------------------------------------: | :-------------------------------------------------------------------: | | **2주차 (3/16)** | 자기 인식과 자기 서사 | **나는 나를 어떤 사람이라고 생각하는데, 최근 그 생각이 흔들린 순간은 언제였는가?** | **나는 남들이 보는 나와 내가 생각하는 내가 다르다고 느낀 적이 있는가? 있다면 무엇이 달랐는가?** | | **3주차 (3/23)** | 말과 행동의 틈 | **나는 중요하다고 자주 말하지만, 실제로 꾸준히 지키지 못하는 것은 무엇인가?** | **나는 싫다고 말하면서도 반복해서 하게 되는 행동이 있는가? 왜 그런가?** | | **4주차 (3/30)** | 판단 기준 해부 | **나는 사람을 처음 볼 때 무엇을 보고 믿을 만한 사람인지 아닌지를 판단하는가?** | **나는 어떤 글이나 말을 들을 때 무엇을 보고 ‘그럴듯하다’고 느끼는가?** | | **5주차 (4/6)** | 관계에 따라 달라지는 나 | **나는 혼자 있을 때의 나와 사람들 사이에 있을 때의 내가 어떻게 다른가?** | **나는 어떤 사람 앞에서는 말이 많아지고, 어떤 사람 앞에서는 조용해지는가? 그 차이는 왜 생기는가?** | | **6주차 (4/13)** | 규칙과 순응 | **나는 평소에 당연하게 따르는 규칙 하나를 고른다면, 그것은 누구에게 유리한 규칙인가?** | **나는 이상하다고 생각하면서도 그냥 따르는 규칙이 있는가? 왜 계속 따르는가?** | | **7주차 (4/20)** | 비교와 공정성 | **나는 무엇을 볼 때 ‘공평하다’고 느끼고, 무엇을 볼 때 ‘억울하다’고 느끼는가?** | **같은 결과라도 어떤 경우에는 납득하고 어떤 경우에는 화가 나는 이유는 무엇인가?** | ### 4.3 AI활용조사방법론 - 기말고사 프로젝트 - 기말고사 프로젝트: 6/1 - 6/21까지 **총 3주간 학생 개개인이 매일 글쓰기 챌린지** - 핵심 목표: **"나는 사회 현상을 어떻게 바라보는가?"를 글쓰기를 통해 학습자 스스로 깨닫게 하기** - 기말고사 3주 글쓰기 프로젝트 안내문: - **Phase 1: 일상의 관찰과 기록 (6/1 ~ 6/11)** - "나는 매일 사회현상을 어떻게 바라보는가?" - 방법: 매일 하루에 최소 1개 이상, 나 자신과 사회 현상에 대한 생각을 옵시디언 노트로 작성합니다. - 내용: 뉴스를 보고 느낀 점, 길거리에서 한 생각, 사람들과 대화하며 발견한 나의 관점 등 무엇이든 좋습니다. - 목표: 내 생각의 조각들을 휘발시키지 않고 텍스트로 잡아두는 습관 형성하기 - **Phase 2: AI 메타인지 분석 리포트 기반 심화 글쓰기 (6/12 ~ 6/21)** - "나의 사고방식을 자각한 후의 기록은 어떻게 달라지는가?" - 기점: 6/12(보강 주차)에 제공될 **'AI 메타인지 분석 리포트'** 와 '인클래스 실습' 이후 2단계로 돌입합니다. - 방법: 분석을 통해 알게 된 나의 사고 취약점(Blind Spot)과 무의식적 패턴을 스스로 의식하며 매일 기록을 이어나갑니다. - 목표: 피드백을 반영하여 단순히 현상을 나열하는 것을 넘어, 한 차원 더 깊고 정교해진 심화 글쓰기 실천하기. ### 4.4 AI활용조사방법론 - AI 메타인지 분석 리포트 (학생 개별 맞춤) - 매주 수업시간에 작성한 마크다운 글쓰기 (.md) 묶음을 학생별로 제출 - **AI 메타분석:** 학생 개인이 제출한 글쓰기 묶음을 전부 통합 분석하는 스킬스 (Skills) 프롬프트 설계 - **본문 근거기반:** - 모든 피드백은 학생이 직접 제출한 글쓰기 내용을 기반으로 피드백하도록 AI 프롬프트 설계. 아첨 혹은 가스라이팅 금지 - 반드시 학생이 작성한 본문을 기준으로 피드백/반박하도록 설계 - AI 피드백 예시: "학생이 2주차에 제출한 글쓰기 내용을 보면, '나는 타인을 판단할 때 쉽게 속단하지 않는 것 같다'고 쓰셨습니다. 하지만 본인의 주장과는 달리, 7주차 글쓰기 내용을 보면 '사람들은 왜 저러는지 모르겠다'거나 '이러이러한 것 같다'고 본인의 판단 기준으로 쉽게 근거없이 단정하는 문장들이 자주 등장합니다. 이러한 부분은 본인 스스로 생각하는 타인에 대한 기준에 대한 의식과, '실제로 타인에게 적용해서 판단하는 잣대' 사이에 인저적 갭/편향이 있다는 것을 드러냅니다. " - **2-track feedback** - **사고·메타인지 프로파일 (Track A)**: 메타인지 점검, 자기조절과 실행, 사회현상 프레임, 정보 신뢰 판단, 자기서사와 변화, 자기불일치와 역할 긴장, 귀인과 책임 배분, 감정 해석 방식 등 8가지 이상 축으로 종합적인 평가 - **글쓰기 역량 프로파일 (Track B):** 조직·구조, 논증·전개, 어휘·표현, 문체·목소리, 표현 명확성, 메타적 글쓰기 등 5가지 이상 축으로 글쓰기 문장 자체의 약점 + 글에서 드러나는 사고방식의 취약점 등을 동시에 평가 - **이론 기반** - 모든 학생의 피드백은 **사회과학 커뮤니케이션 이론에 근거해서** 메타인지 분석을 하도록 설계 - 모든 분석 리포트에 **이론 논문 원문 링크 및 출처 (참고문헌)를 포함하도록** 설계