Turnitin은 자사의 AI 부정 행위 탐지기가 항상 신뢰할 수 있는 것은 아니라고 말합니다.

이 기사는 The Tech Friend 뉴스레터의 미리보기입니다. 매주 화요일과 금요일에 받은 편지함으로 받아보려면 여기에서 가입하세요.

알고 보니 ChatGPT와 같은 인공 지능 프로그램에서는 글을 안정적으로 감지할 수 없습니다. 이는 특히 교사들에게 큰 문제입니다.

더 나쁜 것은 과학자들이 AI를 정확하게 발견하기 위해 소프트웨어를 사용하는 것이 단순히 불가능할 수도 있다고 점점 더 말하고 있다는 것입니다.

최신 증거: 대규모 교육 소프트웨어 회사인 Turnitin은 4월부터 3,800만 명 이상의 학생 에세이에 대해 실행 중인 AI 부정 행위 탐지기가 처음에 제안한 것보다 더 많은 신뢰성 문제를 가지고 있다고 말했습니다. 각 학생의 논문에 "AI에 의해 생성된" 백분율 점수를 할당하는 Turnitin은 오류가 발생하기 가장 쉬운 경계선 결과 유형에 대한 새로운 경고를 추가하는 등 몇 가지 조정을 하고 있습니다.

학생들이 AI를 사용하여 부정 행위를 하는 것에 대한 우려로 인해 많은 교육자들이 이를 저지할 방법을 모색하고 있을 때 저는 이번 봄에 Turnitin의 AI 감지기에 관해 처음 글을 썼습니다. 당시 회사는 자사 기술에서 가장 문제가 되는 종류의 오류, 즉 실제 학생의 글이 부정행위로 잘못 표시되는 오탐지율이 1% 미만이라고 밝혔습니다. 이제 Turnitin은 보다 좁은 범위의 측정인 문장별 수준에서 자사 소프트웨어가 글의 4%를 잘못 표시한다고 말합니다.

조사 결과 허위 탐지가 심각한 위험이라는 사실도 밝혀졌습니다. Turnitin 소프트웨어를 출시하기 전에 실제 학생 작문과 학생 자원봉사자가 ChatGPT를 통해 작성하는 데 도움을 준 에세이를 사용하여 Turnitin의 소프트웨어를 테스트했습니다. Turnitin은 한 학생의 완전한 사람이 쓴 에세이의 일부가 AI를 사용하여 작성되었다고 말하는 것을 포함하여 16개 샘플 중 절반 이상을 적어도 부분적으로 부정확하게 식별했습니다.

AI를 감지하는 데 있어 교사의 이해관계가 특히 높을 수 있지만 교사만이 이를 수행할 방법을 찾는 것은 아닙니다. 무엇이 인간이고 무엇이 인간이 아닌지 식별해야 하는 사이버 보안 회사, 선거 공무원, 심지어 언론인도 마찬가지입니다. 당신도 상사나 정치인이 보낸 눈에 띄는 이메일이 AI가 작성한 것인지 알고 싶을 수도 있습니다.

ZeroGPT와 Writer를 포함하여 최근 몇 달 동안 웹에 AI 탐지 프로그램이 넘쳐났습니다. ChatGPT를 지원하는 회사인 OpenAI도 이를 만듭니다. 그러나 헌법의 프롤로그가 AI에 의해 작성되었다고 주장하는 것을 포함하여 이러한 탐지기가 잘못 작동하는 사례가 점점 늘어나고 있습니다. (시간여행이 가능하지 않다면 그럴 가능성은 별로 없지 않나요?)

여러분을 위한 교훈: AI 탐지기를 사실처럼 취급하지 않도록 주의하세요. 현재 어떤 경우에는 무작위 추측보다 조금 낫습니다.

4% 또는 1%의 오류율은 작게 들릴 수 있습니다. 그러나 부정 행위에 대한 모든 허위 비난은 학생에게 비참한 결과를 초래할 수 있습니다. 제가 4월 칼럼을 출판한 이후, 저는 학생들과 학부모들로부터 그들이 거짓 비난이라고 말한 것에 대해 심란한 메모를 받았습니다. (내 이메일은 아직 열려있습니다.)

지난주 장문의 블로그 게시물에서 Turnitin의 최고 제품 책임자인 Annie Chechitelli는 회사가 자사 기술에 대해 투명성을 원하지만 이를 배포하는 데는 물러서지 않았다고 말했습니다. 그녀는 탐지 소프트웨어가 AI 글쓰기가 20% 이상 포함되어 있다고 생각하는 문서의 경우 전체 문서에 대한 오탐률이 1% 미만이라고 말했습니다. 그러나 그녀는 나머지 시간의 오류율이 얼마인지는 명시하지 않았습니다. 소프트웨어에서 AI 쓰기가 20% 미만이라고 생각하는 문서의 경우입니다. 이러한 경우 Turnitin은 "점수의 신뢰성이 낮다는 사실에 주의를 환기시키기 위해" 결과 옆에 별표를 표시하기 시작했습니다.

Chechitelli는 "AI 작성 및 분석의 특성을 고려할 때 오탐의 위험을 완전히 완화할 수는 없으므로 교육자가 AI 점수를 사용하여 이러한 경우 학생들과 의미 있고 영향력 있는 대화를 시작하는 것이 중요합니다"라고 썼습니다.

핵심 질문은 AI 탐지기에서 허용되는 오류가 얼마나 되는가입니다.

메릴랜드 대학의 컴퓨터 과학 교수인 Soheil Feizi와 동료들의 새로운 인쇄 전 연구에서는 공개적으로 사용 가능한 AI 탐지기가 실제 시나리오에서 충분히 신뢰할 수 없다는 사실을 발견했습니다.