캔자스 대학교, 학술 작문 탐지를 위한 고급 AI 탐지기 출시

작성자Srikanth2023년 6월 9일 오후 1시 2분279견해

캔자스 대학의 화학자 Heather Desaire는 ChatGPT에서 생성된 과학 텍스트를 99%의 인상적인 정확도로 감지할 수 있는 최첨단 기술을 도입했습니다. 이 획기적인 기술은 인공 지능(AI) 텍스트 생성기를 활용합니다. Desaire의 놀라운 성과는 유명한 동료 평가 저널인 "Cell Reports Physical Science"에 기록되었습니다. 여기에서 그녀는 AI 탐지 방법의 효율성을 입증했을 뿐만 아니라 다른 사람들이 이 획기적인 도구를 복제하는 데 필요한 소스 코드도 제공했습니다.

KU의 Keith D. Wilner 화학과장인 Heather Desaire는 과학적 무결성을 유지하기 위해 정확한 AI 탐지 도구가 시급히 필요하다고 강조했습니다. Desire는 ChatGPT와 같은 AI 텍스트 생성기에 대해 우려를 표명하며 사실을 조작한다고 밝혔습니다. 획기적인 발견과 인간 지식의 최전선이 공유되는 학술 과학 출판 영역에서는 문헌을 오염시킬 수 있는 그럴듯한 허위 내용을 포함하지 않는 것이 중요합니다. Desire는 "환각"으로 알려진 이러한기만적인 요소를 식별하는 완벽한 자동화 방법이 없음을 인정했습니다. 진정한 과학적 사실과 설득력 있지만 조작된 AI 생성 콘텐츠가 혼합되면 출판물의 신뢰성과 가치가 필연적으로 감소합니다.

그녀는 자신의 탐지 방법의 효율성이 특히 동료 심사 저널에서 흔히 볼 수 있는 과학 저술에 초점을 맞추는 데 달려 있다고 설명했습니다. 이러한 방식으로 범위를 좁힘으로써 그녀의 접근 방식은 보다 일반적인 유형의 글쓰기에서 AI를 식별하는 것을 목표로 하는 RoBERTa 감지기와 같은 기존 AI 감지 도구에 비해 더 높은 정확도를 달성합니다.

Desaire는 인간의 글쓰기와 ChatGPT 글쓰기를 구별하는 매우 정확한 방법을 개발하는 것이 가능하다고 말했습니다. 그러나 그러한 정확성을 얻으려면 독특한 방식으로 글을 쓰는 특정 인간 그룹에 대한 분석을 제한해야 합니다. 이에 비해 기존 AI 탐지기는 다양한 글쓰기 유형에 적용할 수 있는 일반적인 도구로 설계됐다. 의도된 목적을 잘 수행하지만 특정하고 좁은 목적에 맞게 특별히 맞춤화된 도구만큼 정확하지는 않습니다.

그녀의 연구에서 Desaire는 개인이 은밀하게 AI를 활용하고 있다고 비난할 때 정확성의 중요성을 강조하고 빈번한 오인을 피해야 할 필요성을 강조했습니다. 그러나 그녀는 정확성을 달성하려면 일반화 가능성이 희생되는 경우가 많다는 점을 인정했습니다. Desire는 화학과 연구 조교수인 Romana Jarosova, 정보 시스템 분석가인 David Huax, 대학원생 Aleesa E. Chua 및 Madeline Isom이 포함된 KU의 연구 그룹과 협력했습니다. 팀이 AI 텍스트를 감지하는 데 성공한 것은 기계 학습 패턴 감지에 의존하는 것을 넘어 코드 고안에 인간의 통찰력이 반영되었기 때문일 수 있습니다.

Desire는 탐지기의 중요한 차이점을 식별하기 위해 훨씬 더 작은 데이터 세트와 더 높은 수준의 인간 개입이 그들의 접근 방식에 포함되어 있음을 밝혔습니다. 구체적으로 인간이 작성한 문서 64개와 AI가 생성한 문서 128개만을 훈련 데이터로 사용하여 전략을 구축했습니다. 이 데이터 세트 크기는 일반적으로 다른 탐지기를 훈련하는 데 사용되는 것보다 약 100,000배 더 작습니다.

Desire는 이러한 차이의 중요성을 강조하면서 이를 커피 한 잔 가격과 집 가격 사이의 격차와 동일시했습니다. 작은 데이터세트의 장점은 빠른 처리 능력과 모든 문서를 사람이 철저하게 검토할 수 있다는 점이었습니다. 인간의 지능을 활용함으로써 인간과 AI 생성 콘텐츠를 구별하기 위해 이전에 개발된 전략에만 의존하는 대신 문서 세트 내에서 중요한 차이점을 식별할 수 있었습니다.

KU가 밝힌 Desire의 접근 방식은 이전 AI 탐지 방법에 사용된 전략에 의존하지 않고 독립적으로 개발되었습니다. 결과적으로 그들의 기술은 AI 텍스트 감지 분야에 완전히 고유한 고유한 요소를 보유하고 있습니다. Desire는 자체 기능 도구를 갖출 때까지 AI 텍스트 감지에 관한 기존 문헌을 참고하지도 않았다고 인정했습니다. 그들은 텍스트 감지에 있어 컴퓨터 과학자들의 전통적인 사고 방식을 따르기보다는 직관에 의존하여 무엇이 효과적인지 판단했으며, 심지어 그들의 비전통적인 접근 방식에 대해 약간의 당혹감을 표현하기도 했습니다.