튜링 테스트를 혹시 들어보셨는지?
튜링 테스트는 인간의 지능과 동등하거나 구별할 수 없는 지능적인 행동을 기계가 보여줄 수 있는 지 테스트하는 것입니다. 그러니까, 이게 사람인지 인공지능인지 아닌지를 테스트 하는 거죠.
요즘 챗GPT로 표절이슈가 떠들썩 하죠.
그래서 OpenAI가 어떤 텍스트가 AI가 만든건지를 테스트 하는 프로그램을 오픈한다는 뉴스가 다시 나오곤 합니다. 즉, 튜링테스트를 다시 튜링테스트 하는 것이라고 할 수도 있겠죠. 하하하. 순환논리가 나올 수도 있겠네요. 거울 두개를 약간 비스듬하게 비추면 서로서로를 비추어서 무한 반복하듯 말이죠.
아래 블로그 글은 핵커눈이라는 유명한 기술 블로그에 올라온 최근 글입니다.
아주 따끈따끈하죠. 어떻게 인공지능이 생성한 텍스트를 감지할 수 있는가? 라는 글입니다. 재밌어요.
결론적으로 요약을 하면,
|
OpenAI는 AI 생성 텍스트를 식별하기 위해 새로운 AI 분류자를 만들었습니다. 이 도구는 패턴 인식, 통계 분석, 인간 평가 및 AI 모델과 같은 방법을 사용하여 텍스트가 인간에 의해 작성되었는지 또는 AI에 의해 생성되었는지 확인합니다. 분류자는 사람이 작성하고 AI가 생성한 텍스트의 데이터 세트를 기반으로 하며 "AI 생성 가능성 높음" , "아마도 AI 생성""AI가 생성할 가능성이 매우 낮음", "AI가 생성할 가능성이 낮음", "AI가 작성했는지 확실하지 않음"의 5가지 레이블 중 하나를 표시합니다. .
|
이젠 이걸 판단할 방법이 우리 인간에겐 없다는 건데.. 앞으로 올 세상이 흥미로워진다.
오픈AI, '챗GPT 텍스트 감지기' 공개
1천자 이상 글만 분류 가능...사용자 피드백으로 업그레이드할 것
이번 베타버전은 텍스트 분량이 1천자를 넘을 경우에만 정확한 수치를 제시할 수 있다. 1천자 미만이면 결과 신뢰성이 떨어진다고 오픈AI는 판단했다. 사용자가 AI로 작성한 텍스트를 교묘하게 편집해 해당 분류기를 속일 수 있다는 이유에서다.
오픈AI는 "사용자 피드백을 통해 기능을 업그레이드할 방침"이라며 "챗GPT 기능과 한계를 논하기 위해 교육자들과 협력하며 AI 텍스트 감지 작업을 지속하겠다"고 밝혔다. (기사출처)
How to Detect Text Generated by Artificial Intelligence
https://hackernoon.com/how-to-detect-text-generated-by-artificial-intelligence
텍스트 생성기와 텍스트 탐지기는 😾고양이와 쥐🐁 게임과 같습니다.
🤖인공 지능 도구, 특히 GPT 모델이 인간의 직업을 대체하고 있습니다. 👨💻잘못된 프로그래머도 곧 교체됩니다.
거기에는 몇 가지 인공 지능 표절 도구가 있었습니다. 이제 open.ai의 인기 있는 ChatGPT 모델이 자체적으로 출시되었습니다.
전체 블로그 게시물은 다음과 같습니다.
https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text/
1. 내 원래 설명 확인
(ChatGPT의 설명을 읽지 않고 제 경험으로 작성했습니다.
생성된 AI 텍스트를 감지하는 방법
인공 지능은 사전 훈련된 모델을 사용하여 텍스트를 생성할 수 있습니다.
이러한 모델은 공개 도메인 텍스트를 기반으로 하며 개념 간의 관계를 예측하여 지식을 생성할 수 있습니다.
인공지능에 의해 생성된 합성 텍스트는 출처를 인용하지 않고 사실을 제공합니다. 때때로 그들은 우리가 개선을 요구하지 않는 한 설명이 그리 깊지 않습니다.
생성된 텍스트를 감지하는 간단한 방법은 알려진 여러 생성기를 비교하고 원하는 텍스트를 작성하도록 요청하는 것입니다.
또 다른 힌트는 인간만이 실수를 하기 때문에 도구가 데이터 세트를 이해하는지 확인하기 위해 문법 실수를 추가하는 것입니다.
인공 지능에 의해 생성된 많은 텍스트를 읽으면 동일한 문법 패턴을 사용한다는 것을 알 수 있습니다.
생성자에게 다른 청중을 대상으로 지정하거나 능동태를 사용하도록 지시할 수 있습니다.
그런 다음 단어의 거리, 일반적인 단어 등을 측정할 수 있습니다.
예측된 임계값과 비교한 후 텍스트가 인간에 의해 생성되지 않았음을 얼마나 확신하는지 확인할 수 있습니다.
위의 텍스트를 혼자 작성했고 HemingwayApp이나 Grammarly와 같은 여러 글쓰기 보조 도구를 사용한 후 여기에 완전히 새로운 도구에 넣었습니다.
결과: 분류자는 텍스트가 AI 생성 가능성이 낮다고 간주합니다. 😺
튜링 테스트를 통과했습니다. 😺🧠
규모:
"AI 생성 가능성이 매우 낮음"은 <0.1의 분류기 임계값에 해당합니다. 챌린지 세트에서 사람이 쓴 텍스트의 약 5%와 AI가 생성한 텍스트의 2%에 이 레이블이 있습니다.
"AI 생성 가능성이 낮음"은 0.1에서 0.45 사이의 분류기 임계값에 해당합니다. 챌린지 세트에서 사람이 작성한 텍스트의 약 15%와 AI가 생성한 텍스트의 10%에 이 레이블이 있습니다.
"AI 작성 여부 불분명"은 0.45와 0.9 사이의 분류기 임계값에 해당합니다. 챌린지 세트에서 사람이 쓴 텍스트의 약 50%와 AI가 생성한 텍스트의 34%에 이 레이블이 있습니다.
"아마도 AI 생성"은 0.9에서 0.98 사이의 분류기 임계값에 해당합니다. 챌린지 세트에서 사람이 쓴 텍스트의 약 21%와 AI가 생성한 텍스트의 28%에 이 레이블이 있습니다.
"AI 생성 가능성"은 분류기 임계값 >0.98에 해당합니다. 챌린지 세트에서 사람이 작성한 텍스트의 약 9%와 AI 생성 텍스트의 26%에 이 레이블이 있습니다.
2. ChatGPT 설명 확인
ME: 생성된 AI 텍스트를 감지하는 방법을 설명하십시오.
ChatGPT: AI가 생성한 텍스트를 감지하는 것은 어려울 수 있지만 사용할 수 있는 몇 가지 방법이 있습니다.
패턴 인식: AI로 생성된 텍스트는 종종 문장 구조, 언어 사용 및 단어 선택에서 사람이 작성한 텍스트와 비교할 때 구별될 수 있는 패턴을 나타냅니다.
통계 분석: AI로 생성된 텍스트는 사람이 작성한 텍스트와 다른 문자 및 단어 빈도, n-그램 분포와 같은 특정 통계 기능에 대해 분석할 수 있습니다.
인간 평가: 경우에 따라 인간 전문가는 텍스트를 검토하고 자신의 경험과 전문 지식을 기반으로 텍스트가 인간이 작성했는지 또는 AI가 생성했는지 판단할 수 있습니다.
AI 모델 사용: AI 모델은 사람이 작성한 텍스트와 AI 생성 텍스트의 레이블이 지정된 데이터 세트를 사용하여 AI 생성 텍스트를 식별하도록 훈련할 수 있습니다. 그런 다음 모델을 사용하여 보이지 않는 새로운 텍스트에서 AI 생성 텍스트를 식별할 수 있습니다.
AI 기술이 계속해서 발전하고 텍스트를 생성하는 새로운 방법이 개발되고 있으므로 이러한 방법이 항상 완벽하지는 않을 수 있다는 점은 주목할 가치가 있습니다.
좋은 설명입니다. 도구를 다시 사용합시다.
결과: 분류자는 텍스트가 AI 생성 가능성이 있다고 간주합니다.😂
모델의 정확도는 인공 지능이 생성한 > 0.9입니다.
그것은 예상되었습니다.
3. Wikipedia의 설명 확인
“NLG(자연어 생성)는 자연어 출력을 생성하는 소프트웨어 프로세스입니다. 널리 인용되는 NLG 방법에 대한 조사에서는 NLG를 "일부 기본 비언어적 정보 표현에서 영어 또는 기타 인간 언어로 이해할 수 있는 텍스트를 생성할 수 있는 컴퓨터 시스템의 구성과 관련된 인공 지능 및 전산 언어학의 하위 분야"라고 설명합니다. .
모든 NLG 프로세스의 출력이 텍스트라는 데 널리 동의하지만 NLG 시스템의 입력이 비언어적이어야 하는지에 대해서는 약간의 의견 차이가 있습니다. NLG 방법의 일반적인 적용에는 날씨 및 환자 보고서와 같은 다양한 보고서 생성이 포함됩니다. 이미지 캡션; 그리고 챗봇.
자동화된 NLG는 아이디어를 글이나 말로 변환할 때 인간이 사용하는 프로세스와 비교할 수 있습니다. 심리언어학자들은 이 과정에서 언어 생산이라는 용어를 선호하는데, 이는 수학적 용어로 설명되거나 심리적 연구를 위해 컴퓨터에서 모델링될 수도 있습니다.
NLG 시스템은 또한 디컴파일러 또는 트랜스파일러와 같은 인공 컴퓨터 언어의 번역기와 비교될 수 있으며 중간 표현에서 생성된 사람이 읽을 수 있는 코드도 생성합니다.
인간 언어는 프로그래밍 언어보다 훨씬 더 복잡하고 훨씬 더 모호하고 다양한 표현을 허용하는 경향이 있어 NLG를 더 어렵게 만듭니다.”
결과: 분류자는 텍스트가 AI에서 생성된 경우 명확하지 않은 것으로 간주합니다. 📚
신뢰도는 0.45에서 0.9 사이입니다.
페이지의 기록을 보면 봇이 아니라 여러 사람이 보입니다.
내 결론은 ChatGPT에 텍스트가 부분적으로 공급되었기 때문에 과적합을 측정하고 있다는 것입니다.
4. 사람이 편집한 ChatGPT 확인
ChatGPT에서 생성된 텍스트를 가져다가 편집 도구로 직접 편집했습니다.
AI 생성 텍스트 감지는 어려울 수 있지만 여러 가지 방법을 사용할 수 있습니다.
사람이 작성한 텍스트와 AI 생성 텍스트의 레이블이 지정된 데이터 세트를 사용하여 AI 생성 텍스트를 식별하도록 훈련하여 AI 모델을 사용할 수도 있습니다.
AI로 생성된 텍스트는 종종 문장 구조, 언어 사용 및 단어 선택에서 사람이 쓴 텍스트와 비교할 때 구별될 수 있는 패턴을 나타내므로 패턴 인식을 사용할 수 있습니다.
게다가 어떤 경우에는 인간 전문가가 텍스트를 검토하고 자신의 경험과 전문 지식을 바탕으로 인간이 작성했는지 판단할 수 있는 인간 평가가 있습니다.
또한 통계 분석이라는 도구를 사용하여 문자 및 단어 빈도, 사람이 작성한 텍스트와 다른 n-gram 분포와 같은 특정 통계 기능에 대해 AI 생성 텍스트를 확인할 수 있습니다.
모델을 사용하여 새로운 텍스트와 보이지 않는 텍스트에서 AI 생성 텍스트를 식별할 수 있습니다.
마지막으로, AI 기술은 빠르게 발전하고 있으며 항상 완벽하지는 않은 텍스트를 생성하는 새로운 방법이 있습니다.
결과: 분류자는 텍스트가 AI 생성 가능성이 있는 것으로 간주합니다. 👿
나는 시스템을 속일 수 없었다.
5. 이전 기사 확인
이 도구를 사용하여 많은 기사를 확인했습니다.
ChatGPT: +25년 시니어 프로그래머의 놀라운 교사
결과: 분류자는 텍스트가 AI에서 생성된 것 같지 않은 것으로 간주합니다. 😃
5가지 난이도로 설명하기: ChatGPT
결과: 분류자는 텍스트가 AI에서 생성된 경우 명확하지 않은 것으로 간주합니다.
정확합니다. 몇 가지 아이디어를 얻기 위해 ChatGPT와 "대화"했습니다. 😳
GitHub Copilot이 업무에 위협이 되지 않는 이유
결과: 분류자는 텍스트가 AI 생성 가능성이 매우 낮다고 간주합니다. 😃
☝️ 자신의 기사를 시도할 수 있습니다!
마지막 생각들
이것은 Open.ai의 또 다른 놀라운 도구입니다.
공식 페이지에는 정확도, 결정성 및 평가에 대한 매우 흥미로운 세부 정보가 있습니다.
'테크놀로지' 카테고리의 다른 글
| 사라진 갈락티카, 그리고 곤경에 처한 바드 #구글 #메타 #챗GPT (0) | 2023.02.12 |
|---|---|
| 챗GPT가 쏘아올린 공에 흔들리는 구글 #알파벳 #주가급락 (0) | 2023.02.12 |
| 챗GPT에 관한 6가지 비밀 #챗GPT #비밀 (0) | 2023.02.04 |
| 드디어 챗GPT 유료서비스 시작! #챗GPT #유료 (0) | 2023.02.02 |
| MIT가 뽑은 2023년 10대 혁신기술 #MIT #2023 (0) | 2023.02.02 |
