<LLM> ChatGPT an ENFJ, Bard an ISTJ: Empirical Study on Personalities of Large Language Models

최근에 나온 논문을 읽어보고 간단히 정리했습니다.

혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️

---

usechatgpt init success

 

 

LLM 기반의 여러 챗봇들을 비교하여 어떤 성격유형을 지니는지 조사한 논문.
ChatGPT의 성격은 MBTI 기준 ENFJ로 분석됨.

 

 

• 배경

LLM이 성장함에 따라 이로부터 단순히 도구적 효용성만 느끼는 것이 아니라 일종의 의사소통 창구로 여기는 경향성도 있다고 볼 수 있습니다.

애초에 ChatGPT가 유명해지기 한참 전부터 국내에는 ‘이루다’라는 서비스가 굉장히 큰 주목을 받았었는데 이런 서비스를 바라보는 것과 유사한 관점이라고 느껴집니다.

본 논문에서는 LLM 기반의 챗봇들을 대상으로 MBTI 관련 질문들을 하여 각 성격 유형을 파악한 연구 결과를 담고 있습니다.

물론 MBTI라는 것이 절대적인 것도 아니고 더 정교한 심리 검사들이 존재하지만 여러 언어로 검증하기 편하다는 장점과 대중적으로 잘 알려져 있다는 특징 덕분에 MBTI 검사를 한 것 같습니다.

덕분에 눈길이 아주 잘 가는 논문 제목이 나온 것 같죠? 👀

 

 

• Robustness 검증 및 언어/모델별 실험

사람도 마찬가지지만 심리 검사라는 것은 질문이 주어지는 순서, 답변 방식 등에 따라 결과에 큰 영향을 줄 수도 있습니다.

따라서 본 논문에서는 챗봇이 지닌 성격 유형이 여러 검사나 방식에 대해서도 유사하거나 거의 동일한 수준으로 이어진다는 것을 확인합니다.

1. Prompt : scoring 방식 조정 - 1~7, 7~1, A~G 등
2. 질문 순서 : random shuffle
3. Paraphrase : 학습 데이터의 영향을 줄이기 위함

→ 결론 : ChatGPT는 다른 종류의 프롬프트(score), 질문 순서, rephrase 등에 대해 robust하게 ENFJ 성향을 보입니다.

 

또한 다른 영어가 아닌 다른 언어로 실험했을 때의 결과도 담고 있습니다.

1. Cross-lingual effects : ChatGPT는 다른 언어로 테스트해도 동일하게 ENFJ 성향을 보입니다.
2. Models : GPT family는 동일한 성격을 보이고, Bard, Spark, ERNIE Bot, ChatGLM 등은 다른 성향을 보입니다.

 

 

• 성향 조작 가능성

모델이 지닌 성향을 조절 가능한지에 대해서는 크게 두 가지 방식으로 실험합니다.

1. 직접적으로 성격, 혹은 인격을 지정해주고 실제로 달라지는지 확인합니다.
2. 간접적으로 상황이나 배경을 설명합니다.

실험 결과에 따르면 간접적으로 설명한 경우에는 ChatGPT의 성격을 ENFJ에서 다소 조작할 수 있을 것으로 보이나, 성격이나 인격을 직접적으로 지정해주는 경우에는 그럴 가능성이 거의 없다고 합니다.

 

이 실험에는 CoT 방식을 적용했음에도 불구하고 의도대로 다 조절이 되지는 않았음을 언급하고 있습니다.

또한 즐거운 ↔ 슬픈 분위기를 조성하여 ChatGPT의 반응이 달라지기를 유도해 보았으나 ENFJ 성격이 변하지는 않았다고 합니다.

 

→ 결론 : ChatGPT의 본질적인 ENFJ 성향 자체를 바꾸는 것은 쉽지 않아 보이지만, 외향(E)적인 성격을 내향(I)적인 성격으로 바꾸는 것은 가능성이 있어 보인다.

 

 

• 개인적 감상

최근에 LLM으로 다양한 인격체(발화 스타일)를 만드는 것에 관심을 가지게 되면서 알게 된 논문으로 굉장히 재밌게 읽었습니다.

사실 다른 테크니컬한 논문들에 비하면 이젠 이런 연구까지 다 하는구나..! 할수도 있겠지만, 트렌드를 확실히 잘 보여주는 것 같기도 하구요.

어쨌든 개인적으로는 굉장히 큰 도움이 될 것 같은 논문입니다.

LLM이 특정 성격 유형으로 분류될 수 있다는 점도 그렇고 이를 조작하기 위해서는 어떤 식으로 접근하는 것이 좋을지에 대해 배울 수 있었던 점이 좋았고, 생각보다는 조작이 쉽지 않겠다는 점이 아쉽게 느껴졌습니다(원래 세워둔 계획에 방해되는 느낌 🥲)

또 가능할지는 모르겠는데 이런 연구 결과를 실제 모델을 학습시킬 때 피드백을 제공했던 annotator들과 비교하는 것도 재밌을 거라는 생각이 들었습니다.

아무래도 ChatGPT가 급부상하며 인기를 얻게 된 데 가장 크게 기여한 것이 RLHF(Reinforcement Learning with Human Feedback)이다보니 이 영향이 가장 크지 않았을까 싶습니다.

 

 

 

 

출처 : https://arxiv.org/abs/2305.19926

ChatGPT an ENFJ, Bard an ISTJ: Empirical Study on Personalities of Large Language Models