관심있는 NLP 논문을 읽어보고 간단히 정리했습니다.
혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️
[Microsoft Research, University of illinois]
- multiple personas로 multi-turn self-collaboration을 통해 LLM을 cognitive synergist으로 변환, Solo Performance Prompting (SPP)
- SPP를 통해 internal knowledge acquisition 능력을 향상시키고, hallucination을 줄이며, reasoning capabilities를 유지
- 배경
- LLM은 여전히 knowledge-intensive & reasoning-intensive tasks에서 hallucination으로 인한 한계를 보임
- 어린이의 인지 발달과 관련된 pretend play & role-playing으로부터 biological intuition을 획득
- multiple LLM agent를 활용하는 기존의 방식은 fixed or task-specific personas를 사용하거나, 각 persona마다 개별 LLM instance를 필요로 한다는 문제점이 존재
- Related Works
- LLMs as role-playing agents
- LLM에게 persona나 role을 부여해주는 것이 generator behavior에 큰 영향을 줌
- AI society를 만드는 것에 대한 연구
- 기존까지는 agent 하나에 single persona를 부여하거나, perona의 개수를 고정하는 방식
- Improving reasoning and knowledge acquisition abilities in LLMs
- LLM은 hallucination과 인간과 같은 사고의 부재로 인해 각각 complex knowledge-intensive task, 그리고 reasoning-intensive task에서 어려움을 겪음
- CoT나 Self-Refinement와 같은 방법들로도 hallucination을 줄이거나 factuality를 향상시키는 것에 한계가 있음
- 외부 sources로부터 정보를 가져오는 방식으로도 모델의 추론 능력을 향상시킬 수는 없음
- LLMs as role-playing agents
- Contributions
- 주어진 태스크에 따라 persona를 dynamically 설정하고 multi-turn self-collaboration에 참여시킴으로써 single LLM을 cognitive synergist로 만드는 Solo Performance Prompting (SPP)를 구현
- Trivia Creative Writing, Codenames Collaborative and Logic Grid Puzzle 세 개의 challenging task에 대해 평가
- dynamic, fine-grained personas > fixed, coarse-grained personas
- Solo Performance Prompting
- SPP Task-Solving Procedure
- 1) Persona Identification: leader persona에 해당하는 AI Assistant를 포함하여 태스크 처리에 필요한 special personas를 identify
- 2) Beginning Remarks: 각 persona가 자신의 전문 지식을 바탕으로 주어진 문제를 어떻게 해결할지에 대한 beginning remark를 전달
- 3) Multi-Persona Iterative Collaboration: leader persona, AI Assistant가 초기 solution을 제안하고 다른 참여자들의 피드백을 수용하여 답변을 반복적으로 수정
- SPP Prompt Design
- System Principle: "..., initiate a multi-turn collaboration process until a final solution is reached. ... "
- Demonstration Examples: 1) AI Assistant & Math Expert로 Game of 24 task, 2) 다양한 요구 조건을 포함한 poem-writint task
- Task Prefix: "indentify the participants and collaboratively solve the following task step by step."
- SPP Task-Solving Procedure
- Results
- SPP는 LLM의 internal knowledge acquisition과 reasoning 능력을 효과적으로 향상시킬 수 있음
- LLM은 추가적인 fine-tuning 없이도 태스크 해결에 필요한 useful personas를 찾을 수 있음
- Dynamic personas가 고정된 숫자의 personas를 사용하는 것보다 성능 향상에 도움이 됨
- 각 persona에 대한 description을 같이 입력으로 제공하게 되는 경우 오히려 모델 성능이 저하됨
- persona의 역할을 fine-grained한 것이 그렇지 않은 것보다 더 좋음 (ex. 'Film Expert' & 'Sport Enthusiast' vs. 'Expert')
- Limitations
- 비록 fine-grained persona가 부여된다고 할지라도 정답이 여전히 부정확한 경우가 존재
- 어떤 태스크가 주어지더라도 동일한 두 개의 demonstration example을 SPP prompt와 함께 제공한다는 한계
- computational budget 자체가 제약이 될 수 있음
출처 : https://arxiv.org/abs/2307.05300
Unleashing Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration
Human intelligence thrives on the concept of cognitive synergy, where collaboration and information integration among different cognitive processes yield superior outcomes compared to individual cognitive processes in isolation. Although Large Language Mod
arxiv.org
'Paper Review' 카테고리의 다른 글
관심있는 NLP 논문을 읽어보고 간단히 정리했습니다.
혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️
[Microsoft Research, University of illinois]
- multiple personas로 multi-turn self-collaboration을 통해 LLM을 cognitive synergist으로 변환, Solo Performance Prompting (SPP)
- SPP를 통해 internal knowledge acquisition 능력을 향상시키고, hallucination을 줄이며, reasoning capabilities를 유지
- 배경
- LLM은 여전히 knowledge-intensive & reasoning-intensive tasks에서 hallucination으로 인한 한계를 보임
- 어린이의 인지 발달과 관련된 pretend play & role-playing으로부터 biological intuition을 획득
- multiple LLM agent를 활용하는 기존의 방식은 fixed or task-specific personas를 사용하거나, 각 persona마다 개별 LLM instance를 필요로 한다는 문제점이 존재
- Related Works
- LLMs as role-playing agents
- LLM에게 persona나 role을 부여해주는 것이 generator behavior에 큰 영향을 줌
- AI society를 만드는 것에 대한 연구
- 기존까지는 agent 하나에 single persona를 부여하거나, perona의 개수를 고정하는 방식
- Improving reasoning and knowledge acquisition abilities in LLMs
- LLM은 hallucination과 인간과 같은 사고의 부재로 인해 각각 complex knowledge-intensive task, 그리고 reasoning-intensive task에서 어려움을 겪음
- CoT나 Self-Refinement와 같은 방법들로도 hallucination을 줄이거나 factuality를 향상시키는 것에 한계가 있음
- 외부 sources로부터 정보를 가져오는 방식으로도 모델의 추론 능력을 향상시킬 수는 없음
- LLMs as role-playing agents
- Contributions
- 주어진 태스크에 따라 persona를 dynamically 설정하고 multi-turn self-collaboration에 참여시킴으로써 single LLM을 cognitive synergist로 만드는 Solo Performance Prompting (SPP)를 구현
- Trivia Creative Writing, Codenames Collaborative and Logic Grid Puzzle 세 개의 challenging task에 대해 평가
- dynamic, fine-grained personas > fixed, coarse-grained personas
- Solo Performance Prompting
- SPP Task-Solving Procedure
- 1) Persona Identification: leader persona에 해당하는 AI Assistant를 포함하여 태스크 처리에 필요한 special personas를 identify
- 2) Beginning Remarks: 각 persona가 자신의 전문 지식을 바탕으로 주어진 문제를 어떻게 해결할지에 대한 beginning remark를 전달
- 3) Multi-Persona Iterative Collaboration: leader persona, AI Assistant가 초기 solution을 제안하고 다른 참여자들의 피드백을 수용하여 답변을 반복적으로 수정
- SPP Prompt Design
- System Principle: "..., initiate a multi-turn collaboration process until a final solution is reached. ... "
- Demonstration Examples: 1) AI Assistant & Math Expert로 Game of 24 task, 2) 다양한 요구 조건을 포함한 poem-writint task
- Task Prefix: "indentify the participants and collaboratively solve the following task step by step."
- SPP Task-Solving Procedure
- Results
- SPP는 LLM의 internal knowledge acquisition과 reasoning 능력을 효과적으로 향상시킬 수 있음
- LLM은 추가적인 fine-tuning 없이도 태스크 해결에 필요한 useful personas를 찾을 수 있음
- Dynamic personas가 고정된 숫자의 personas를 사용하는 것보다 성능 향상에 도움이 됨
- 각 persona에 대한 description을 같이 입력으로 제공하게 되는 경우 오히려 모델 성능이 저하됨
- persona의 역할을 fine-grained한 것이 그렇지 않은 것보다 더 좋음 (ex. 'Film Expert' & 'Sport Enthusiast' vs. 'Expert')
- Limitations
- 비록 fine-grained persona가 부여된다고 할지라도 정답이 여전히 부정확한 경우가 존재
- 어떤 태스크가 주어지더라도 동일한 두 개의 demonstration example을 SPP prompt와 함께 제공한다는 한계
- computational budget 자체가 제약이 될 수 있음
출처 : https://arxiv.org/abs/2307.05300
Unleashing Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration
Human intelligence thrives on the concept of cognitive synergy, where collaboration and information integration among different cognitive processes yield superior outcomes compared to individual cognitive processes in isolation. Although Large Language Mod
arxiv.org
