청버둥

생각의 나무(Tree of Thoughts)

생각의 나무(Tree of Thoughts)는 Yao와 Long이 2023년 발표한 논문 <Tree of Thoughts (ToT): A Framework for Advanced Problem Solving>에서 제안한 혁신적인 언어 모델 프롬프트 기법. 이 접근법은 복잡한 문제를 해결하기 위해 전략적 사고와 탐구 과정을 결합하여 설계되었다. ToT는 문제 해결 과정을 나무처럼 가지를 뻗는 구조로 시각화하며, 이를 검색 알고리즘과 연계해 체계적인 분석을 가능하게 한다. 이는 기존의 생각의 연쇄(Chain-of-Thought, CoT) 기법을 확장한 방식으로, 더 높은 수준의 창의적 사고와 문제 해결을 지원한다.

CoT에서 문제점은 회귀를 할 수 없다는 점이다. 끝까지 가고 결과를 본 다음 연쇄를 해야한다면, ToT는 중간에 회귀를 하고 바로 잡을 수 있다는 것이 가장 큰 매력.

ToT 작동 방식

문제 해결 과정을 나무 구조로 확장하며, 단계별로 다양한 아이디어와 경로를 탐색하는 데 초점을 둔다. 이 기법은 언어 모델이 단순히 다음 단어를 예측하거나 일직선으로 사고를 전개하는 것을 넘어, 전략적으로 다양한 가능성을 고려하고 최적의 해결책을 찾는 데 도움을 준다.

ToT 특징

Tree of Thoughts(ToT) 기법을 쉽게 설명하자면, 문제를 해결하는 데 있어 여러 가능성을 탐색하고 최적의 해결책을 찾아가는 과정을 나무와 같은 구조로 표현한 것. 이를 통해 언어 모델이 마치 사람처럼 여러 방향을 고려하고, 필요한 경우 이전 단계로 돌아가 다른 방법을 시도할 수 있다.

트리 구조

• ToT는 문제 해결 과정을 나무 구조로 표현하며, 문제 해결의 각 단계를 가지(branch)로 확장합니다.
• 각 가지는 하나의 아이디어, 선택, 또는 행동을 나타내며, 이를 통해 다양한 가능성을 동시에 탐구할 수 있습니다.
• 사용자는 이를 탐색기의 폴더 구조와 유사하게 이해할 수 있습니다. 상위 폴더(루트)는 문제의 초기 상태, 하위 폴더(가지)는 문제 해결 과정에서 파생된 선택들을 나타냅니다.
• 이 트리 구조는 비선형적 사고를 가능하게 하여 복잡한 문제에서도 다수의 경로를 고려할 수 있도록 합니다.

생각 생성 및 평가

• ToT는 언어 모델이 단순히 선형적으로 생각을 확장하는 것이 아니라, 여러 아이디어와 가능성을 동시에 생성하도록 유도합니다.
• 생성된 생각(가지)은 각기 다른 해결 방법이나 전략을 나타냅니다.
• 이후, 이러한 아이디어는 평가 기준(문제 해결 가능성, 효율성, 창의성 등)에 따라 분석됩니다.
• 이는 마치 사람이 여러 아이디어를 브레인스토밍한 뒤, 가장 적합한 해결책을 선택하는 과정과 유사합니다.

탐색 및 백트래킹

• ToT는 문제 해결 중 **탐색(search)**과 **백트래킹(backtracking)**을 지원합니다.
• 탐색: 여러 경로를 탐구하며, 어떤 경로가 최적의 해결책으로 이어질지 확인합니다.
• 백트래킹: 특정 경로에서 더 이상 진행할 수 없거나, 부적합하다고 판단되면 이전 단계로 돌아가 다른 경로를 탐구합니다.
• 이러한 기능은 동적이고 유연한 문제 해결을 가능하게 하며, 특히 복잡하고 비결정론적인 문제에 적합합니다.

주목받는 이유의 핵심

ToT는 기존의 선형적 접근(예: Chain-of-Thought)과 비교해 비선형적이고 체계적인 탐색 및 평가를 가능하게 합니다. 복잡한 문제에서 다수의 해결 가능성을 동시에 탐구하고, 최적의 해결책을 선택하는 능력 덕분에 창의적 문제 해결과 전략적 사고가 필요한 작업에서 큰 잠재력을 지니고 있습니다.

https://slashpage.com/haebom/z91kwev26981qmy46jpg

참고한 페이지이다. 간단 명료하게 잘 요약되어 있음.