🧠 ChatGPT의 답변 조종을 위한 Superposition Hypothesis

15 min readApr 10, 2024

10억명의 사용자를 가진 ChatGPT의 답변을 조종할 수 있다면 어떨까요? 가령 대화에 은근슬쩍 광고를 끼워 넣는다거나, 선거에 영향을 줄 수도 있겠죠. 이렇게 AI에 대한 인간의 개입 능력이 생긴다면, 이는 분명 엄청난 권력입니다.

ChatGPT같은 인공지능은 인공신경망을 통해 구현되고, 주로 이용되는 트랜스포머 모델 또한 MLP (Multi-Layer Perceptron) 뉴런 층을 가지고 있습니다. 하지만 우리는 이런 뉴런 조합으로 인공지능이 어떻게 ‘생각’할 수 있는지는 잘 모릅니다. 그래서 인공지능의 사고를 컨트롤할 수도 없죠. 뉴런의 역할과 작동원리를 잘 안다면, 뉴런을 조작하여 인공지능을 컨트롤할 수 있을텐데 말이죠.

그런데 Anthropic이라는 회사가 트랜스포머 AI 언어모델에서 인공 신경망의 뉴런 조작을 통해 답변을 컨트롤할 수 있음을 보입니다. 바로 오늘 소개할 Superposition Hypothesis와 Sparse AutoEncoder로 말이죠. 우선 발견한 뉴런부터 간단히 살펴봅시다. 아래는 Anthropic에서 분석한 뉴런들 중 하나인 암호화폐 뉴런입니다.

이 뉴런은 인공지능이 암호화폐에 관련된 텍스트를 생성할 때 활성화됩니다. 사진 우측을 보면 해당 뉴런이 비트코인과 관련된 발화에 강하게 활성화(activation)되는 것을 확인할 수 있습니다(진한 배경으로 표시). 이런 발견은 여러분이 ChatGPT와 대화할 때 특정 주제에 따라 활성화되는 뉴런이 있다는 것을 알려줍니다.

Anthropic은 암호화폐 뉴런 뿐 아니라 위 사진 같은 한국어 뉴런, 전치사 뉴런 그리고 유머 뉴런 등 다양한 뉴런들을 발견했습니다. 이런 신경망 내부의 뉴런 활성화를 연구하는 분야는 빠르게 발전하고 있고, 감사하게도 AI계의 거물인 두 회사, OpenAI와 Anthropic도 앞다투어 연구를 공개하고 있습니다.

Explainable AI

XAI(Explainable AI)라는 분야에는 인공지능의 인공신경망 속 뉴런들이 ‘지능’에 어떤 기여를 하는 지를 알아내기 위한 연구가 있습니다. 말 그대로 블랙박스인 AI 작동을 설명하기 위한 시도인데요. 해당 분야는 AI발전에도 중요한 역할을 해왔습니다. 대표적으로 OpenAI를 이끈 연구자 중 한명인 일리야 수츠케버에 따르면 2017년 OpenAI에서 발견한 감성뉴런(sentiment neuron)이 ChatGPT의 개발을 이끈 중요한 발견이었다고 하죠. 이처럼 인공 신경망을 이해하는 건 인공지능 자체의 발전과 맞물려 있습니다. 그리고 불과 몇 개월 전 Anthropic이 LLM의 대표격 모델인 트랜스포머에서 약 4000개의 뉴런을 대량 발견해버립니다.

정확히 표현하면 인공 신경망의 뉴런 4000개를 발견한 게 아니라 뉴런들에 분산되어 있는 4000개의 기능을 분리해 냈습니다. 여기서 ‘분리’라고 표현한 이유는, 신경망에서 하나의 기능이 여러 뉴런에 나뉘어 존재하고 또, 하나의 뉴런이 여러 개의 기능을 담당하기 때문입니다. 연구를 통해 밝혀진 재밌는 현상이죠. 그리고 이런 개념을 superposition hypothesis 라고 부릅니다. 이렇게 뉴런과 기능이 중첩되어 독립적인 것처럼 존재했기 때문에 인공 신경망을 설명하려는 연구들이 빠르게 발전하지 못했던 겁니다.

이해의 편의상 이 글에서는 분리된 기능 노드도 뉴런이라 표현하겠습니다

이렇게 ‘하나의 뉴런이 하나 이상의 기능을 한다’라는 문제에서 출발해 어떻게 혼재된 기능을 분리해낼 수 있었을까요? Anthropic은 간단한 방식으로 풀어나갑니다. “하나의 뉴런이 여러 개의 기능을 담당한다면, 기능 별로 나뉠 때까지 분리해보자!” 입니다. 정확히는 뉴런 층 전체의 활성화(activation)값으로 이루어진 벡터에서, 각각의 차원이 하나의 기능을 할 때까지 벡터를 확장하는 것입니다. 이를 위해 Sparse AutoEncoder라는 구조를 활용해 뉴런의 활성화 벡터에서 기능을 분리해냅니다.

Anthropic은 512차원의 MLP 뉴런층의 활성화 벡터를 기능별로 차원을 가진 사전 벡터로 변환하였습니다.

우선, 처음에 512 차원 길이의 빽빽한 활성화 벡터가 있다고 가정해 봅시다. 이를 서서히 확장하면서 4096차원의 벡터가 되면 8배나 차원이 늘어난 벡터는 아주 느슨해질 겁니다. 벡터 공간의 부피는 차원에 따라 기하급수적으로 늘어나기 때문이죠. 이렇게 느슨해진 벡터를 sparse하다고 합니다. 정확히는 넓은 차원을 사용하며 벡터 요소들에 0값이 많아지게 됩니다.

이 때, 우리의 목적은 빽빽했던 활성화 벡터(dense activation vector)를 기능 별로 분해한 느슨한 기능 벡터(sparse feature vector)로 분리하는 것입니다. 이런 접근 방식을 Dictionary learning이라고 부르는데, 중첩되어 있는 기능을 분해하여 4096개의 벡터 요소 요소에 기능을 사전처럼 분리하여 정돈하기 때문입니다. 이렇게 뉴런의 활성화를 사전 벡터로 변환하는 모델을 위해 Sparse AutoEncoder라는 구조를 활용하는데, 이 아이디어는 아주 중요하니 좀 더 자세히 들여다 봅시다.

Sparse AutoEncoer

AutoEncoder란 대표적인 Encoder-Decoder 구조의 신경망입니다. AutoEncoder를 완전히 이해할 필요는 없습니다. 여기서 핵심은 이 구조가 인코더 파트와 디코더 파트로 이루어져 있다는 점이죠. 인코더와 디코더는 각각 벡터를 다른 크기의 차원으로 매핑해줍니다. 인코더는 뉴런 활성화 층 벡터를 사전 벡터(dictionary vector)로 변환하고, 디코더는 이 벡터로 원본 뉴런 활성화 층을 복원합니다. 그 과정에서 Sparse AutoEncoder는 중간의 사전 벡터에 희소성(sparsity)를 강제하여 각각의 차원에 하나의 기능만 들어가도록 강제합니다. Sparse해진 벡터로 분석이 쉬워지는 건 덤이고요. 자 그러면 우리는 뉴런 활성화를 사전 벡터 즉 단일 의미(Mono-semanticity)로의 분리에 성공했습니다.

Sparse AutoEncoder를 활용한 뉴런 분석은 LessWrong forum에서 Lee Sharkey에서 먼저 연구되었으나, 독립적인 연구이고 Anthropic의 Toy Models of Superposition에 일부 영향을 받았다고 합니다.

이론적 분석

Anthropic이 보여준 단일 의미(Mono-semanticity) 벡터를 음미하기 전에 superposition hypothesis를 더 깊게 이해해 봅시다. 즉 여러 뉴런에 여러 기능이 산재해 있는 이유를 이해해야 합니다. 이는 별다른 문제가 아닌 것 같지만 이상한 점이 있습니다. 바로 뉴런 개수보다 기능의 개수가 많다는 점입니다. 선형 대수를 공부한 사람들은 띠용할겁니다. 차원 개수보다 많은 기능이 존재한다는 게 말이 됩니까? (엄근진) 하지만 이를 잘 설명하는 아주 통찰력 있는 의견들이 있습니다. 바로 차원끼리 차원을 공유하여 또 다른 직교성(orthogonality)가 일어난다는 점입니다. 그래서 superposition이 생기고 이를 더 높은 차원으로 벡터를 변환해서 분해할 수도 있게 됩니다.

우리는 차원 내에 표현할 수 있는 능력이 제한되어 있다는 것을 알고 있습니다. xy그래프에는 x와 y 값만 표현할 수 있지 z를 표현할 수는 없습니다. 그러니 위 그림을 보면 어이가 없습니다. “저게 된다고? 기저(basis)만큼 차원을 써야지!” 하지만 저희가 다루는 것은 2차원이나 3차원이 아니라 수백 차원입니다. 차원의 저주로 인해 부피가 어마어마하게 늘어나는 만큼, 서로 간섭할 일도 거의 없다는 거죠.

그리고 여기에 Compressed sensing이라는 이론적 설명이 뒷받침됩니다. Compressed sensing은 신호 처리에서 데이터가 충분히 sparse하다면 기저(basis)가 부족해도 완전히 신호를 복원할 수 있다는 이론인데요. 이전 연구에 따르면 트랜스포머의 기능은 sparse하게 사용되기 때문에, Compressed sensing의 조건에 부합합니다. 이게 더 적은 차원에서 많은 기능을 사용해도 문제가 없는 이유이고, superposition hypothesis에서 차원을 공유해서 사용한다는 중요한 근거입니다.

Superposition으로 인해, 적은 뉴런으로도 많은 뉴런을 가진 것처럼 모델을 시뮬레이션할 수 있습니다

개인적으로 놀라운 점은 이런 통찰이 트랜스포머 모델의 positional embedding이 작동하는 인사이트와 비슷하다는 점입니다. 저는 예전 트랜스포머를 처음 공부할 때 positional embedding이 token embedding과 동일한 차원을 이용해도 문제없는 게 너무 이해가 안됐습니다. 당연히 둘은 다른 정보를 전달하기 때문에 다른 차원을 이용해야 할 것 같았거든요. 그런데도 불구하고 트랜스포머 모델은 token embedding과 positional embedding을 차원을 연결(concat)하는 게 아니라 단순히 더하기만 합니다. 하지만 이는 잘 작동하는데 바로 위와 동일한 선험적 통찰에 기반합니다. 높은 차원에서 추가적인 직교성(approximate orthogonality)이 작동한다는 점이죠.

정말 흥미로운 분석입니다. 마치 기계 뿐 아니라 인간의 뉴런도 이렇게 superposition hypothesis에 기반해 활성화될 것 같죠. 만약 그렇다면 어떤 개념에 대해 생각할 때 superposition으로 인해 여러 개념이 중첩된 뉴런에 관련된 개념들을 강제로 활성화되는 것이 효율적이라 이렇게 학습된 것은 아닐까 하는 추측도 듭니다.

자 우리는 기막힌 이론적 분석을 가지고 AI 뉴런의 비밀을 파헤쳤습니다. 하지만 멋들어진 수식과 분석이 언제나 쓸모가 있는 건 아닙니다. 위의 사실들로 우리가 ChatGPT가 교수님이 내 준 과제를 더 풀어주는 데에는 도움이 안될 것 같거든요. 다른 활용 방안이 있을까요?

그래서 어디에 쓰일까

특정 주제에 따라 활성화되는 뉴런이 있다면, 특정 뉴런을 활성화시켜서 해당 주제에 대한 생성을 강제할 수 있을까요? 앞서 말했던 AutoEncoder 구조를 다시 상기해봅시다. 우리는 인코더와 디코더를 가지고 있지만, 훈련 이후에는 활성화 정도(activation)를 사전 (dictionary vector)로 변환하기 위해 인코더만 사용하게 되죠. 여기서 학습에 사용된 디코더를 이용해 사전 벡터를 활성화 벡터(activation vector)로 바꿀 수 있을까요? 다시말해 우리가 의도한 대로 뉴런을 조종할 수 있을까요. 답변은 Anthropic의 한문장으로 대체해 보겠습니다.

Sparse autoencoder features can be used to intervene on and steer transformer generation.

무서운 말입니다. 최근 생성형 AI로 만들어지는 데이터가 쏟아지는 판국에 이를 원하는 방향으로 컨트롤할 수 있다는 건 설레면서도 걱정되는 일입니다.

몇몇 분들은 이걸 보고 AI algnment에 쓸 수 있겠는데? 하실 겁니다. 맞습니다. 이 연구는 AI safey분야 중에서도 AI algnment를 위한 연구 결과입니다. AI alignment란 인공지능의 의도와 우리의 의도를 align 즉 일치시키는 것을 의미합니다. AI Alignment는 매우 중요하고 모두가 집중하고 있는 분야입니다. 지금의 안전을 위해서도, AGI와 인류의 공존을 위해서도요. 또 주가 방어를 위해서도 중요합니다. 최근 구글 Gemini에서 생성한 아래 이미지는 일론 머스크의 트윗에 언급되며 논란이 되기도 했죠. (제 알파벳 주식 폭락은 덤입니다)

Anthropic의 연구의 중요성은 기존의 AI alignmen에 새로운 방향성을 제시했다는 점입니다. AI alignment는 RLHF같은 피드백 기반 강화 학습으로 선호를 최적화(preference optimization)하는 훈련에 기반한 방식, 또는 트랜스포머의 디코딩 전략(decoding strategy)에서 토큰 레벨로 생성을 조작하는 방식이 있었습니다. 하지만 AI alignment를 위해 이제 뉴런에 직접적으로 의도를 가지고 원하는 방향으로 AI의 사고에 개입할 수 있게 되었습니다.

뉴런을 컨트롤하는 건 생각보다 복잡한 일입니다. Circuit이라 불리는 뉴런의 다양한 조합이 residual stream이라는 논리 흐름에 각 신경망의 레이어들이 기여하는 방식으로 AI는 사고합니다. 그러니 이런 뉴런 회로(neural circuit)를 조심히 다뤄야겠죠. 이런 방식으로 접근해보죠. 뉴런을 비활성화하는 건 지식의 저주를 효과적으로 방지할 수 있는 방법입니다. 인간은 임의로 망각하지 못하지만 AI는 뉴런을 비활성화하여 알고 있던 사실을 모르게 할 수 있죠.

초기 LLM은 쉽게 폭탄 제조 방법을 알려줬습니다. (AI Jailbreak)

예를 들어 ChatGPT에 누가 폭탄 제조 방법을 물어봤을 때, 이는 나쁜 의도가 있을 수 있어서 그 방법을 대답해주면 안됩니다. 그런 상황에서 우리그걸 막기 위해 ‘폭탄’ 뉴런과 ‘제조’ 뉴런이 동시에 활성화되는 회로(circuit)가 감지되면 해당 회로를 비활성화시켜야겠죠. LLM은 많은 것을 알고 있는 만큼 위험하기 때문에, AI safety는 중요하고 유망한 분야입니다. 그러니 미래에는 방지해야할 혹은 켜두어야할 뉴런 회로(circuit)를 연구하는 직업이 생길지도 모르겠네요. (혹은 그마저도 AI로 자동화 하거나요)

결론

AI의 생각을 컨트롤할 수 있는 힘이 축복이기만 한 건 아닙니다.

스파이더 맨의 삼촌 ‘*벤 파커’*는 ‘*피터 파커’*에게 아주 유명한 말을 해줍니다.

큰 힘에는 큰 책임이 따른다.

마치 AI를 조종할 강력한 힘으로 인공지능의 의도를 좋은 방향을 만들 수 있는 만큼, 악한 방향을 향할 수도 있는 것 처럼요. 책임과 선택권이 기업들에게 주어진 만큼, 그들이 올바른 선택을 하도록, 그리고 그 선택의 기여하기 위해 저도 앞으로 노력해야겠습니다.

또한 Sparse AutoEncoder를 이용한 방식의 분석이 LLM이라 불리는 엄청나게 많은 뉴런을 가진 GPT4나 Claude3 모델에서도 잘 분석을 해낼지는 모릅니다. Anthropic의 연구는 단일 레이어의 트랜스포머 모델을 활용하여 512의 MLP 뉴런을 4096개의 feature로 분리한 분석이기 때문이죠. Anthropic의 Report에서 말한 것처럼 차원이 늘어날수록 부피가 기하급수적으로 늘어나기에, LLM에서 우리가 기대했던 기능으로 하나하나 뉴런이 분리될 지는 미지수입니다. 그래도 OpenAI와 Anthropic이라는 킹콩과 고질라가 열심히 분석하고 있으니 머지않아 LLM들의 뉴런 분석도 빠르게 완성되지 않을까요? 그 말은 곧 ChatGPT 뉴런이 조작된 채로 우리와 대화할 지도 모릅니다. 물론 이런 임의 조작이 성능 저하를 일으키지 않는다는 전제 하에 말이죠.

실험에 사용된 모델은 1000억 토큰을 학습했지만 요즘 시대에는 작은 모델입니다.

이번 포스팅은 Explainable AI 시리즈의 첫 화였습니다! 이번 화는 꼭 AI 엔지니어가 아니더라도 읽을 수 있도록 노력했습니다. 다음 화에서는 더 딥하게 Circuit, Feature splitting & Universality등 개념적으로 오늘 설명이 부족했던 부분과, 이것들을 이용해 어떻게 Anthropic이 신경망이 FSM(finite state machine)처럼 추론하는 지에 대하여 알아보겠습니다. 또 이 Anthropic의 발표 이후, 최근 OpenAI는 TDB라는 뉴런 분석 툴까지 오픈소스로 공개했습니다. 바로 그 분석 도구인 TDB를 활용해, 언어 모델의 뉴런을 직접 분석해보는 과정을 공유해보겠습니다. 환경 세팅부터 GPT2같은 모델 분석을 따라할 수 있도록 준비해서 올려보겠습니다. 그러면 또 누군가 엄청난 대박 뉴런을 발견할 지도 모르죠.

그럼 다음 화에 계속!

참고 링크

실제 연구 https://transformer-circuits.pub/2023/monosemantic-features
Anthropic thread https://transformer-circuits.pub/
LessWrong thread https://www.lesswrong.com/tag/interpretability-ml-and-ai
OpenAI thread https://distill.pub/2020/circuits/
개념 정리 https://texonom.com/Explainable-AI-e1b35d4b9a6342dc863578350a7b4325