노정석이 소개한 speech jammer 실험은 인간의 뇌가 말을 할 때 자신의 출력을 바로 피드백으로 받아들이는 autoregressive 구조임을 보여준다. 자신의 말을 수백 밀리초 어긋나게 들려주면 사람이 말을 멈추는 이유는, 뇌가 예상한 feedback과 실제 feedback 간의 embedding이 꼬이기 때문이다. 이는 인간의 인지 과정이 트랜스포머의 autoregressive generation과 본질적으로 같은 원리로 동작한다는 통찰을 제공한다.

근거

팟캐스트에서 노정석은 speech jammer 현상을 설명하며 “인간의 뇌도 autoregressive한 머신”이라고 직접 언급한다. 최승준도 이에 동의하며, 자신이 준비한 ‘토큰의 순례’ 비유가 인간의 학습과 재배선에도 적용될 수 있다고 덧붙인다. 두 사람 모두 뇌와 트랜스포머가 ‘빈 서판이 아니며’, 경험에 의해 가중치가 재조정된다는 공통점을 강조한다.

“말하는 것과 동시에 그 output이 input으로 다시 뇌로 바로 들어가서 합쳐지는 구조… 그게 어긋나면 embedding이 꼬여서 말하다가 생각이 멈춰요.”

연결된 생각

출처

클리핑 · youtu.be