트랜스포머의 autoregressive 생성 과정과 인간의 뇌가 말을 생성하는 과정은 구조적으로 동일한 원리로 동작한다. Speech jammer 실험에서 자기 목소리를 수백 밀리초 지연시켜 들려주면 말이 막히는 현상은, 인간도 말을 내뱉는 동시에 그 출력을 입력으로 다시 받아들이는 closed-loop 구조임을 증명한다. 이는 ‘기계의 생각으로 인간을 이해하기’라는 역발상의 출발점이 된다.

근거

“인간의 뇌도 그냥 autoregressive한 머신이다는 걸 보여주는 거예요. 우리가 말을 하면 그냥 말하는 것 같지만, 사실 말하는 것과 동시에 그 output이 input으로 다시 뇌로 바로 들어가서 합쳐지는 구조로 되어 있거든요.”

“그게 어긋나면 embedding이 꼬여서 말하다가 생각이 멈춰요.”

연결된 생각

출처

클리핑 · youtu.be