바틀렛 | 00:00

They call you the godfather of AI.

사람들이 당신을 AI의 대부라고 부르더라고요?

So what would you be saying to people about their career prospects in a world of superintelligence?

그렇다면, 초지능 시대에 사람들한테 앞으로 뭘 하면 좋을지 추천해 주실 수 있으세요?

────────────────────

힌튼 | 00:07

Trained to be a plumber.

배관공 기술부터 배우세요.

────────────────────

바틀렛 | 00:09

Really?

진심이세요?

────────────────────

힌튼 | 00:10

Yeah.

네.

────────────────────

바틀렛 | 00:11

OK, how do I become a plumber?

오케이, 어떻게 해야 배관공이 될 수 있지?

────────────────────

Geoffrey Hinton is the Nobel Prize-winning pioneer

제프리 힌튼은 노벨상을 받은 AI계의 선구자로서,

whose groundbreaking work has shaped AI

AI 분야를 완전히 뒤바꾼 연구로 유명한 인물입니다.

and the future of humanity.

그리고 인류의 미래까지요.

────────────────────

바틀렛 | 00:19

Why do they call you the godfather of AI?

근데 왜 사람들이 박사님을 AI의 대부라고 부르는 거죠?

────────────────────

힌튼 | 00:21

Because there weren't many people who believed that we could model AI on the brain.

왜냐하면, 예전엔 뇌를 본떠서 AI를 만들 수 있다고 믿는 사람이 거의 없었거든요.

So that it learned to do complicated things,

지금은 그걸 통해 AI가 복잡한 일들을 배울 수 있게 된 겁니다.

like, recognize objects and images or even do reasoning.

예를 들면, 사물이나 이미지를 구분하고, 심지어 추론까지 할 수 있게 된 거죠.

And I pushed that approach for 50 years.

그리고 제가 방식을 거의 50년 동안 밀어붙였죠.

And then Google acquired that technology.

그러다 결국 구글이 그 기술을 인수했고요.

And I worked there for 10 years

그리고 제가 구글에서 10년간 일도 했습니다.

on something that's now used all the time in AI.

그렇게 지금은 그게 AI 전반에 널리 쓰이고 있는 기술이 됐죠.

────────────────────

바틀렛 | 00:37

And then you left?

그리고 나서 그만두셨죠?

────────────────────

힌튼 | 00:38

Yeah.

맞아요.

────────────────────

바틀렛 | 00:39

Why?

왜죠?

────────────────────

힌튼 | 00:40

So that I could talk freely at a conference.

그래야 학회에서 자유롭게 얘기할 수 있을 테니까요.

────────────────────

바틀렛 | 00:41

What did you want to talk about freely?

어떤 이야기를 자유롭게 하고 싶으셨던 건가요?

────────────────────

힌튼 | 00:43

How dangerous AI could be.

AI가 얼마나 위험해질 수 있는지요.

I realized that these things will one day get smarter than us,

언젠가는 AI가 인간보다 더 똑똑해질 거란 걸 깨달았거든요.

and we've never had to deal with that.

인류는 그런 상황을 한 번도 겪어본 적이 없잖아요?

And if you want to know what life's like when you're not the apex intelligence,

만약 여러분이 더 이상 최고의 지성체가 아닌 세상에 대해 알고 싶다면,

ask a chicken.

닭한테 한번 물어보시죠?

So there's risks that come from people misusing AI,

그러니까, 사람들이 AI를 잘못 활용해서 생기는 위험도 있고,

and then there's risks from AI getting super smart

또 하나는, AI가 너무 똑똑해지면서 생기는 위험인데,

and deciding it doesn't need us.

결국 더 이상 인간이 필요 없다고 판단할 수도 있겠죠.

────────────────────

바틀렛 | 01:01

Is that a real risk?

그게 진짜 현실적인 위험이란 말씀이세요?

────────────────────

힌튼 | 01:02

Yes, it is.

네, 맞습니다.

But they're not going to stop it because it's too good for too many things.

근데 아무도 멈출 수가 없어요. 이미 너무 많은 분야에서 굉장히 유용하게 쓰이고 있으니까요.

────────────────────

바틀렛 | 01:06

What about regulations?

그렇다면, 규제하면 되지 않나요?

────────────────────

힌튼 | 01:07

They have some, but they're not designed to deal with most of the threats.

일부 규제가 있긴 한데, 대부분의 위협을 다루기엔 턱없이 부족하죠.

Like, the European regulations have a clause that says

예를 들어, 유럽의 AI 규제에는 이런 조항이 있어요.

None of these apply to military uses of AI.

"군사용 AI에는 이 규제를 적용하지 아니한다" 고요.

────────────────────

바틀렛 | 01:14

Really?

진짜요?

────────────────────

힌튼 | 01:15

Yeah, it's crazy.

네, 완전히 X쳤죠.

────────────────────

바틀렛 | 01:16

One of your students left OpenAI.

박사님의 제자 중 한 명이 오픈AI를 그만뒀다고 하던데요?

────────────────────

힌튼 | 01:18

Yeah.

맞습니다.

He was probably the most important person

그 친구가 아마 가장 핵심적인 인물이었을 겁니다.

behind the development of the early versions of ChatGPT.

초기 챗GPT를 만드는 데 큰 역할을 했죠.

And I think he left because he had safety concerns.

그리고 그 친구가 떠난 이유도 안전성 문제에 대한 우려 때문일 겁니다.

We should recognize that this stuff is an existential threat.

AI가 인류의 존재 자체를 위협할 수 있는 기술이라는 걸 인지해야 하고,

And we have to face the possibility

그리고 그런 가능성을 직시해야만 합니다.

that unless we do something soon,

지금 당장 어떤 조치를 취하지 않는다면,

we're near the end.

정말 인류의 끝이 가까워질 수도 있어요.

────────────────────

바틀렛 | 01:35

So let's do the risks in what we end up doing in such a world.

그럼 우리가 결국 하게 될 선택들 속에 어떤 위험이 있는지를 한 번 따져봅시다.

Geoffrey Hinton,

제프리 힌튼 박사님,

they call you the godfather of AI.

사람들이 박사님을 AI의 대부라고 부르잖아요?

────────────────────

힌튼 | 01:47

Yes, they do.

맞아요. 그렇게들 부르죠.

────────────────────

바틀렛 | 01:48

Why do they call you that?

왜 그렇게 부른다고 생각하시나요?

────────────────────

힌튼 | 01:50

There weren't that many people

처음에는 그렇게 많지는 않았어요.

who believed that we could make neural networks work,

신경망을 제대로 작동하게 만들 수 있다고 믿는 사람들이 말이죠.

artificial neural networks.

그러니까, 인공신경망이라는 걸요.

So for a long time in AI,

AI 연구 초기부터 오랫동안,

from the 1950s onwards,

그러니까 1950년대부터 시작해서,

there were kind of two ideas about how to do AI.

AI를 어떻게 만들지에 대한 두 가지 아이디어가 있었어요.

One idea was that sort of core of human intelligence was reasoning.

하나는 인간 지능의 핵심은 '추론'이라는 관점이었죠.

And to do reasoning, you needed to use some form of logic.

추론하려면 결국 어떤 형태로든 논리체계가 필요하니까,

And so AI had to be based around logic.

AI도 논리를 중심으로 설계되어야 한다는 의견이었어요.

And in your head, you must have something like symbolic expressions

사람 머릿속엔 뭔가 기호처럼 표현된 생각들이 있고,

that you manipulated with rules.

그걸 규칙에 따라 조작하면서 사고한다는 거였죠.

And that's how intelligence worked.

그게 바로 지능이 작동하는 방식이라고 생각했던 겁니다.

And things like learning or reasoning by analogy,

그리고 학습이라든가, 비유적으로 추론하는 능력 같은 건요,

they'll all come later once we've figured out how basic reasoning works.

기본적인 추론 방식만 제대로 이해하면, 그런 건 다 나중에 따라올 거라고 봤고요.

There was a different approach, which is to say,

그리고 또 다른 접근 방식이 있었는데 그건,

let's model AI on the brain,

AI를, 뇌를 본떠서 만들어보자는 거였죠.

because obviously the brain makes us intelligent.

왜냐하면 뇌가 우리를 똑똑하게 만드는 건 분명하니까요.

So simulate a network of brain cells on a computer

그래서 컴퓨터 안에서 뇌세포 네트워크를 시뮬레이션해서,

and try and figure out how you would learn strengths of connections between brain cells.

그 뇌세포들 간 연결 강도를 학습시키면 어떻게 학습하는지 연구해 보자는 거였어요.

So that it learned to do complicated things,

그렇게 하면 AI가 복잡한 일을 배울 수 있을 거라고 본 거죠.

like recognize objects and images,

예를 들면, 사물이나 이미지를 구분한다거나,

or recognize speech,

아니면 말소리를 인식한다거나,

or even do reasoning.

심지어 추론까지 말이죠.

I pushed that approach for like 50 years.

저는 그 방식을 거의 50년 동안 밀어붙였어요.

Because so few people believed in it,

왜냐하면 그걸 믿는 사람이 정말 드물었으니까요.

There weren't many good universities that had groups that did that.

그 당시엔 그런 연구를 하는 팀이 있는 좋은 대학도 많지 않았어요.

So if you did that,

그래서 만약 그걸 연구하고 있으면,

the best young students who believed in that came and worked with you.

그걸 믿는 유능하고 젊은 학생들이 자연스럽게 몰려왔겠죠?

So I was very fortunate in getting a whole lot of really good students.

그 덕분에 저는 운 좋게도 정말 훌륭한 제자들을 많이 만날 수 있었어요.

────────────────────

바틀렛 | 03:14

Some of which have gone on to create and play an instrumental role in creating platforms like OpenAI.

그중 몇 명은 나중에 오픈AI 같은 플랫폼을 만드는 데 핵심적인 역할을 하게 됐죠?

────────────────────

힌튼 | 03:20

Yes, so Ilya Sutskever will be a nice example, a whole bunch of them.

맞아요, 일리야 서츠케버가 대표적인 예고, 그런 학생들이 정말 많았어요.

────────────────────

바틀렛 | 03:25

Why did you believe that modeling it off the brain was a more effective approach?

근데 왜 굳이 뇌를 본떠서 AI를 만드는 방식이 더 효과적이라고 보신 건가요?

────────────────────

힌튼 | 03:30

It wasn't just me believed it.

그렇게 믿었던 건 저 혼자만이 아니었어요.

Early on,

초기부터,

John von Neumann believed it

본 노이만도 그 생각을 했고,

and Alan Turing believed it.

앨런 튜링도 마찬가지였죠.

And if either of those had lived,

만약 둘 중 한 사람이라도 더 오래 살았다면,

I think AI would have had a very different history.

AI의 역사는 지금과는 완전히 달라졌을 거예요.

But they both died young.

근데 안타깝게도 두 분 다 젊은 나이에 세상을 떠났죠.

────────────────────

바틀렛 | 03:42

You think AI would have been here sooner?

그럼, AI가 더 빨리 발전했을 수도 있었다는 말씀이네요?

────────────────────

힌튼 | 03:44

I think the neural net approach would have been accepted much sooner if either of them had lived.

둘 중 한 사람만이라도 살아 있었다면, 신경망 방식은 훨씬 일찍 받아들여졌을 거라고 봐요.

────────────────────

바틀렛 | 03:51

In this season of your life, what mission are you on?

지금 이 시점에 박사님은 어떤 사명을 갖고 살아가고 계신가요?

────────────────────

힌튼 | 03:55

My main mission now is to warn people how dangerous AI could be.

지금 제 가장 큰 사명은, AI가 얼마나 위험할 수 있는지를 세상에 알리는 거예요.

────────────────────

바틀렛 | 04:01

Did you know that when you became the godfather of AI?

AI의 대부가 됐을 때, 그런 위험까지 알고 계셨던 건가요?

────────────────────

힌튼 | 04:05

No, not really.

아니요, 꼭 그렇지만은 않았죠.

I was quite slow to understand some of the risks.

저도 특정 위험성을 이해하는 데 꽤 시간이 걸렸어요.

Some of the risks were always very obvious,

물론, 어떤 위험들은 처음부터 아주 분명했죠.

like, people would use AI to make autonomous lethal weapons.

예를 들면 AI로 자율 살상 무기를 만든다던가,

That is, things that go around deciding by themselves who to kill.

그러니까, 누구를 죽일지 스스로 결정하는 기계 같은.

Other risks, like the idea that they will one day get smarter than us,

또 다른 위험은, 언젠가는 AI가 인간보다 더 똑똑해질지도 모른다는 생각이었어요.

and maybe would become irrelevant.

그땐 우리가 쓸모없는 존재가 될 수도 있으니까요.

I was slow to recognize that.

저는 그걸 알아차리는 데 시간이 좀 걸렸어요.

Other people recognized it 20 years ago.

다른 사람들은 20년 전부터 그 가능성을 보고 있었는데,

I only recognized it a few years ago that that was a real risk that might be coming quite soon.

저는 불과 몇 년 전에야, 그게 조만간 닥칠 수 있는 진짜 위험이라는 걸 깨달았어요.

────────────────────

바틀렛 | 04:36

How could you not have foreseen that if...

어떻게 그걸 미처 예상하지 못하셨을까요?

with everything you know here about cracking the ability for these computers to learn,

컴퓨터가 학습할 수 있는 능력을 가능하게 만든 사람이 바로 박사님인데,

similar to how humans learn,

게다가 인간이 배우는 방식과 비슷하게 말이죠.

and just introducing any rate of improvement.

그리고 거기에 발전 속도를 조금이라도 붙여주기 시작한다면...

────────────────────

힌튼 | 04:49

It's a very good question.

정말 좋은 질문입니다.

How could you not have seen that?

어떻게 그걸 몰랐을까 싶을 겁니다.

But remember, neural networks 20, 30 years ago

근데 기억해 보면, 20~30년 전의 신경망은요,

were very primitive in what they could do.

할 수 있는 게 굉장히 원초적이었어요.

They were nowhere near as good as humans at things like vision and language and speech recognition.

시각, 언어, 음성 인식 같은 건 인간에 비하면 한참 못 미쳤죠.

The idea that you have to now worry about it getting smarter than people, that seems silly then.

그래서 AI가 인간보다 똑똑해질까 봐 걱정한다는 건, 그땐 정말 말도 안 되는 소리처럼 느껴졌거든요.

────────────────────

바틀렛 | 05:08

When did that change?

그런 인식이 언제쯤 바뀌었나요?

────────────────────

힌튼 | 05:10

It changed for the general population when ChatGPT came out.

대중의 인식은 아마 챗GPT가 나오고 나서야 많이 달라졌을 겁니다.

It changed for me

그리고 저한테는,

when I realized that the kinds of digital intelligences we're making

우리가 만들고 있는 디지털 지능이라는 게

have something that makes them far superior to the kind of biological intelligence we have.

인간의 생물학적 지능보다 훨씬 뛰어나게 만드는 어떤 특성이 있다는 걸 깨달았을 때였어요.

If I want to share information with you,

예를 들어, 제가 어떤 정보 당신과 나누고 싶다고 해봅시다.

so I go off and I learn something.

그럼 저는 어디 가서 뭔가를 배우겠죠?

And I'd like to tell you what I learned.

그리고 제가 배운 걸 당신한테 알려주고 싶을 겁니다.

So I produced some sentences.

그래서 전달할 문장들을 만들어내게 되는 거죠.

This is a rather simplistic model, but roughly right.

물론, 이건 좀 단순화한 이야기이긴 한데, 대체로 맞는 얘기예요.

Your brain is trying to figure out,

우리의 뇌는 이런 식으로 생각해요.

how can I change the strengths of connections between neurons?

"신경세포들 사이 연결 강도를 어떻게 바꿔야 할까?"

So I might have put that word next.

"저 말 다음에 나올 단어는 아마 이거 같은데?"

And so you'll do a lot of learning when a very surprising word comes,

그래서 전혀 예상 못 한 단어가 나오면, 뇌는 그때 엄청나게 학습하게 돼요.

and not much learning when it's a very obvious word.

그리고 반대로 너무 뻔한 단어가 나오면 학습은 별로 안 일어나고요.

If I say fish and chips,

예를 들어 제가 "피쉬 앤 칩스"라고 했을 때,

you don't do much learning when I say chips.

"피쉬 앤" 다음에 "칩스"가 나오는 게 너무 당연하니까 별로 배우는 게 없겠지만,

But if I say fish and cucumber, you do a lot more learning.

근데 제가 갑자기 "생선과 오이"라고 하면, 갑자기 배움이 확 일어나게 되는 겁니다.

You wonder, why did I say cucumber?

"왜 갑자기 오이라고 했을까?" 하고 궁금해지니까요.

So that's roughly what's going on in your brain.

그게 대략적으로 우리 뇌에서 벌어지고 있는 일이에요.

────────────────────

바틀렛 | 05:59

I'm predicting what's coming next.

다음에 뭐가 나올지 예측하는 거네요?

────────────────────

힌튼 | 06:02

That's how we think it's working.

그게 우리의 뇌가 작동하는 방식이라고 보고 있어요.

Nobody really knows for sure how the brain works.

사실 뇌가 어떻게 작동하는지는 아무도 정확히는 몰라요.

And nobody knows how it gets the information about

그리고 뇌가 그런 정보를 어떻게 얻는지도 말이죠.

whether you should increase the strength of a connection

뇌가 어떨 때 신경 세포 간의 연결을 더 강하게 하는지,

or decrease the strength of a connection.

혹은 더 약하게 하는지도요.

That's the crucial thing.

그게 바로 가장 핵심적인 부분입니다.

But what we do know now from AI is that

그래서 지금 우리가 AI에 대해 확실히 알고 있는 건,

if you could get information about whether to increase or decrease the connection strength

만약 우리의 뇌가 언제 신경 세포 간의 연결 강도를 강하게 혹은 약하게 하는지에 대한 정보를 얻을 수 있다면,

so as to do better at whatever task you're trying to do,

그리고 그 정보를 바탕으로 어떤 과제든 더 잘 수행할 수 있게 된다면,

then we could learn incredible things because that's what we're doing now with artificial neurons.

그 후에는, 인공 신경세포가 훨씬 더 놀라운 일들을 해낼 수 있을 겁니다. 지금도 이미 그걸 흉내 내면서 많은 걸 해내고 있으니까요.

It's just we don't know for real brains how they get that signal about whether to increase or decrease.

다만, 아직은 우리의 실제 뇌가 그 신호를 어떻게 받아들이는지는 아직도 아무도 모른다는 거죠.

────────────────────

바틀렛 | 06:37

As we sit here today,

지금 이 자리에 앉아 있는 이 순간에도,

what are the big concerns you have around safety of AI

박사님이 AI의 안전 문제에 대해 가장 크게 우려하고 계신 건 뭔가요?

if we were to list the top couple that are really front of mind and that we should be thinking about?

지금 우리가 꼭 생각해 봐야 할, 가장 시급한 우려 두세 가지를 꼽는다면 어떤 게 있을까요?

────────────────────

힌튼 | 06:47

Can I have more than a couple?

두세 개 말고 좀 더 말해도 될까요?

────────────────────

바틀렛 | 06:49

Go ahead, I'll write them all down and we'll go through them.

네, 편하게 말씀해 주세요, 제가 다 적어둘 테니까 하나씩같이 짚어보시죠.

────────────────────

힌튼 | 06:52

OK, first of all, I want to make a distinction

좋습니다. 먼저 구분하고 싶은 게 있는데,

between two completely different kinds of risk.

AI에는 완전히 다른 두 종류의 위험이 있거든요.

There's risks that come from people misusing AI,

하나는, 인간이 AI를 잘못 사용하는 데서 오는 위험입니다.

and that's most of the risks

사실 이게 전체 위험 중의 대부분을 차지하고,

and all of the short-term risks.

지금 당장 우리가 마주한 단기적인 위험들이기도 하죠.

And then there's risks that come from AI getting super smart and deciding it doesn't need us.

그리고 또 하나는, AI가 너무 똑똑해져서 인간은 더 이상 필요 없다고 판단해 버리는 데서 생기는 위험입니다.

────────────────────

바틀렛 | 07:12

Is that a real risk?

그게 진짜 실제로 일어날 수 있는 위험인가요?

────────────────────

힌튼 | 07:14

And I talk mainly about that second risk

저는 주로 그 두 번째 위험에 대해 이야기하는데요,

because lots of people say, is that a real risk?

왜냐하면 많은 사람들이 "진짜 그 정도로 위험한 거예요?"라고 묻거든요.

And yes, it is.

네, 그만큼 위험한 게 맞습니다.

Now, we don't know how much of a risk it is.

지금으로선, 그게 얼마나 큰 위험이 될지는 아무도 모릅니다.

We've never been in that situation before.

왜냐하면 우리가 그런 상황을 겪어본 적이 한 번도 없거든요.

We've never had to deal with things smarter than us.

우리는 우리보다 똑똑한 존재를 상대해 본 적이 없으니까요.

So really, the thing about that existential threat is that

그러니까 우리에게 이 존재론적 위협이 무서운 이유는

we have no idea how to deal with it.

우리가 그걸 어떻게 받아들이고 다뤄야 할지 전혀 감이 없다는 겁니다.

We have no idea what it's going to look like.

그러니 앞으로 어떻게 될지 감도 없고, 상상하기도 어렵죠.

And anybody who tells you they know just what's going to happen and how to deal with it,

그리고 만약 "앞으로 무슨 일들이 벌어질지, 어떻게 대응해야 할지 다 안다"고 말하는 사람이 있다면,

they're talking nonsense.

그건 그냥 말도 안 되는 헛소리하는 겁니다.

So we don't know how to estimate the probabilities it'll replace us.

그래서 AI가 우리를 대체할 확률이 얼마나 되는지도, 가늠조차 못 하고 있죠.

Some people say it's like less than 1%.

누군가는 그럴 확률이 1%도 안 된다고 말해요.

My friend, Yann LeCun, who was a postdoc with me, thinks, no, no, no, no.

저랑 같이 박사 후 연구원으로 연구하던 친구 얀 르쿤은, "아니야, 아니야, 전혀 아니야"

We're always going to be, we build these things.

"우리가 이걸 만든 거고, 언제나 우리가 통제할 수 있어"

We're always going to be in control.

"우리가 항상 주도권을 쥐고 있을 거고"

We'll build them to be obedient.

"우리는 AI를 복종하게 만들 거야"

And other people like Eliezer Yudkowsky

근데 또 유드코프스키 같은 사람은

say, no, no, no, these things are going to wipe us out for sure.

"아니야, 누가 만들든 AI는 결국 인류를 멸종시킬 거야"

If anybody builds it, it's going to wipe us all out.

"누구든 그걸 만들어내기만 하면, 인류는 전부 끝장날 거야"

And he's confident of that.

그리고 그는 그걸 굉장히 확신하고 있죠.

I think both of those positions are extreme.

저는 그런 두 입장이 다 극단적이라고 생각해요.

It's very hard to estimate the probabilities in between.

그 중간 어딘가에 있을 가능성을 추정하는 게 정말 어렵잖아요?

────────────────────

바틀렛 | 08:16

If you had to bet on who was right out of your two friends?

두 친구 중 누가 옳을지 굳이 하나에 걸어야 한다면요?

────────────────────

힌튼 | 08:22

I simply don't know.

솔직히 저도 정말 잘 모르겠어요.

So if I had to bet, I'd say the probability is in between,

굳이 선택해야 한다면, 전 그 가능성이 그 둘 사이 중간쯤 어딘가에 있다고 말할 것 같아요.

and I don't know where to estimate it in between.

그런데 그 중간 어디쯤인지는 도저히 가늠할 수가 없네요.

I often say 10% to 20% chance they'll wipe us out.

전 보통 AI가 인류를 멸종시킬 확률이 10%에서 20%쯤 된다고 말합니다.

But that's just gut

근데 이건 그냥 저의 직감일 뿐이에요.

based on the idea that we're still making them and we're pretty ingenious.

우리가 지금도 AI를 계속 만들고 있고, 인간이 꽤 영리한 존재라는 전제하에 말이죠.

And the hope is that

그리고 제가 바라는 희망은,

if enough smart people do enough research with enough resources,

충분히 똑똑한 사람들이, 충분한 자원과 시간으로 연구한다면,

we'll figure out a way to build them so they'll never want to harm us.

AI가 절대 인류를 해치고 싶어 하지 않도록 만드는 방법을 찾아낼 수 있을 거라는 겁니다.

────────────────────

바틀렛 | 08:49

Sometimes I think if we talk about that second path,

가끔 그 두 번째 가능성에 대해 이야기할 때면,

sometimes I think about nuclear bombs

핵폭탄이 떠오르기도 하거든요.

and the invention of the atomic bomb and how it compares.

AI를 원자폭탄이 처음 개발됐을 때랑 어떻게 비슷한지 비교해 보는 거죠.

Like, how is this different?

그 두 개는 어떻게 다를까요?

Because the atomic bomb came along

왜냐하면 원자폭탄이 딱 처음 등장했을 때,

and I imagine a lot of people at that time thought our days are numbered.

당시 많은 사람들이 "이제 끝이구나"라고 생각했을 것 같거든요.

────────────────────

힌튼 | 09:03

Yes, I was there.

맞아요, 저도 그 시대에 있었거든요.

We did.

정말 그렇게 생각했었어요.

────────────────────

바틀렛 | 09:05

Yeah, but but but... what's what...

근데... 결국...

We're still here.

우린 아직 이렇게 잘 살아 있잖아요?

────────────────────

힌튼 | 09:09

We're still here, yes.

맞습니다. 잘 살아남았죠.

So the atomic bomb was really only good for one thing,

왜냐하면, 원자폭탄은 사실상 단 한 가지의 목적에만 쓰이는 무기였잖아요?

and it was very obvious how it worked.

그리고 그게 쓰이면 어떻게 되는지는 누구나 명확하게 알 수 있었고요.

Even if you hadn't had the pictures of Hiroshima and Nagasaki,

심지어 그런 폭탄이 투하된 히로시마와 나가사키 사진을 보지 않았더라도 말이죠.

it was obvious that it was a very big bomb that was very dangerous.

그냥 명확하게 "엄청나게 크고, 강력하고 위험한 폭탄이구나" 하고 말이에요.

With AI, it's good for many, many things.

반면에 AI는 그와 다르게, 정말 여러 방면에 쓸모가 많죠.

It's going to be magnificent in healthcare and education,

특히 의료나 교육 분야에서는 정말 훌륭할 테니까요.

and more or less any industry that needs to use its data

그리고 데이터를 다루는 거의 모든 산업 분야에서도

is going to be able to use it better with AI.

AI를 통해 데이터를 더 잘 활용할 수 있게 될 거고요.

So we're not going to stop the development.

그래서 우리가 AI의 개발을 멈출 수가 없는 거예요.

You know, people say, well, why don't we just stop it now?

"AI가 그렇게 위험하다면 그냥 멈추면 되잖아?"라고 말하는 사람들도 있는데요,

We're not going to stop it because it's too good for too many things.

현실은, AI가 워낙 많은 분야에서 그 효과와 성능이 너무 좋다 보니 멈출 수가 없죠.

Also, we're not going to stop it because it's good for battle robots.

게다가 전투 로봇처럼 군사용으로도 유용하니까요.

And none of the countries that sell weapons are going to want to stop it.

그렇기에 무기를 수출하는 국가 중 어느 나라도 AI 개발을 멈추려고 하진 않을 테죠.

Like the European regulations.

예를 들면, 유럽 쪽 AI 규제를 보면요,

They have some regulations about AI,

AI에 대한 규제들이 몇 가지 있긴 합니다.

and it's good they have some regulations,

그나마 규제가 있다는 건 분명 좋은 일이지만,

but they're not designed to deal with most of the threats.

그런데 그런 규제들이 대부분의 AI 위협을 다루도록 설계된 건 아니죠.

And in particular,

그리고 특히,

the European regulations have a clause in them that say

유럽 규제엔 이런 조항도 있어요.

none of these regulations apply to military uses of AI.

"이 규제들은 군사 목적의 AI에는 적용되지 아니한다"

So governments are willing to regulate companies and people,

그러니까 정부는 개인이나 기업들에만 AI 규제를 적용하려 하고 싶을 뿐이지,

but they're not willing to regulate themselves.

정작 정부는 규제받으려 하지 않으려 하는 겁니다.

────────────────────

바틀렛 | 10:24

It seems pretty crazy to me that they go back and forward.

그렇게 왔다 갔다 하면서 자신들만 빠지려 한다는 게 좀 말이 안 되는 것 같은데,

But if Europe has a regulation, but the rest of the world doesn't,

그렇다면 만약, 유럽만 AI를 규제하고 그 외의 다른 나라는 하지 않는다면 어떻게 될까요?

────────────────────

힌튼 | 10:31

Yeah, put some in a competitive disadvantage.

그럼, 유럽은 경쟁에서 밀리게 되겠죠.

────────────────────

바틀렛 | 10:33

We're seeing this already. I don't think people realize that

사실 근데 이미 그런 상황이 벌어지고 있잖아요? 많은 사람들이 그걸 잘 모르고 있죠.

when OpenAI release a new model or a new piece of software in America,

오픈AI가 미국에서 새 모델이나 소프트웨어를 출시하면,

they can't release it to Europe yet because of regulations here.

유럽에는 규제 때문에 바로 출시하지 못하고 있거든요.

So, Sam Altman tweeted saying,

샘 올트먼이 트윗에서 이렇게 말했죠,

our new AI agent thing is available to everybody,

"새로운 AI 에이전트를 전 세계에 공개합니다!"

but it can't come to Europe yet because there's regulations.

"하지만 유럽은 아직 규제 때문에 불가능 합니다"

What does that, that gives us a productivity disadvantage?

그럼, 결국 유럽이 생산성에서 뒤처지게 되는 거 아닌가요?

Productivity disadvantage.

생산성 면에서의 손해라는 거죠.

────────────────────

힌튼 | 10:55

Yes, what we need is, I mean,

맞아요, 지금 우리에게 진짜 필요한 건, 제 말은,

at this point in history,

이 역사적인 시점에서,

when we're about to produce things more intelligent than ourselves,

우리가 이제 곧 인간보다 더 똑똑한 존재를 만들어내려는 이 시점에,

what we really need is

정말 우리에게 필요한 건,

a kind of world government that works run by intelligent, thoughtful people.

지혜롭고 신중한 사람들이 운영하는 일종의 '세계 정부' 같은 겁니다.

And that's not what we've got.

하지만 지금 우리의 현실은 전혀 그렇지 못하죠.

────────────────────

바틀렛 | 11:11

So, free for all?

그럼, 지금은 아무런 통제 없는 경쟁을 하고 있는 거네요?

────────────────────

힌튼 | 11:13

Well, what we've got is

글쎄요 지금 우리의 시스템은

sort of

뭐랄까

we've got capitalism,

자본주의 체제죠,

which is done very nicely by us.

그 체제가 분명 지금까지 우리에게 많은 걸 안겨줬어요.

It's produced lots of goods and services for us.

자본주의 덕분에 수많은 상품과 서비스가 생겼으니까요.

But

하지만...

these big companies,

그런 상품과 서비스를 개발하는 대기업들은요,

they're legally required to try and maximize profits.

법적으로 '이윤 극대화'를 추구할 수 있는 구조에 있고,

And that's not what you want from the people developing this stuff.

그리고 그런 사람들에게 지금 같은 AI 기술의 개발을 맡기는 건… 썩 좋은 그림이 아니라는 겁니다.

────────────────────

바틀렛 | 11:35

So let's do the risks then.

그럼, 이제 AI가 가진 위험들 하나씩 짚어보도록 하죠.

You talked about there's human risks and then there's...

앞서 인간으로 인한 위험이 있다고 하셨고, 또 다른 하나는...

────────────────────

힌튼 | 11:39

So I've distinguished these two kinds of risk.

맞습니다, 제가 두 가지 위험으로 구분했었죠.

Let's talk about all the risks from bad human actors using AI.

그렇다면 이제 '악의적인 인간'들이 AI를 활용해서 생길 수 있는 모든 위험에 대해 이야기해볼까요?

There's cyber attacks.

먼저 가장 대표적인 건 사이버 공격이에요.

So between 2023 and 2024,

2023년에서 2024년 사이에,

they increased by about a factor of 12, 1200%

그 수치가 무려 12배, 그러니까 1200%나 증가했죠.

And that's probably because these large language models make it much easier to do phishing attacks.

아마 그 이유는, 대형 언어 모델 AI 덕분에 피싱 공격이 훨씬 쉬워졌기 때문일 겁니다.

────────────────────

바틀렛 | 12:04

And a phishing attack for anyone that doesn't know is?

혹시 '피싱'이 뭔지 잘 모르시는 분들을 위해 설명하자면요?

────────────────────

힌튼 | 12:06

It's, they send you something saying,

그게 뭐냐면요, 누가 당신한테 이런 식의 메시지를 보내는 겁니다.

Hi, I'm your friend John, and I'm stuck in El Salvador.

"야, 잘 지내나? 존인데, 내 지금 엘살바도르에 갇혔거든?"

Could you just wire this money?

"혹시 돈 좀 보내줄 수 있나?"

That's one kind of attack.

그런 게 피싱의 한 가지 방식이라고 볼 수 있죠.

But the phishing attacks are really trying to get your logon credentials.

근데 보통 대부분의 피싱 공격의 본질은, 결국 당신의 로그인 정보를 빼내는 데 있어요.

────────────────────

바틀렛 | 12:20

And now with AI, they can clone my voice, my image.

이제는 AI로 목소리를 복제할 수 있고, 얼굴 이미지도 만들 수 있으니까요.

────────────────────

힌튼 | 12:22

They can do all that.

맞습니다. 이젠 전부 다 가능하죠.

────────────────────

바틀렛 | 12:23

I'm struggling at the moment because there's a bunch of AI scams on X and also Meta.

제가 지금 진짜 너무 힘든 게, X - 트위터나 메타 - 페이스북 쪽에 AI 사기 광고가 엄청 많거든요?

And there's one in particular on Meta, so Instagram, Facebook at the moment, which is a paid advert

특히 메타, 그러니까 인스타그램이랑 페이스북에는 AI로 저를 과장해서 만든 유료 사기 광고까지 떠 있어요.

where they've taken my voice from the podcast.

팟캐스트에서 나오는 제 목소리를 학습시켜 쓰는 거죠.

They've taken my mannerisms

게다가 제 말투나 습관, 행동까지 흉내 내서,

and they've made a new video of me

진짜 제가 나온 것처럼 보이는 광고 영상을 만들어낸 다음,

encouraging people to go and take part in this crypto Ponzi scam or whatever.

사람들에게 이상한 코인 다단계 사기에 참여하라고 부추기는 영상을 만들어놨어요.

And we've been, you know, we spent weeks and x 3

그래서 저희 팀이 몇 주고 계속해서 보내면서

emailing Meta telling, please take this down.

메타에 계속 "이 영상 좀 내려달라"고 이메일을 보냈죠.

They take it down.

겨우 그렇게 영상이 내려가면,

Another one pops up.

또 다른 영상이 나타나고,

They take that one down,

그걸 또 내리면,

another one pops up,

다른 게 또 올라오고,

so it's like whack-a-mole.

진짜, 마치 두더지 잡기 게임 하듯이 말이에요.

────────────────────

힌튼 | 12:51

And it's very annoying.

진짜 짜증 나는 일이죠.

────────────────────

바틀렛 | 12:53

The heartbreaking part is you get the messages from people that have fallen for the scam,

그리고 제일 가슴 아픈 건, 그런 사기를 당한 사람들이 직접 제게 메시지를 보내온다는 거예요.

And they've lost 500 pounds or $500

500파운드, 혹은 500달러를 날렸다고 말이죠.

────────────────────

힌튼 | 12:58

And they cross with you because you recommended it.

그리고 그 사람들은 바틀렛 씨한테 화를 내겠죠. 사기 영상에서 당신이 추천하는 걸로 나오니까요.

────────────────────

바틀렛 | 13:00

I'm like, I'm sad for them.

저는 그냥... 마음이 아파요, 그분들 생각하면...

────────────────────

힌튼 | 13:02

It's very annoying.

아무래도 그렇겠죠. 정말 짜증 나는 일입니다.

I have a smaller version of that,

그것 보단 조금 작은 일이지만, 제게도 비슷한 사건이 있었는데

which is some people and I publish papers.

어떤 사람들이 논문을 내면서

with me as one of the authors.

제 이름을 공동 저자로 올리는 겁니다.

And it looks like it's in order that they can get lots of citations to themselves.

그렇게 하면 자기들 이름의 논문에 인용 수를 왕창 늘릴 수 있으니까 말이죠.

────────────────────

바틀렛 | 13:16

So cyber attacks, a very real threat.

그래서 사이버 공격은 이 AI시대에 우리에게 아주 현실적인 위협이 되겠네요.

There's been an explosion of those.

실제로도 그런 사건이 폭발적으로 늘고 있으니까요.

────────────────────

힌튼 | 13:19

And these already, obviously AI is very patient.

그리고 분명한 건, AI는 정말 끈질기다는 거예요.

So they can go through 100 million lines of code looking for known ways of attacking them.

AI는 1억 줄 넘는 코드를 전혀 지치지 않고 일일이 훑으면서 공격 가능한 취약점을 찾아낼 수 있으니까 말이죠.

That's easy to do.

AI에겐 그게 정말 쉬운 일이거든요.

But they're going to get more creative.

게데가 앞으로, 더 창의적으로 진화할 거라는 겁니다.

And they may, some people believe, and I

그리고 어떤 전문가들은, 저를 포함해서,

some people who know a lot believe that maybe by 2030,

AI에 대해 잘 알고 있는 많은 사람들이 2030년쯤이면,

they'll be creating new kinds of cyber attacks,

AI가 아예 새로운 방식의 사이버 공격을 만들어낼 수 있다고 보고 있습니다.

which no person ever thought of.

인간은 한 번도 생각해 본 적 없는 방식으로 말이죠.

So that's very worrisome.

그래서 저는 그런 점이 정말 걱정스럽습니다.

────────────────────

바틀렛 | 13:49

Because they can think for themselves and discover new ways to attack.

왜냐하면 AI가 스스로 사고할 수 있고, 그렇기에 새로운 공격 방법도 스스로 찾아낼 수 있으니까 말이죠?

They can think for themselves.

맞습니다. 스스로 사고할 수 있고,

────────────────────

힌튼 | 13:52

They can draw new conclusions from much more data than a person ever saw.

그리고 인간이 평생 보지도 못한 만큼 방대한 데이터를 바탕으로, 새로운 결론을 도출해 낼 수도 있죠.

────────────────────

바틀렛 | 13:56

Is there anything you're doing to protect yourself from cyber attacks at all?

혹시 박사님은 개인적으로 사이버 공격에 대비해서 따로 뭐든 하고 계신 게 있으신가요?

────────────────────

힌튼 | 14:01

Yes.

네, 있습니다.

It's one of the few places where I change what I do radically.

이건 제가 제 생활 습관을 완전히 바꾼 몇 안 되는 것 중 하나인데,

Because I'm scared of cyber attacks.

미래의 사이버 공격이 너무 두렵기 때문에 말이죠.

Canadian banks are extremely safe.

아실지 모르겠지만, 캐나다 은행들이 굉장히 안전하거든요?

In 2008, no Canadian banks came anywhere near going bust.

2008년 금융위기 때도, 캐나다 은행 중 파산 근처에도 간 곳이 단 한 군데도 없을 정도니까요.

So they're very safe banks because they're well regulated,

그렇게 캐나다 은행들이 안전한 이유는, 규제가 잘 되어 있어서예요.

fairly well regulated.

꽤 잘 관리되고 있다고 봐야죠.

Nevertheless,

아무리 그렇다 해도,

I think a cyber attack might be able to bring down a bank.

AI의 사이버 공격이라면, 그런 은행 하나쯤은 무너뜨릴 수 있지 않을까 싶어요.

Now, if you have all my savings are in shares in banks held by banks.

가령 당신의 전 재산이 주식 형태로 들어 있고, 그 주식을 어떤 금융기관이 보관하고 있다고 해보죠.

So if the bank gets attacked

근데 만약 그 금융기관이 해킹을 당한다면,

and it holds your shares,

그리고 특정 기관이 당신 주식을 보관하고 있다면,

they're still your shares.

그 주식들은 형식상으로 여전히 당신 소유니까,

And so I think you'd be OK.

그래도 괜찮다고 생각하실 겁니다.

Unless the attacker sells the shares

단, 해킹범이 그 주식을 팔지만 않는다면요.

because the bank can sell the shares.

왜냐하면 당신의 주식을 관리하는 금융기관은 실제로 그 주식을 팔 수 있으니까요.

If the attacker sells your shares,

그래서 만약 해커가 진짜로 당신의 주식을 팔아버린다면,

I think you're screwed.

그때는 진짜 끝장나는 겁니다.

I don't know, I mean,

그래도 혹시나...

maybe the bank would have to try and reimburse you,

해당 금융기관이 어떻게든 당신한테 보상하려고 할 수도 있겠지만,

but the bank's bust by now, right?

문제는 그땐 해당 기관이 이미 파산했을 가능성이 크죠.

So I'm worried about a Canadian bank being taken down by a cyber attack

그렇게 저는 캐나다의 어느 은행이든, 사이버 공격으로 무너지는 걸 걱정하고 있어요.

and the attacker selling shares that it holds.

그리고 그 기관이 보관하고 있는 주식을, 해커가 팔아버리는 상황을 말이죠.

So I spread my money, my children's money between three banks.

그래서 저는 제 자산과 제 자녀들의 자산을 세 개의 다른 은행에 나눠놨어요.

in the belief that if a cyber attack takes down one Canadian bank,

그런 경우를 대비해서 만약 사이버 공격으로 인해 어떤 하나의 캐나다 은행이 무너진다고 해도,

the other Canadian banks will very quickly get very careful.

다른 캐나다 은행들은 바로 경각심을 갖고 신속히 조치를 취할 거라 믿는 거죠.

────────────────────

바틀렛 | 15:16

And do you have a phone that's not connected to the internet?

혹시 인터넷에 연결되지 않은 휴대폰도 갖고 계신가요?

Do you have any, you know, I'm thinking about storing data and stuff like that.

아니면 혹시, 제가 요즘 중요한 데이터들을 따로 보관해 둘지 고민 중이거든요.

Do you think it's wise to consider having cold storage?

그렇게 '콜드 스토리지'를 갖춰두는 게 현명하다고 보세요?

────────────────────

힌튼 | 15:26

I have a little disk drive

저는 작은 외장 하드 하나를 갖고 있는데,

and I back up my laptop on this hard drive.

그래서 노트북을 그 외장 하드에 백업해 두죠.

So I actually have everything on my laptop on a hard drive.

그렇게 노트북에 있는 모든 파일을 외장 하드에도 다 담아놨어요.

At least, you know, if the whole internet went down,

그러니까 적어도, 만약 인터넷이 먹통이 된다고 해도

I had the sense, I still got it on my laptop and I still got my information.

"그래도 내 중요한 자료들은 전부 여기에 잘 보관되어있다"라는 마음이 들겠죠.

Then the next thing is using AI to create nasty viruses.

그리고 생각할 만한 다음 위험은 AI를 활용해서 악성 바이러스를 만드는 겁니다.

────────────────────

바틀렛 | 15:49

Okay.

네.

────────────────────

힌튼 | 15:50

And the problem with that is

그리고 그게 무서운 이유는,

that just requires one crazy guy with the grudge.

단 한 명의 정신 나간 사람이 앙심을 품고

One guy who knows a little bit of molecular biology,

그 한명이 분자 생물학을 조금이라도 알고,

knows a lot about AI,

AI에 대해 많이 알고 있으면서,

and just wants to destroy the world.

그냥 세상을 멸망시키고 싶어 하는 사람이 있다면,

You can now create new viruses relatively cheaply using AI.

이제는 AI를 이용해서 새로운 바이러스를 비교적 저렴하게 만들 수 있는 시대라는 겁니다.

And you don't have to be a very skilled molecular biologist to do it.

이젠 꼭 뛰어난 분자 생물학자가 아니어도 그게 가능하다는 게 문제죠.

And that's very scary.

그게 정말 AI의 무서운 부분이죠.

So you could have a small cult, for example,

예를 들면, 소규모 사이비 종교 집단 같은 데서,

A small cult might be able to raise a few million dollars.

소규모 사이비 종교 집단이더라도 수십억 원 정도는 모금할 수도 있을 테고,

For a few million dollars, they might be able to design a whole bunch of viruses.

이젠 수십억 원 정도만 있어도, 정말 여러 종류의 바이러스를 설계하는 게 가능할 수도 있다는 겁니다.

────────────────────

바틀렛 | 16:25

Well, I'm thinking about some of our foreign adversaries

음, 저는 그래서 적대 국가들에 대한 걱정도 들더라고요.

doing government-funded programs.

정부 차원의 자금 지원을 받는 프로그램들이 있을 테니까요.

I mean, there's lots of talk around COVID and

그러니까, 코로나에 대한 소문들도 참 많잖아요?

the Wuhan laboratory and what they were doing and gain-of-function research.

예를 들면, 우한 연구소에서 어떤 실험을 했다던가, 기능 획득 연구 같은 이슈들 말이죠.

But I'm wondering if in China or Russia or in Iran or something,

그렇게 만약 중국이나 러시아, 혹은 이란 같은 나라들이

the government could fund a program

정부가 어떤 프로그램을 위한 자금을 마련해서

for a small group of scientists to make a virus that they could, you know?

소수 과학자가 바이러스를 만들 수 있도록 한다던가? 하는...

────────────────────

힌튼 | 16:44

I think they could, yes.

그럴 수 있다고 봅니다. 네.

Now, they'd be worried about retaliation.

물론 보복 가능성도 걱정하긴 해야 할 겁니다.

They'd be worried about other governments doing the same to them.

다른 나라 정부들도 똑같은 방식으로 할 수 있을 테니까요.

Hopefully that would help keep it under control.

그런 점들이 어느 정도 억제력으로 작용하길 바라는 거고요.

They might also be worried about the virus spreading to their country.

그리고 그렇게 만든 바이러스가 자국에도 퍼질 수 있다는 것을 걱정하기도 해야겠죠.

────────────────────

바틀렛 | 16:56

Ok.

그렇네요.

────────────────────

힌튼 | 16:57

Then there's corrupting elections.

그리고 또 하나의 위험은, 선거 조작입니다.

So if you wanted to use AI to corrupt elections,

만약 누군가가 AI를 이용해서 선거를 조작하려 한다면,

a very effective thing is to be able to do targeted political advertisements

가장 효과적인 방법 중 하나는 '정밀 타깃 정치 광고'일 겁니다.

where you know a lot about the person.

개개인에 대한 정보를 최대한 많이 수집해서 말이죠.

So, anybody who wanted to use AI for corrupting elections

그러니까, AI를 활용해 선거 조작을 하려는 사람이 있다면,

would try and get as much data as they could about everybody in the electorate.

유권자 개개인에 대한 데이터를 최대한 확보하려고 하겠죠.

With that in mind,

이를 염두하고 보면,

it's a bit worrying what Musk is doing at present in the states.

요즘 미국에서 일론 머스크가 하는 일들이 좀 걱정스럽긴 합니다.

Going in and insisting on getting access to all these things that were very carefully siloed.

아주 조심스럽게 분리돼 있던 정보들에 접근하겠다고 계속 밀어붙이고 있으니까요.

The claim is it's to make things more efficient,

머스크의 주장은, 그게 시스템을 더 효율적으로 만들기 위한 조치라고 하고 있지만,

but it's exactly what you would want if you intended to corrupt the next election.

근데 만약 다음 선거를 조작하려는 의도가 있다면, 딱 그런 식으로 할 것입니다.

────────────────────

바틀렛 | 17:41

How do you mean? Because you get all this data on the-

그게 무슨 뜻이죠? 그렇게 데이터를 다 확보하게 되면...

────────────────────

힌튼 | 17:43

You get all this data on people.

사람들에 대한 정보를 다 손에 넣을 수 있게 되는 거죠.

You know how much they make where they, you know everything about them.

누가 얼마를 벌고 어디에 사는지, 말 그대로 모든 걸 알게 되는 거죠.

Once you know that,

그런 정보들을 다 알고 나면,

it's very easy to manipulate them.

사람들을 조종하는 게 너무 쉬워지거든요.

────────────────────

바틀렛 | 17:51

Because you can make an AI that...

그게 이젠 AI를 이용해서...

────────────────────

힌튼 | 17:53

You can send messages that they'll find very convincing telling them not to vote, for example.

예를 들어 투표하지 말라는 메시지를 그 사람이 혹할 만한 방식으로 보내서 설득할 수도 있을 테고,

So I have no... reason other than common sense to think this.

물론, 이건… 상식적인 판단 외에 다른 근거는 없어요.

But I wouldn't be surprised if part of the motivation of getting all this data from American government sources is to corrupt elections.

그렇지만 미국 정부 쪽 자료를 수집하려는 의도 중 일부가 선거 조작을 위한 거라 해도 저는 전혀 놀랍지 않을 겁니다.

Another part might be that it's very nice training data for a big model.

또 다른 이유는, 그게 거대한 AI 모델 학습용으로 아주 좋은 데이터이기 때문일 수도 있죠.

────────────────────

바틀렛 | 18:19

But he would have to be taking that data from the government and feeding it into his...

근데 그 말은 정부 데이터를 가져다가 자신의 모델에 넣는다는 얘기잖아요?

────────────────────

힌튼 | 18:23

Yes. And what they've done is turned off lots of the security controls,

맞아요. 실제로 그런 보안장치들도 많이 꺼버렸고요.

got rid of some of the organization to protect against that.

그리고 그런 위험을 대비하기 위해 있던 조직들도 없애버렸죠.

────────────────────

바틀렛 | 18:32

So that's corrupting elections.

그럼, 그게 AI의 선거 조작 위험에 대한 이야기였고,

────────────────────

힌튼 | 18:34

Okay, then there's creating these two echo chambers

그리고 또 하나의 AI 위험은, 사람들을 둘로 갈라놓는 에코 체임버를 만들어내는 겁니다.

by organizations like YouTube and Facebook,

대표적으로 유튜브나 페이스북 같은 조직들이 그렇게 만들고 있죠.

showing people things that will make them indignant.

사람들을 분노하게 만들 만한 콘텐츠를 계속 보여주는 거죠.

People love to be indignant.

사람들은 분노할 거리를 정말 좋아하거든요.

────────────────────

바틀렛 | 18:51

Indignant as in angry?

분노한다는 게, 그냥 화났다는 뜻인가요?

or what does indignant mean?

'Indignant'라는 말이 무슨 뜻이죠?

────────────────────

힌튼 | 18:54

Feeling, I'm sort of angry but feeling righteous.

화나면서도, 자신이 옳다고 느끼는 그런 감정을 말해요.

────────────────────

바틀렛 | 18:58

OK.

아, 그렇군요.

────────────────────

힌튼 | 18:59

So for example,

예를 들어서요,

if you were to show me something that said,

저에게 어떤 영상을 보여주면서 말하는 거죠.

Trump did this crazy thing, here's a video of Trump doing this completely crazy thing,

"트럼프가 이번에 또 완전 X친 짓을 했다니까요? 여기 영상 한 번 보세요"

I would immediately click on it.

그러면 저는 못 참고 바로 클릭하겠죠.

────────────────────

바틀렛 | 19:09

Yeah.

맞아요 ㅋㅋ

OK, so putting us in echo chambers and dividing us.

그러니까 그런 조직들이 우릴 에코 체임버에 가두고 서로 갈라놓는다는 말씀이시네요?

────────────────────

힌튼 | 19:13

Yes.

맞습니다.

And that's the policy that YouTube and Facebook and others,

그리고 그게 바로 유튜브, 페이스북 같은 곳에서 쓰고 있는 정책이고,

use for deciding what to show you next is causing that.

'다음에 뭘 보여줄까?'를 결정하는 알고리즘이 만들어낸 결과라고 볼 수 있죠.

If they had a policy of showing you balance things,

만약 그들이 사람들에게 균형 잡힌 콘텐츠를 추천해 주는 정책과 알고리즘을 채택했다면,

they wouldn't get so many clicks and they wouldn't be able to sell so many advertisements.

그렇게 많은 클릭 수를 못 얻을 테고, 광고도 지금처럼 많이 팔 수 없었을 겁니다.

And so it's basically the profit motive is saying,

결국 그런 '수익을 내야 한다'라는 알고리즘의 동기가

show them whatever will make them click.

사람들이 무조건 클릭하게 만들 콘텐츠들을 띄워주게 만드는 겁니다.

And what will make them click is things that are more and more extreme.

그렇게 사람들이 점점 더 자극적이고 극단적인 것들을 보게 되는 거죠.

────────────────────

바틀렛 | 19:43

And that confirm my existing bias.

그게 사람들이 갖고 있던 편견을 더 굳혀주는 거네요?

────────────────────

힌튼 | 19:44

That confirm my existing bias.

맞아요. 그렇게 편견이 굳어지고 양극화되는 겁니다.

So you're getting your biases confirmed all the time.

그렇게 사람들이 계속 자기 편견에 맞는, 듣고 싶은 말만 듣게 되는 겁니다.

────────────────────

바틀렛 | 19:48

Further and further and further and further, which means you're driving away from people.

그렇게 한 쪽으로 점점 더 기울어져 서로 의견이 다른 양쪽이 끝없이 멀어지게 되는 거죠.

────────────────────

힌튼 | 19:51

Which is now, in the States, there's two communities that don't hardly talk to each other.

지금 미국의 상황만 봐도, 거의 말도 안 섞는 두 집단이 생겼잖아요?

────────────────────

바틀렛 | 19:55

I'm not sure people realize that this is actually happening every time they open an app,

근데 사람들은 이게 앱을 켤 때마다 우리에게 실제로 벌어지고 있는 일이라는 걸 인식하지 못하는 것 같아요.

but if you go on a TikTok or a YouTube or one of these big social networks,

지금도 틱톡이든 유튜브든, 이런 큰 소셜 플랫폼에 들어가면요,

the algorithm, as you said,

박사님이 말씀하신 대로 알고리즘이

is designed to show you more of the things that you had interest in last time.

이전에도 내가 관심 가졌던 걸 바탕으로 비슷한 걸 더 많이 보여주도록 설계되어 있으니까요.

So if you just play that out over 10 years,

그리고 그게 10년쯤 계속된다고 상상해 보면,

it's going to drive you further and further and further into whatever ideology or belief you have

사람들은 점점 더 자신이 가진 신념이나 이념 속으로 점점 더 깊이 끌려 들어가게 되고,

and further away from nuance and common sense and parity,

그렇게 다양한 뉘앙스, 상식적인 판단, 균형감 같은 것들과는 점점 더 멀어지게 되는 거죠.

which is a pretty remarkable thing.

생각해 보면 꽤 놀랄만한 일이잖아요?

Like, people don't know it's happening.

근데 대부분의 사람들은 그런 게 실제로 일어나고 있는지조차 잘 몰라요.

They just open their phones

그냥 주머니에서 핸드폰을 꺼내서,

and experience something

뭔가 새로운 정보를 보며 경험하는 거죠.

and think this is the news or the experience everyone else is having.

"음, 이게 신뢰할 만한 정보겠지? 다른 사람들도 다 비슷한 걸 보고 같은 경험을 할 거야" 하고 말이에요.

────────────────────

힌튼 | 20:31

Right. So basically, if you have a newspaper and everybody gets the same newspaper,

맞습니다. 예를 들어 우리가 예전처럼 신문을 읽고, 모두가 똑같은 신문을 본다고 하면,

you get to see all sorts of things you weren't looking for.

거기에서 내가 찾지 않았던 다양한 정보도 자연스럽게 보게 되고,

And you get a sense that if it's in the newspaper, it's an important thing or significant thing.

그리고 신문에 실린 내용이라면 뭔가 중요하거나, 사회적으로 의미 있는 거라고 받아들이게 되잖아요?

But if you have your own news feed,

근데 요즘처럼 개인 맞춤형 뉴스피드를 본다면 이야기가 달라지죠.

My news feed on my iPhone,

제 아이폰의 뉴스피드만 봐도,

three quarters of the stories are about AI.

기사의 3/4이 전부 AI 관련 얘기예요.

And I find it very hard to know

그래서 저도 가끔은 헷갈려요.

if the whole world's talking about AI all the time

지금 온 세상이 AI 얘기만 하고 있는 건지,

or if it's just my news feed.

아니면 그냥 제 뉴스 피드만 그런 건지 말이죠.

────────────────────

바틀렛 | 20:59

Okay, so driving me into my echo chambers,

정리하자면, AI와 알고리즘의 발전으로 인해 플랫폼들이 사람들을 자신만의 에코 체임버로 이끌고 있고,

which is going to continue to divide us further and further,

결국 그렇게 나눠진 에코 체임버의 사람들 간극은 점점 더 벌어져 나뉘게 될 테고요.

I'm actually noticing that the algorithms are becoming even more

그리고 제가 요즘 실제로 더 느끼는 건데요, 알고리즘이 점점 더... 뭐랄까...

what's the word?

어떤 단어가 잘 맞을까요?

tailored.

개인 맞춤형이 되어간달까요?

And people might go, oh, that's great.

사람들은 "와, 그럼 좋은 거 아니야?"라고 생각할 수도 있겠지만,

But what it means is they're becoming even more personalized,

근데 그 말은 결국, 알고리즘이 훨씬 더 개인화되고 있다는 뜻이고,

which means that my reality is becoming even further from your reality.

그게 곧, 개개인 간의 현실이 점점 더 다른 사람의 현실과 멀어진다는 뜻이기도 하죠.

────────────────────

힌튼 | 21:20

Yeah, it's crazy.

그러니까요, 진짜 말도 안 되는 일이죠.

We don't have a shared reality anymore.

이젠 사람들 사이에 공유된 현실이란 게 없어요.

I share reality with other people who watch the BBC, BBC News,

마치 제가 BBC 뉴스를 보는 사람들이랑은 현실을 공유하고,

and other people who read The Guardian,

아니면, 가디언을 읽는 사람들이나,

and other people who read The New York Times.

뉴욕타임즈 보는 사람들과는 공유하지만,

I have almost no shared reality with people who watch Fox News.

근데 폭스뉴스 보는 사람들과는 거의 공유하는 현실이 없어요.

────────────────────

바틀렛 | 21:38

It's pretty-

진짜 이건 꽤나

────────────────────

힌튼 | 21:40

It's worrisome.

정말 걱정스러운 일이죠.

────────────────────

바틀렛 | 21:42

Yeah.

네, 맞아요.

────────────────────

힌튼 | 21:43

Behind all this is the idea that these companies just want to make profit,

이 모든 것 뒤에는, 결국 기업들이 이윤만을 추구한다는 전제가 깔려있기 때문입니다.

and they'll do whatever it takes to make more profit.

그리고 더 많은 이윤을 위해서라면 그 대가가 무엇이든 뭐라도 하려 드니까요.

────────────────────

바틀렛 | 21:49

Because they have to.

근데 그건 그 기업들도 어쩔 수 없잖아요?

────────────────────

힌튼 | 21:51

They're legally obliged to do that.

맞아요. 법적으로 수익을 내야 할 의무가 있죠.

────────────────────

바틀렛 | 21:54

So we almost can't blame the company, can we?

그러니까 사실 기업들을 무조건 비난할 수도 없을 테고요. 그쵸?

────────────────────

힌튼 | 21:57

Well, capitalism has done very well for us.

사실 자본주의는 우리한테 많은 것을 가져다줬습니다.

It's produced lots of goodies.

그리고 좋은 것들도 정말 많이 만들어냈고요.

But you need to have it very well regulated.

하지만 그런 자본주의에도 잘 짜여진 규제가 필요한 법입니다.

So what you really want is to have rules so that

그래서 우리에게 진짜로 필요한 건, 잘 만들어진 규칙이죠.

when some company is trying to make as much profit as possible,

예를 들어 어떤 기업이 가능한 한 최대의 이윤을 추구하려 할 때,

in order to make that profit, they have to do things that are good for people in general,

그런 이윤을 얻기 위해선 사회 전체에 도움이 되는 일을 해야만 한다던가 말이죠.

not things that are bad for people in general.

일반적으로 해가 되는 일이 아니라요.

So once you get to a situation where in order to make more profit,

근데 지금처럼 기업들이 오직 더 많은 이윤을 내기 위한 것들만 만들고,

the company starts doing things that are very bad for society,

그게 사회 전체에 해가 되는 방향으로 가고 있다면,

like showing you things that are more and more extreme,

예를 들어, 저희가 계속 얘기한 주제처럼 자꾸 더 자극적이고 극단적인 콘텐츠를 보여주는 것엔

that's what regulations are for.

반드시 잘 만들어진 규제가 필요하다는 겁니다.

So you need regulations with capitalism.

자본주의에는 규제가 꼭 따라야 해요.

Now, companies will always say

물론 기업들은 늘 이렇게 말합니다.

regulations get in the way,

"규제가 발전에 걸림돌이 되고"

make us less efficient, and that's true.

"비효율적으로 만든다"라고요. 그 말도 맞는 말입니다.

The whole point of regulations is to stop them doing things to make profit that hurt society.

그렇기에 규제의 핵심 목적이 사회에 해가 되는 방식으로 이윤을 추구하는 것을 막는 데 있어야겠죠.

And we need strong regulation.

그래서 정말 잘 짜여진, 강력한 규제가 필요한 겁니다.

────────────────────

바틀렛 | 22:48

Who's going to decide whether it hurts society or not? Because, you know?

그런데 그럼 누가 그게 사회에 해가 되는지 아닌지를 판단하죠?

────────────────────

힌튼 | 22:51

That's the job of politicians.

그건 정치인의 역할이겠지만,

Unfortunately, if the politicians are owned by the companies, that's not so good.

안타깝게도, 정치인들이 기업의 입김 아래 있다면 그것 또한 문제가 되겠죠.

────────────────────

바틀렛 | 22:57

And also the politicians might not understand the technology.

게다가 정치인들이 기술을 제대로 이해하지도 못할 수 있잖아요?

You've probably seen the Senate hearings

박사님도 아마 미 상원 청문회 장면들 보신 적 있으실 텐데,

where they wheel out Mark Zuckerberg and these big tech CEOs.

마크 저커버그 같은 빅테크 CEO들을 불러내서 증언하게 하는 자리 말이죠.

And it is quite embarrassing because they're asking the wrong questions.

근데 그걸 보면 되게 민망하긴 해요. 제대로 된 질문을 못 하니까요.

────────────────────

힌튼 | 23:07

Well, I've seen the video of the US education secretary

저는 미국 교육부 장관이 나오는 영상을 본 적이 있는데요,

talking about how they're going to get AI in the classrooms,

AI를 학교 교실에도 도입하겠다고 이야기하더라고요?

except she thought it was called A1.

그런데 문제는, 그 교육부 장관이란 분이 '에이아이'를 '에이 원'라고 부르더라고요.

She's actually there saying we're going to have all the kids interacting with A1.

진짜 실제로 거기서 "우리 아이들 모두가 A1를 직접 쓰게 될 거예요"라고 말했어요.

────────────────────

맥마흔 | 23:23

There is a school system that's going to start making sure that

어떤 교육청에서는 앞으로 확실히 하겠다고 하는 게 있었는데,

first graders or even pre-Ks have A1 teaching

1학년 학생들은 물론 유치원생들까지 A1 교육을 받도록 만들겠다고요.

every year starting that far down in the grades.

아예 낮은 학년부터 시작하겠다는 거죠.

And that's just a wonderful thing.

정말 멋진 일 아닌가요?

────────────────────

바틀렛 | 23:41

And these are what, these are the people that,

그런 사람들이 지금...

────────────────────

힌튼 | 23:43

These are the people in charge.

맞아요. 그런 사람들이 지금 권력을 쥐고 있어요.

────────────────────

바틀렛 | 23:45

Ultimately, the tech companies are in charge because they were outsmart.

결국 진짜 권력은 테크 기업들이 쥐고 있는 셈이죠. 그들이 한 수 위였으니까요.

────────────────────

힌튼 | 23:48

Well, the tech companies in the States now,

글쎄요, 지금 미국의 빅테크 기업들은,

at least a few weeks ago when I was there,

적어도 몇 주 전에 미국에 잠시 갔었을 때는요,

they were running an advertisement about how it was very important not to regulate AI

AI를 규제하지 않는 게 굉장히 중요한 일이라며 광고하고 있었어요.

because it would hurt us in the competition with China.

그래야만 중국과의 기술 패권 경쟁에서 지지 않는다는 논리였죠.

────────────────────

바틀렛 | 24:02

Yeah.

그렇겠죠.

And that's a plausible argument no?

그 말도 충분히 일리가 있어 보이는데요?

────────────────────

힌튼 | 24:05

Yes, it will.

맞아요, 실제로 그럴 가능성도 있습니다.

But you have to decide.

하지만 결정을 내려야겠죠.

Do you want to compete with China

중국과의 경쟁만을 위해

by doing things that will do a lot of harm to your society.

진정으로 미국 사회 전반에 큰 해를 끼치는 선택을 할 것인지 말이죠.

And you probably don't.

아마 그걸 원하진 않을 겁니다.

────────────────────

바틀렛 | 24:20

I guess they would say that it's not just China,

그렇다면 또 이렇게 말할 수도 있지 않을까요? "신경 써야 할 상대가 꼭 중국만 있는 건 아니잖아?"

it's Denmark, and Australia, and Canada, and the UK.

"경쟁 상대는 중국뿐만이 아니라, 덴마크, 호주, 캐나다, 영국일 수도 있지"

────────────────────

힌튼 | 24:26

They're not so worried about.

자국 사회를 망치면서까지 걱정할 정도는 아닐 겁니다.

────────────────────

바틀렛 | 24:27

And Germany.

독일도 포함해서요.

But if they would kneecap themselves with regulation,

근데 만약 규제로 인해 자국의 발전에 스스로 발목을 잡는다면요,

if they slowed themselves down,

그러니까, 스스로 속도를 늦춘다면,

then the founders, the entrepreneurs, the investors are going to go invest.

그때는 창업가와 기업가, 그리고 투자자들이 다른 나라로 빠져나가겠죠.

────────────────────

힌튼 | 24:33

I think calling it kneecapping is taking a particular point of view.

제가 느끼기엔 그걸 "발목을 잡는다"라고 표현하는 건 아주 특정 관점을 반영한 거라고 생각하는데요,

It's taking the point of view that regulations are sort of very harmful.

즉, 규제가 굉장히 해롭다고 생각하는 관점을 전제로 한 거죠.

What you need to do is just constrain the big companies so that in order to make profit,

우리에게 필요한 건, 대기업들을 제한하여 이윤을 내기 위해선,

They have to do things that are socially useful.

사회적으로 도움이 되는 일을 하도록 방향을 유도해야 한다는 겁니다.

Like Google search is a great example.

예를 들면 구글 검색이 좋은 사례가 되겠네요.

That didn't need regulation

그건 딱히 규제가 필요 없었거든요.

because it just made information available to people.

그냥 단순히 사람들이 원하는 정보를 더 잘 찾을 수 있게 해줬으니까요.

It was great.

굉장히 좋은 사례죠.

But then if you take YouTube,

근데 지금의 유튜브를 본다면,

which starts showing you adverts

광고를 보여주기 시작했고,

and showing you more and more extreme things,

그리고 광고를 위해 사람들에게 점점 더 자극적인 콘텐츠를 보여준다면,

that needs regulation.

규제가 필요하다는 겁니다.

────────────────────

바틀렛 | 25:06

But we don't have the people to regulate it.

근데 문제는, 그걸 규제할 사람이 없다는 거죠.

as we've identified.

저희가 이미 짚었듯이요.

────────────────────

힌튼 | 25:09

I think people know pretty well

제 생각엔, 사람들도 그 문제에 대해 꽤 잘 인식하고 있다고 생각해요.

that particular problem of showing you more and more extreme things.

자꾸 극단적인 콘텐츠만 보여주는 바로 그 문제 말이죠.

That's a well-known problem that the politicians understand.

그렇게 사람들에게 잘 알려진 문제에 대해 정치인들도 인지하고 있을 겁니다.

They just need to get on and regulate it.

그리고 이제는 몸을 움직여 규제해야 할 때고요.

────────────────────

바틀렛 | 25:21

So that was the next point,

그게 또 다른 AI의 문제점이었고요,

which was that the algorithms are going to drive us further into our echo chambers.

알고리즘이 우리를 에코 체임버 속으로 점점 더 몰아간다는.

────────────────────

힌튼 | 25:26

Right.

맞습니다.

────────────────────

바틀렛 | 25:27

What's next?

다음으로 뭐가 있을까요?

────────────────────

힌튼 | 25:28

Lethal autonomous weapons.

다음으로는, 자율 살상 무기입니다.

────────────────────

바틀렛 | 25:30

Lethal autonomous weapons.

자율 살상 무기요?

────────────────────

힌튼 | 25:34

That means things that can kill you and make their own decision about whether to kill you.

그건, 사람을 죽일지 말지를 AI가 스스로 판단해서 죽일 수 있는 무기를 말해요.

────────────────────

바틀렛 | 25:39

Which is the great dream, I guess, of the military industrial complex, being able to create such weapons.

어떻게 보면 그게 군산복합체의 오랜 꿈이었는지도 모르죠.

────────────────────

힌튼 | 25:45

Yes, So the worst thing about them is

맞습니다. 그런 무기가 생겼을 때의 가장 끔찍한 점은,

big, powerful countries always have the ability to invade smaller, poorer countries.

강대국들이 약소국을 언제든 침공할 수 있는 능력을 갖추게 된다는 말이 됩니다.

They're just more powerful.

그냥 단순하게 힘이 더 세니까 말이죠.

But if you do that using actual soldiers,

근데 만약, 침공을 위해 실제 병력을 투입해서 하면,

You get bodies coming back in bags,

소중한 군인들이 시신이 되어 돌아올 테고,

and the relatives of the soldiers that were killed don't like it.

그러면 유가족들이 가만히 있질 않을 겁니다.

So you get something like Vietnam.

베트남 전쟁 때처럼 말이죠.

In the end, there's a lot of protests at home.

결국, 자국 내에서 대규모 반전 시위가 일어나겠죠.

If instead of bodies coming back in bags,

근데 만약에 그 시신들이 자국민 병사들이 아니라,

it was dead robots,

그냥 좀 부서져 버린 로봇이었다면 어땠을까요?

there'd be much less protest,

그럼, 시위도 별로 일어나지도 않았겠죠?

and the military industrial complex would like it much more,

군산복합체 입장에서도 그게 훨씬 더 좋았을 거고요.

because robots are expensive.

물론, 그 로봇의 값이 비싸긴 하겠죠.

And suppose you had something that could get killed and was expensive to replace.

그래도 만약, 돈을 많이 내서라도 자국민의 목숨을 잃을 수 있었던 상황에서, 부서져도 걱정 없는 로봇이 대신 들어가는 거라면요?

That would be just great.

그거야말로 완벽하잖아요?

Big countries can invade small countries much more easily

강대국들이 약소국을 훨씬 더 손쉽게 침공할 수 있게 되는 겁니다.

because they don't have their soldiers being killed.

더 이상 소중한 자국 군인들이 죽을 일이 없을 테니까요.

────────────────────

바틀렛 | 26:38

And the risk here is that...

그렇다면 거기서 우리가 조심해야 할 AI의 위험이...

these robots will malfunction or they'll just be more...

자율 살상 AI 로봇들이 오작동하는 걸 말씀하시는 건가요?

────────────────────

힌튼 | 26:44

No, no. There's even if the robots do exactly what the people who built the robots want them to do,

아뇨, 아뇨. 로봇이 만든 사람들의 의도대로 정확히 움직인다 해도

the risk is that it's going to make big countries invade small countries more often.

문제는, 그게 결국 강대국들이 약소국을 더 자주 침공하게 만들 수 있다는 겁니다.

────────────────────

바틀렛 | 26:53

More often because they can.

그렇게 해도 큰 문제가 없으니, 더 자주 침공하게 되는 거네요?

────────────────────

힌튼 | 26:54

Yeah. And it's not a nice thing to do.

맞습니다. 결코 좋은 건 아니죠.

────────────────────

바틀렛 | 26:56

So it brings down the friction of war.

전쟁을 치름으로써 생기는 마찰이 줄어드는 거고요?

────────────────────

힌튼 | 26:57

It brings down the cost of doing an invasion.

그렇죠. 침공의 대가가 확 줄어들게 된다는 겁니다.

────────────────────

바틀렛 | 27:01

And these machines will be smarter at warfare as well.

그리고 그런 AI 살상 기계들이 전투수행에서도 더 똑똑해지겠죠.

────────────────────

힌튼 | 27:04

Well, even when the machines aren't smarter.

그게, 사실 꼭 그렇게 똑똑할 필요도 없어요.

So the lethal autonomous weapons,

그러니까 그런 자율 살상 무기 같은 건,

they can make them now.

이미 지금도 만들 수 있어요.

And I think all the big defense partners are busy making them.

그리고 모든 주요 방위 산업체들이 그런 걸 만드느라 빠쁠 거라 생각이 들고요.

Even if they're not smarter than people,

그게 꼭 사람보다 똑똑하지 않더라도,

they're still very nasty, scary things.

이미 충분히 끔찍하고, 무서운 존재입니다.

────────────────────

바틀렛 | 27:19

Because I'm thinking that they could show just a picture, go get this guy,

그러니까요. 제 생각엔, 사진 한 장만 보여주면서 "가서 이놈 보내버려"라고 명령하면 되지 않을까 싶어요.

and go take out anyone he's been texting,

그렇게 문자만 주고받던 사람들까지 암살해 버리는 거죠.

and this little wasp

그냥 작은 말벌만 한 드론 같은 걸로 말이죠.

────────────────────

힌튼 | 27:29

So two days ago, I was visiting a friend of mine in Sussex

이틀 전에 제가 서식스에 사는 친구 집에 있을 때의 일인데,

who had a drone that cost less than 200 pounds.

그 친구가 한 37만 원도 안 되는 드론을 가지고 있었거든요?

And the drone went up.

그 드론을 띄웠더니,

It took a good look at me,

처음엔 저를 뚫어져라 쳐다보며 스캔하더라고요.

and then it could follow me through the woods.

그러고 나니 숲을 통과하면서도 저를 잘 따라오더라고요.

And it follow, It was very spooky having this drone.

그 뒤로 계속해서 저를 따라오는데 정말 오싹하더라고요.

It was about two meters behind me.

제 뒤에서 한 2미터쯤 거리를 두고는

It was looking at me.

계속 저를 지켜보고 있는데

And if I moved over there, moved over there, it could just track me

제가 어디로 움직이든, 그대로 따라올 수 있더라고요.

for 200 pounds.

겨우 37만 원짜리 드론이 말이죠.

But it was already quite spooky.

그 정도 가격의 드론인데도 불구하고 이미 꽤나 섬뜩했어요.

────────────────────

바틀렛 | 27:56

Yeah, I imagine there's, as you say,

맞습니다. 박사님이 말씀하신 대로 한번 떠올려 보면,

a race going on as we speak to who can build the most complex autonomous weapons.

지금, 이 순간에도 누가 더 정교한 자율 무기를 먼저 만들 수 있을지 경쟁이 벌어지고 있겠죠.

There is a risk I often hear that some of these things will combine

제가 자주 듣는 AI에 대한 우려 중 하나는, 이런 요소들이 서로 결합될 수 있다는 건데요.

and the cyber attack will release weapons.

사이버 공격으로 그런 AI 살상 무기들을 작동시킨다거나 말이죠.

────────────────────

힌튼 | 28:12

Sure. You can get combinatorially many risks by combining these other risks.

맞습니다. 그런 개별적인 위험 요소들이 결합됨으로써, 조합 가능한 AI 위험이 정말 많아지게 되겠죠.

So I mean, for example, you could get a super intelligent AI that decides to get rid of people.

제 말은, 예를 들어, 초지능 AI가 인간을 없애버리기로 한다고 해봐요.

And the obvious way to do that is just to make one of these nasty viruses.

그럼, AI 입장에서 가장 확실한 방법으로 끔찍한 바이러스를 만들어서 뿌려버리겠죠.

If you made a virus that was very contagious,

만약 누군가 전염성이 강하고,

very lethal, and very slow,

굉장히 치명적이면서도 늦게서야 알아차릴 수 있는 바이러스를 만들었다면요,

everybody would have it before they realized what was happening.

사람들이 무슨 일이 벌어지고 있는지도 깨닫기 전에, 이미 모두가 감염돼 버렸을 테니까요.

I mean, I think if a super intelligence wanted to get rid of us,

제 말은, 만약 초지능 AI가 정말로 인류를 없애고 싶어 한다면, 그렇게 하지 않겠느냐는 거죠.

it will probably go for something biological like that, that wouldn't affect it.

아마도 초지능 AI 자신은 영향받지 않는, 생물학적 방식을 선택할 겁니다.

────────────────────

바틀렛 | 28:46

Do you think it could just very quickly turn us against each other?

아니면 혹시, AI가 사람들을 순식간에 서로의 등을 돌려버리게 만들 수도 있다고 보시나요?

For example, it could send a warning on the nuclear systems in America that there's a nuclear bomb coming from Russia,

예를 들어서, 미국 핵 시스템에 "지금 러시아에서 핵이 미국을 향해 날라오고 있다"라고 거짓 경고를 보낸다든가,

or vice versa , and one retaliates.

아니면 반대로 러시아 쪽에 보내서 보복 공격하게 만든다거나요.

────────────────────

힌튼 | 28:57

Yeah, I mean, my basic view is

그럴 수도 있죠, 제 말은, AI 위험에 대한 제 기본적인 생각은 이렇습니다.

there's so many ways in which your super intelligence could get rid of us.

초지능 AI가 우리를 없앨 수 있는 방법은 정말 셀 수 없이 많다는 겁니다.

It's not worth speculating about.

그래서 저는 그걸 하나하나 상상하고 추측하는 건 의미가 없다고 봐요.

────────────────────

바틀렛 | 29:06

What is...

그렇다면...

────────────────────

힌튼 | 29:07

What you have to do is prevent it ever wanting to,

그래서 지금 우리가 해야 할 건, 애초에 AI가 그런 마음을 먹지 않도록 막는 거죠.

that's what we should be doing research on.

우리가 AI에 대해 진짜 연구해야 할 건 바로 그겁니다.

There's no way we're going to prevent it from...

우리가 그걸 막을 방법이 없어요...

It's smarter than us, right?

AI가 우리보다 더 똑똑하잖아요? 그쵸?

There's no way we're going to prevent it getting rid of us if it wants to.

그래서 AI가 우리를 없애고 싶다고 마음먹는 순간, 그걸 막을 방법이 없어요.

We're not used to thinking about things smarter than us.

우리는 우리보다 더 똑똑한 존재가 있다는 생각을 해본 적이 거의 없잖아요?

If you want to know what life's like when you're not the apex intelligence,

만약에 우리가 '이 세상에서 가장 똑똑한 존재가 아니다' 라는 게 어떤 건지 알고 싶다면,

ask a chicken.

닭한테 한번 물어보면 될 겁니다.

────────────────────

바틀렛 | 29:34

Yeah, I was thinking of my dog Pablo, my French bulldog, this morning as I left home.

있잖아요, 오늘 저도 아침에 출근할 때 저희 집 불독 '파블로'를 보면서 그런 생각 들더라고요.

He has no idea where I'm going.

"파블로는 내가 어디 가는지 전혀 모르겠지...?"

He has no idea what I do.

제가 무슨 일을 하는지도 모를 테고요.

I can't even talk to him.

서로 대화할 수가 없으니까요.

────────────────────

힌튼 | 29:42

Yeah. And the intelligence gap will be like that.

맞아요. 미래에 AI와 인간 사이의 지능 격차도 딱 그런 정도가 될 겁니다.

────────────────────

바틀렛 | 29:46

So you're telling me that if I'm Pablo, my French bulldog,

그러니까 박사님의 말씀은, 제가 파블로라면,

I need to figure out a way to make my owner not wipe me out.

주인이 저를 버리지 않게 만들 방법을 찾아내야 한다는 말씀인가요?

────────────────────

힌튼 | 29:55

Yeah.

그렇죠.

So we have one example of that, which is mothers and babies.

그 비유에 딱 들어맞는 예시가 하나 있긴 한데요, 엄마와 아기의 관계를 떠올려 봅시다.

Evolution put a lot of work into that.

인간의 진화에 있어 그 관계를 만드는 데 엄청 공들였을 겁니다.

Mothers are smarter than babies, but babies are in control.

엄마는 아기보다 훨씬 똑똑하지만, 실제로 주도권은 아이한테 있어요.

And they're in control because the mother just can't bear lots of hormones and things,

아이에게 주도권이 있는 이유는, 각종 호르몬 반응 때문에 엄마가 심리적으로 도저히 견딜 수가 없기 때문인데,

but the mother just can't bear the sound of the baby crying.

특히 엄마는 아이의 울음소리만큼은 정말 견딜 수가 없어요.

────────────────────

바틀렛 | 30:13

Not all mothers.

모든 아이의 엄마가 다 그렇진 않죠.

────────────────────

힌튼 | 30:14

Not all mothers.

맞아요, 모든 엄마가 그렇진 않습니다.

And then the baby's not in control and then bad things happen.

그런데 아기가 주도권을 잃게 되면, 안 좋은 일들이 벌어지곤 하죠.

We somehow need to figure out how to make them not want to take over.

제가 하고 싶은 말은, 어떻게든 AI가 세상을 장악하고 싶어 하지 않도록 만들 방법을 찾아야 한다는 겁니다.

The analogy I often use is

제가 이런 상황을 알리기 위해 자주 쓰는 비유가 하나 있는데,

forget about intelligence, just think about physical strength.

지능에 대해서는 일단 제쳐두고, 그냥 신체적인 강인함에 대해서만 생각해 보는 겁니다.

Suppose you have a nice little tiger cub.

자, 귀엽고 작은 호랑이 새끼 한 마리가 있다고 해보죠.

It's sort of a bit bigger than a cat.

고양이보다 조금 큰 정도이고,

It's really cute.

깨물어버리고 싶을 만큼 귀엽고,

It's very cuddly,

꼭 안고 싶게 생겼고,

very interesting to watch.

보고만 있어도 너무 재밌겠죠.

Accept that you better be sure that when it grows up,

하지만 반드시 명심해야 할 게 있는데, 깨물어 주고 싶게 귀여운 호랑이가 자랐을 땐,

it never wants to kill you, because if it ever wanted to kill you,

절대 당신을 죽이고 싶어지는 일을 만들면 안 될 겁니다. 왜냐하면 호랑이가 그러고 싶다는 마음을 먹기라도 한다면,

you'd be dead in a few seconds.

단 몇 초 만에 저세상에 있게 될 수 있으니까요.

────────────────────

바틀렛 | 30:45

And you're saying the AI we have now is the tiger cub?

지금 우리가 가진 AI가, 그 호랑이 새끼와도 같다는 말씀인 거죠?

────────────────────

힌튼 | 30:48

Yep.

넵.

────────────────────

바틀렛 | 30:49

And it's growing up?

그리고 지금은 무럭무럭 자라고 있는 중이고요?

────────────────────

힌튼 | 30:50

Yep.

옙.

────────────────────

바틀렛 | 30:52

So we need to train it as it's when it's a baby,

그러면 얘가 아직 아기일 때 잘 길들여야겠네요?

────────────────────

힌튼 | 30:54

Well, now tiger has lots of innate stuff built in.

음, 근데 호랑이는 태어날 때부터 선천적인 본능 같은 게 강하잖아요?

So, you know, when it grows up, it's not a safe thing to have around,

그러니까 다 자라면 곁에 두는 것 자체가 위험한 존재가 되는 거죠.

────────────────────

바틀렛 | 31:00

but lions, people that have lions as pets.

근데 사자를 보면, 사자를 키우는 사람들도 있잖아요?

────────────────────

힌튼 | 31:02

Yes.

그렇죠.

────────────────────

바틀렛 | 31:03

Sometimes the lion is affectionate to its creator, but not to others.

어떤 사자는 자기를 키워준 사람한텐 애정을 보이거든요, 물론 남들한테는 그렇지 않지만.

────────────────────

힌튼 | 31:06

Yes.

맞습니다.

And we don't know whether these AIs.

그런데 우린 AI가 어떨지는 전혀 알 수 없죠.

We simply don't know whether we can make them not want to take over and not want to hurt us.

그러니까, 우리가 AI가 세상을 장악하거나 인간을 해치지 않게 만들 수 있을지, 정말 아무도 모르는 겁니다.

────────────────────

바틀렛 | 31:15

Do you think we can? Do you think it's possible to train superintelligence?

혹시 그게 가능하다고 보세요? 인간이 초지능 AI를 잘 훈련시키는 게 가능할까요?

────────────────────

힌튼 | 31:18

I don't know, I don't think it's clear that we can.

잘 모르겠습니다, 그리고 그게 가능한지조차도 확실하지 않죠.

So I think it might be hopeless.

그래서… 어쩌면 희망이 없을지도 모른다고 생각해요.

But I also think we might be able to.

하지만 한편으론, 가능성이 아예 없는 건 아닐 수도 있다고도 보고요.

And it'd be sort of crazy if people weren't extinct because we couldn't be bothered to try.

만약 우리가 멸종하게 됐는데, 그게 단지 시도조차 안 해서 그런 거라면… 그건 진짜 어이없는 일이겠죠.

────────────────────

바틀렛 | 31:32

If that's even a possibility,

만약 초지능 AI를 안전하게 발전시킬 가능성이 진짜 있다면,

how do you feel about your life's work? Because you were...

지금까지 AI를 위해 살아오신 인생과 연구들에 대해서, 어떻게 느끼실 것 같으세요? 왜냐하면, 박사님은...

────────────────────

힌튼 | 31:37

Yeah.

음...

It sort of takes the edge off it, doesn't it?

그래도 그렇게 생각하면 좀 위안이 되긴 하네요. 그렇죠?

I mean, the idea is going to be wonderful in healthcare

사실, 이 AI 기술이 의료 분야에선 분명 엄청난 혁신이 될 테고,

and wonderful in education and wonderful...

그리고 교육 분야나 다른 곳에서도 마찬가지로 엄청 기대되는 일입니다.

I mean, it's going to make call centers much more efficient,

그리고 콜센터도 훨씬 효율적으로 바뀌겠죠.

though one worries a bit about what the people who are doing that job now do.

반면에 지금 그 일을 하고 있는 사람들은 어떻게 될지, 걱정이 좀 됩니다.

It makes me sad.

그런 부분들이 참 속상하죠.

I don't feel particularly guilty about developing AI like 40 years ago.

그렇다고 제가 40년 전쯤에 AI 개발을 시작한 거에 대해 크게 죄책감이 드는 건 아니에요.

Because

왜냐하면…

at that time we had no idea that this stuff was going to happen this fast.

그때는 지금처럼 AI가 이렇게 빨리 발전할 거라고는 전혀 상상도 못 했으니까요.

We thought we had plenty of time to worry about things like that.

아직 그런 문제들을 걱정하기까지는 한참의 시간이 남았다고 생각했으니까요.

When you can't get the AI to do much and you want to get it to do a little bit more,

그때처럼 AI가 별로 할 줄 아는 게 없을 때는, 그걸 조금이라도 더 똑똑하게 만드는 게 목표였고,

you don't worry about this stupid little thing is going to take over from people.

이 멍청한 게 인간을 대체하거나, 세상을 장악할 수 있을 거란 걱정을 했겠습니까?

You just want it to be able to do a little bit more of the things people can do.

그저 사람이 하는 걸 조금이라도 더 흉내 낼 수 있길 바라기만 했죠.

It's not like I knowingly did something thinking, this might wipe us all out but I'm going to do it anyway.

그러니까, 고의로 "AI가 인류 멸망시킬 수도 있지만 일단 한번 해보자" 하는 식으로 한 건 아닐 거잖아요?

But it is a bit sad that it's not just going to be something for good.

그래도 AI가 꼭 좋은 일에만 쓰이진 않을 거란 사실이 좀 슬픕니다.

So I feel I have a duty now to talk about the risks.

그래서 지금은, 이런 AI의 위험성에 대해 이야기해야 할 책임이 있다고 느끼고 있습니다.

────────────────────

바틀렛 | 32:37

And if you could play it forward

그리고 만약, 그 미래를 미리 내다볼 수 있다면,

and you could go forward 30, 50 years and you found out that it led to the extinction of humanity,

30년, 50년 뒤쯤, AI 때문에 결국 인류가 멸종하게 된다는 걸 알게 됐다면요,

and if that does end up being...

그리고 결국 그게 진짜 현실이...

being the outcome?

현실이 되는 결과라면요?

────────────────────

힌튼 | 32:51

Well, if you played it forward and

만약 진짜로 미래를 내다봤는데,

it led to the extinction of humanity.

그게 인류의 멸종으로 이어진다면,

I would use that to tell people, to tell their governments

저는 그걸 사람들과 그들의 정부에 알리는 데 쓸 겁니다.

that we really have to work on how we're going to keep this stuff under control.

우리가 AI 기술을 어떻게 통제할지, 정말 진지하게 연구하고 대비해야 한다고 말이죠.

I think we need people to tell governments

그리고 저는 이제 사람들이 정부에 목소리를 내야 한다고 생각합니다.

that governments have to force the companies to use their resources to work on safety.

그래서 정부가 기업들에게 가진 자원들을 안전성 확보에 쓰도록 강제해야 한다는 거예요.

And they're not doing much of that.

근데 지금은 거의 신경도 안 쓰고 있죠.

Because you don't make profits that way.

왜냐하면 그걸로 돈이 되진 않으니까요.

────────────────────

바틀렛 | 33:16

One of your students we talked about earlier, Ilya?

아까 얘기했던 박사님의 제자 중 한 명이, 일리야 였죠?

────────────────────

힌튼 | 33:20

Yep.

맞아요.

────────────────────

바틀렛 | 33:21

Ilya left OpenAI.

일리야가 오픈AI에서 떠났잖아요?

────────────────────

힌튼 | 33:23

Yep.

네.

────────────────────

바틀렛 | 33:24

And there was lots of conversation around the fact that he left because he had safety concerns.

그가 오픈AI를 떠난 이유가 AI의 안전에 대한 우려 때문이라는 말이 많았었는데요,

────────────────────

힌튼 | 33:28

Yes.

그렇죠.

────────────────────

바틀렛 | 33:29

And he's gone on to set up a safety company.

그리고 지금은 아예 AI 안전 전문 회사를 차렸고요.

────────────────────

힌튼 | 33:33

Yes.

네, 맞습니다.

────────────────────

바틀렛 | 33:34

Why do you think he left?

일리야가 왜 오픈AI를 떠났다고 생각하세요?

────────────────────

힌튼 | 33:37

I think he left because he had safety concerns.

저는 일리야가 떠난 이유가 AI 안전에 대한 우려 때문이었다고 생각해요.

────────────────────

바틀렛 | 33:39

Really?

정말로요?

────────────────────

힌튼 | 33:40

I still have lunch with him from time to time.

지금도 가끔 일리야랑 같이 점심을 먹는데요,

────────────────────

바틀렛 | 33:43

Oh, OK.

아, 그래요?

────────────────────

힌튼 | 33:44

His parents live in Toronto.

그의 부모님이 토론토에 살거든요.

When he comes to Toronto, we have lunch together.

그래서 일리야가 토론토에 올 때면 꼭 점심을 같이 먹죠.

He doesn't talk to me about what went on at OpenAI,

근데 오픈AI에서 무슨 일이 있었는지는 저한테 얘기 안 하더라고요.

so I have no inside information about that.

그래서 저도 내부 사정에 대해서는 잘 모릅니다.

But I know Ilya very well.

그렇지만 전 일리야를 정말 잘 알아요.

And he is genuinely concerned with safety.

일리야는 진심으로 안전성에 대해 걱정하는 사람이 맞아요.

So I think that's why he left.

그래서 그게 일리야가 오픈AI를 떠난 이유라고 생각해요.

────────────────────

바틀렛 | 33:56

Because he was one of the top people. I mean, he was...

일리야가 오픈AI에서 핵심 인물 중 한 명이었지 않나요...?

────────────────────

힌튼 | 33:59

He was probably the most important person behind the development of ChatGPT.

아마 챗GPT 개발에 가장 중요한 인물이었을 겁니다.

The early versions, like GPT-2,

GPT-2 같은 초기 버전 개발에 말이죠.

he was very important in the development of that.

그걸 개발하는 데 일리야의 역할이 정말 컸죠.

────────────────────

바틀렛 | 34:09

You know him personally, so you know his character.

일리야를 개인적으로 아시니까, 그의 성격도 잘 아시겠네요?

────────────────────

힌튼 | 34:12

Yes. He has a good moral compass.

그렇죠. 일리야는 도덕적 기준이 뚜렷한 사람이에요.

He's not like someone like Musk.

일론 머스크 같은 사람이 아니죠.

He has no moral compass.

그는 도덕적 기준이란 게 없으니까요.

────────────────────

바틀렛 | 34:18

Does Sam Altman have a good moral compass?

샘 올트먼은 도덕적 기준이 잘 잡혀있다고 보세요?

────────────────────

힌튼 | 34:20

We'll see.

두고 봐야겠죠.

I don't know Sam, so I don't want to comment on that.

샘 올트먼에 대해서는 잘 몰라서 섣불리 말하긴 어렵네요.

────────────────────

바틀렛 | 34:28

But from what you've seen,

그렇다면, 지금까지 보신 바로는,

are you concerned about the actions that they've taken?

샘 올트먼이나 오픈AI가 해온 결정들에 대해 좀 걱정되는 부분은 없으신가요?

Because if you know Ilya, and Ilya's a good guy and he's left.

왜냐하면, 박사님은 일리야를 아시는 입장에서, 일리야가 정말 괜찮은 사람인데 떠났다는 건…

────────────────────

힌튼 | 34:36

That would give you some insight, yes.

그걸 보면 어느 정도 감이 오긴 하죠. 맞아요.

It would give you some reason to believe that there's a problem there.

그게 샘 올트먼에게 뭔가 문제가 있다는 생각이 들 만한 근거가 될 수 있죠.

And if you look at Sam's statements some years ago,

그리고 샘 올트먼이 몇 년 전에 했던 발언들을 보면,

He sort of happily said in one interview, this stuff will probably kill us all.

어느 인터뷰에서 좀 들뜬 말투로 "아마 AI 기술이 우릴 다 죽일 수도 있다"라고 말하더라고요.

That's not exactly what he said, but that's what it reminded to.

정확히 그런 표현은 아니었지만, 저는 그런 뉘앙스로 받아들여졌어요.

Now he's saying you don't need to worry too much about it.

그런데 지금은 "너무 걱정할 필요 없다"라는 식으로 말하죠.

And I suspect that's not driven by seeking after the truth, that's driven by seeking after money.

제 생각엔 그건 진실을 추구한 결과가 아니라, 돈을 좇는 데서 비롯된 행동 같아 보여요.

────────────────────

바틀렛 | 35:07

Is it money or is it power?

그게 정확히 '돈' 때문일까요, 아니면 '권력' 때문일까요?

────────────────────

힌튼 | 35:10

Yeah, I shouldn't have said money.

맞아요, 제가 방금 '돈'이라고 한 건, 좀 성급했네요.

Yes, It's some combination of those, yes.

아마 그 둘이 섞여 있다고 봐야겠죠.

────────────────────

바틀렛 | 35:14

Okay, I guess money's a proxy for power, but...

그렇죠. 사실 돈이 권력의 대체재 같은 거니까요.

I've got a friend who's a billionaire,

제가 아는 억만장자 친구가 한 명 있는데요,

and he is in those circles.

그리고 걔가 그런 쪽 사람들이랑 어울리면서 지내거든요?

And when I went to his house and had lunch with him one day,

그리고 어느 날 제가 그 친구 집에 초대받아서 점심을 같이 먹었었어요.

he knows lots of people in AI, building the biggest AI companies in the world.

아무래도 그 친구가 세계에서 가장 큰 AI 회사들과 관련된 사람들을 많이 알고 있으니까요.

And he gave me a cautionary warning across his kitchen table in London.

그리고 그날 런던에서 그 친구가 부엌에 있는 식탁에서, 저한테 조심하라는 경고를 해주더라고요?

where he gave me an insight into the private conversations these people have,

직접 무슨 말을 해준 건 아니었고, 그 사람들끼리 평소에 사적으로 무슨 얘기를 나누는지, 살짝 엿듣게 해줬죠.

not the media interviews they do where they talk about safety and all these things,

언론 인터뷰에서 흔히 말하는 안전과 관련된 내용 같은 그런 말들이 아니라,

but actually what some of these individuals think is going to happen.

진짜 속으로 그 사람들이 앞으로 무슨 일이 일어날지 생각하는 것들에 관해 말이죠.

────────────────────

힌튼 | 35:42

And what do they think is going to happen?

그래서 앞으로 무슨 일이 벌어질 거라고 생각하든가요?

────────────────────

바틀렛 | 35:45

It's not what they say publicly.

확실히 미디어에서 공개적으로 하는 말이랑 다르더라고요.

You know, one person who I shouldn't name,

제가 지금 그 사람의 이름은 밝힐 수 없지만,

who is leading one of the biggest AI companies in the world,

세계 최대 AI 기업 중 하나를 이끄는 사람이에요.

he told me that he knows this person very well,

제 친구가 말하길 자기가 그 사람을 아주 잘 아는데,

and he privately thinks that we're heading towards this kind of dystopian world

그 사람이 사적으로는 "우린 결국 디스토피아로 향하고 있다"라고 생각한다고 하더라고요.

where we have just huge amounts of free time,

사람들 모두가 하는 게 없는 시간이 넘쳐나고,

we don't work anymore,

모두가 더 이상 일도 안 하는 세상 말이죠.

and this person doesn't really give a fxxk about the harm that it's going to have on the world.

그리고 그 사람은 세상이 어떤 피해를 입든지 간에 ㅈ도 신경 안 쓴다고 하더라고요.

And this person who I'm referring to is building one of the biggest AI companies in the world.

그런데 제가 금방 말한 사람이 지금 세계 최대 규모의 AI 회사를 만들고 있다는 거예요.

And I then watch this person's interviews online.

그래서 제가 그 사람이 인터뷰하는 영상을 한 번 찾아봤거든요?

────────────────────

힌튼 | 36:12

Trying to figure out which of three people it is.

그 세 명 중 누구일지 맞춰보려 하고 있는 중입니다 ㅋㅋ

────────────────────

바틀렛 | 36:14

Yeah, well, it's one of those three people.

맞아요, 그 세 명 중 한 명입니다.

────────────────────

힌튼 | 36:16

Ok.

좋습니다.

────────────────────

바틀렛 | 36:17

And I watch this person's interviews online

그래서 인터넷에 그 사람의 인터뷰를 보니까

and I reflect on the conversation that my billionaire friend had with me, who knows him,

그 사람을 잘 아는 제 억만장자 친구가 했던 말이 계속 떠오르더라고요.

and I go, fxxking hell, this guy's lying publicly.

그리고 속으로 이런 생각이 드는 거예요. "와따마, 인마 완저히 공개적으로 구라치네?"

Like, he's not telling the truth to the world.

진짜 진심은 숨기고, 전혀 다른 말을 하고 있더라고요?

And that's haunted me a little bit.

그래서 그게 지금까지도 제 마음에 좀 찝찝하게 남아 있어요.

It's part of the reason I have so many conversations around AI on this podcast,

그게 제가 이 팟캐스트에서 하는 대화에서 AI 얘기를 그렇게 자주 꺼내는 이유 중 하나죠.

because I'm like, I don't know if they're...

왜냐하면 솔직히 저도 잘 모르겠거든요, 이 사람들이 진짜…

I think they're a... some of them are a little bit sadistic about power.

그 사람 중 일부는, 권력을 쥐고 누군가를 지배하거나 조종하는 걸 좀 즐기는 것처럼 보여요.

I think they like the idea that they will change the world,

자신이 이 세상을 바꾸는 사람이 될 거라는 그 생각에 도취돼 있는 거죠.

that they will be the one that fundamentally shifts the world.

'내가 이 세상을 근본적으로 바꾼 사람이다' 라는 서사를 원하는 거죠.

────────────────────

힌튼 | 36:45

I think Musk is clearly like that, right?

저는 일론 머스크가 딱 그런 사람이라 생각하는데, 맞나요?

────────────────────

바틀렛 | 36:50

He's such a complex character that I don't really know how to place Musk.

일론 머스크는 워낙 복잡한 인물이라, 저는 어떻게 정의해야 할지 잘 모르겠어요.

────────────────────

힌튼 | 36:54

He's done some really good things, like pushing electric cars.

일론 머스크가 진짜 잘한 일은 많죠, 대표적으로 전기차 산업을 밀어붙인 거라던가,

That was a really good thing to do.

그건 정말 잘한 선택이었다고 생각해요.

────────────────────

바틀렛 | 37:00

Yeah.

그렇죠.

────────────────────

힌튼 | 37:01

Some of the things he said about self-driving were a bit exaggerated,

자율주행에 대해 말한 것들도 조금 과장이 있긴 했지만,

but he... that was a really useful thing he did.

그렇지만, 자율 주행도 정말 사람들에게 유용한 일이라고 보고요.

Giving the Ukrainians communication during the war with Russia.

러시아와 전쟁 중이던 우크라이나에 위성통신망을 제공한 것도 큰일이었고요.

────────────────────

바틀렛 | 37:11

Starlink. Yeah.

스타링크 말씀이죠? 맞아요.

────────────────────

힌튼 | 37:12

That was a really good thing he did.

그것도 정말 잘한 일이었어요.

There's a bunch of things like that.

그런 긍정적인 일들이 꽤 많아요.

But he's also done some very bad things.

하지만 동시에, 정말 안 좋은 일들도 많이 했죠.

────────────────────

바틀렛 | 37:19

So coming back to this point of

그래서, 다시 본론으로 돌아가 보면,

the possibility of destruction

AI가 초래할지도 모를 파괴의 가능성과,

and the motives of these big companies.

그리고 대기업들의 진짜 의도에 대해서 이야기하고 있었죠.

Are you at all hopeful that anything can be done to slow down the pace and acceleration of AI?

혹시 지금이라도 뭔가 조치를 취해서, AI의 속도와 가속을 늦출 수 있을 거란 희망, 조금이라도 갖고 계신가요?

────────────────────

힌튼 | 37:37

Okay, there's two issues.

좋아요, 그건 두 가지 문제로 나눠볼 수 있는데,

One is, can you slow it down?

하나는, "AI의 발전 속도를 늦출 수 있는가?"이고,

────────────────────

바틀렛 | 37:41

Yeah.

네.

────────────────────

힌튼 | 37:42

And the other is, can you make it so it will be safe in the end?

그리고 다른 하나는, 결국 AI를 안전하게 만들 수 있느냐는 문제입니다.

It won't wipe us all out.

즉, "인류 전체를 멸망시키지 않게 할 수 있느냐?" 인 거죠.

I don't believe we're going to slow it down.

저는 속도를 늦출 수 있을 거라고는 보진 않습니다.

And the reason I don't believe we're going to slow it down is because

제가 왜 속도를 늦출 수 없을 거라고 생각하냐면,

there's competition between countries

지금은 국가 간 경쟁이 벌어지고 있고,

and competition between companies within a country.

또, 한 나라 안에서도 기업들끼리 경쟁을 벌이고 있죠.

And all of that is making it go faster and faster.

그 모든 게 AI 개발 속도를 점점 더 가속화시키고 있는 겁니다.

And if the US slowed it down,

근데 만약 거기서 미국이 속도를 늦추더라도,

China wouldn't slow it down.

중국은 속도를 늦추지 않을 테니까요.

────────────────────

바틀렛 | 38:05

Does Ilya think it's possible to make AI safe?

그렇다면, 일리야는 AI를 안전하게 만들 수 있다고 생각하나요?

────────────────────

힌튼 | 38:10

I think he does.

제 생각엔 그렇습니다.

He won't tell me what his secret source is.

일리야가 자기만의 비법을 저한테도 안 알려주긴 하는데,

I'm not sure how many people know what his secret source is.

그 비법이 뭔지 아는 사람이 몇이나 될지도 잘 모르겠어요.

I think a lot of the investors don't know what his secret source is,

심지어 많은 투자자들조차도 그게 뭔지 모를 거라 생각해요.

but they've given him billions of dollars anyway.

그래도 어쨌든 수십억 달러를 일리야에게 투자했죠.

because they have so much faith in Ilya.

그만큼 일리야를 엄청나게 신뢰하고 있다는 뜻이겠죠.

which isn't foolish.

충분히 이해할 만한 선택이에요.

I mean, he was very important in AlexNet,

왜 그렇게 생각하냐면, 일리야가 알렉스 넷 개발의 핵심 인물이었거든요.

which got object recognition working well.

그 덕분에 사물 인식 기술이 획기적으로 발전했고요.

He was the main force behind the things like GPT-2,

GPT-2를 만든 주역도 바로 일리야였으니까요.

which then led to ChatGPT.

그게 결국 챗GPT로 이어졌죠.

So I think having a lot of faith in Ilya is a very reasonable decision.

그러니까 일리야를 믿는다는 건 충분히 합리적인 결정이라고 생각해요.

────────────────────

바틀렛 | 38:45

There's something quite haunting about the guy that made and was the main force behind GPT-2,

근데 그렇게 GPT-2를 만든 주역이였던 사람이 오픈AI를 떠났다는 게… 어딘가 굉장히 찝찝하게 남는데요,

which led rise to this whole revolution, left the company because of safety reasons.

AI 혁신 전체를 이끌게 된 GPT를 만든 핵심 인물이 결국 안전 문제 때문에 회사를 떠났다는 사실이...

He knows something that I don't know.

일리야는 분명 제가 모르는 뭔가를 알고 있을 거란 말이죠.

about what might happen next?

앞으로 무슨 일이 벌어질지에 대해서 말이에요.

────────────────────

힌튼 | 39:00

Well, the company had, now I don't know the precise details,

음, 일리야가 오픈AI를 떠난 정확한 내막까지는 저도 모르지만요,

but I'm fairly sure

제법 확실한 건,

the company had indicated that it would use a significant fraction of its resources of the compute time for doing safety research.

회사가 안전성 연구를 위해 연산 시간 자원 중 상당 부분을 사용할 거라고 밝혔었다는 거예요.

And then it reduced that fraction.

그런데 나중에 그 비율을 줄여버린 거죠.

I think that's one of the things that happened.

제 생각에, 그게 일리야가 오픈AI를 떠난 이유 중의 하나일 거라고 봐요.

────────────────────

바틀렛 | 39:18

Yeah, that was reported publicly.

맞아요. 그렇게 줄여버린 게 공개적으로 보도됐었죠.

────────────────────

힌튼 | 39:20

Yes.

맞습니다.

────────────────────

바틀렛 | 39:21

Yeah.

네.

We've gotton to the autonomous weapons part of the risk framework.

이제 자율 무기라는 AI 위험까지 이야기했습니다.

────────────────────

힌튼 | 39:26

Right. So the next one is joblessness.

좋습니다, 다음 이야기할 AI의 위험은 바로 '실직'입니다.

────────────────────

바틀렛 | 39:30

Yeah.

네.

────────────────────

힌튼 | 39:31

In the past, new technologies have come in,

예전에도 새로운 기술이 등장했지만,

which didn't lead to joblessness.

그렇다고 그게 실업으로 이어지진 않았습니다.

New jobs were created.

오히려 새로운 일자리가 생겨났었죠.

So the classic example people use is automatic teller machines.

대표적인 예가 바로 ATM, 현금 자동 입출금기입니다.

When automatic teller machines came in,

ATM이 처음 나왔을 때도,

a lot of bank tellers didn't lose their jobs.

은행원들이 대거 해고된 건 아니었습니다.

They just got to do more interesting things.

오히려 좀 더 다양한 업무를 맡게 됐죠.

But here,

그런데 이번엔 조금 다릅니다.

I think this is more like when they got machines in the industrial revolution and

제 생각엔, 이건 산업혁명 때 기계가 처음 도입됐던 상황과 훨씬 비슷하다고 봐요.

You can't have a job digging ditches now

지금은 삽으로 도랑을 파는 일 같은 건 사람이 직접 하진 않잖아요?

because a machine can dig ditches much better than you can.

기계가 사람보다 훨씬 도랑을 잘 파내니까요.

And I think for mundane intellectual labor,

그리고 제 생각에 이제 단순한 지적 노동은,

AI is just going to replace everybody.

결국 AI가 모두 대체하게 될 겁니다.

Now it may well be in the form of you have fewer people using AI assistants.

이젠 아마 AI 비서를 쓰는 사람이 늘면서, 사람을 비서로 쓰는 경우가 줄어들 수도 있겠죠.

So it's a combination of a person and an AI assistant

즉, 사람과 AI 비서가 같이 일하는 구조가 되는 거예요.

and now doing the work that 10 people could do previously.

그런 조합으로 이전에 10명에서 하던 일을 해내게 되는 겁니다.

────────────────────

바틀렛 | 40:23

People say that it will create new jobs though, so we'll be fine.

그래도 새로운 일자리가 생길 거니까 괜찮을 거라는 얘기도 많잖아요?

────────────────────

힌튼 | 40:26

Yes, and that's been the case for other technologies,

맞아요, 지금까지의 다른 기술들은 그런 식이 맞았어요.

but this is a very different kind of technology,

근데 AI는 이전의 기술들과 차원이 다른 기술이죠.

if it can do all mundane human intellectual labour.

AI가 인간이 하는 단순 지적 노동을 전부 해낼 수 있다고 하면,

then what new jobs is it going to create?

대체 어떤 '새로운 일자리'가 생겨날 수 있을까요?

You'd have to be very skilled to have a job that it couldn't just do.

AI가 못 하는 일을 하려면, 정말 높은 수준의 전문성이 필요할 겁니다.

So I don't think they're right.

그래서 저는 "이번에도 새로운 일자리가 생겨나겠지" 하는 생각은 틀릴 거라고 봅니다.

I think you can try and generalize from other technologies that come in,

기존에 등장했던 다른 기술들의 발전을 사례로 일반화하려는 건 이해하지만,

like computers or automatic teller machines,

마치 컴퓨터나 ATM이 처음 나왔을 때처럼 말이죠.

but I think this is different.

근데 AI의 경우엔 다를 거라고 봅니다.

────────────────────

바틀렛 | 40:53

People use this phrase, they say AI won't take your job.

요즘 사람들이 흔히 이런 말을 하잖아요? "AI가 당신 일자리를 빼앗지는 않을 것이다"

A human using AI will take your job.

"하지만 AI를 활용하는 사람이 그럴 것이다"

────────────────────

힌튼 | 40:58

Yes, I think that's true.

네, 그건 진짜 맞는 말입니다.

────────────────────

젠슨황 | 40:59

If you're not engaging AI

요즘 AI를 제대로 활용하지 않고 있다면

actively and aggressively,

그것도 적극적으로, 공격적으로 말이죠.

You're doing it wrong.

완전히 잘못하고 있는 겁니다.

You're not going to lose your job to AI.

AI에게 일자리를 빼앗기는 게 아니라

You're going to lose your job to somebody who uses AI.

AI를 잘 활용하는 누군가에게 당신의 자리가 뺏길 겁니다.

Your company is not going to go out of business because of AI.

그리고 AI가 당신의 회사를 망하게 하는 게 아니라,

Your company is going to go out of business

당신의 회사가 망하게 될 이유는

because another company used AI.

AI를 제대로 활용하는 경쟁사 때문일 겁니다.

There's no question about that.

거기엔 의심의 여지가 없어요.

────────────────────

힌튼 | 41:17

But for many jobs,

근데 그 말은 결국, 많은 직업에서

That'll mean you need far fewer people.

훨씬 적은 인원만 필요하게 된다는 뜻입니다.

My niece answers letters of complaint to a health service.

제 조카가 의료 서비스에 들어온 '불만 편지'에 답변하는 일을 하는데요,

It used to take her 25 minutes.

예전엔 하나의 그런 민원을 처리하는 데 25분쯤 걸렸다고 해요.

She'd read the complaint

불만 내용을 읽고,

and she'd think how to reply and she'd write a letter.

어떻게 답할지 고민해서, 직접 편지를 썼죠.

Now she just scans it into a chat bot

근데 지금은 그냥 그걸 챗봇에 스캔만 하면

and it writes the letter.

챗봇이 알아서 답장을 써줘요.

She just checks the letter.

그래서 조카는 이제 그냥 그 편지를 한 번 확인만 하고

Occasionally she tells it to revise it in some ways.

아니면 가끔 수정 좀 해달라고 말하기만 하면

The whole process takes her five minutes.

이제는 그 전체 과정이 5분이면 끝난대요.

That means she can answer five times as many letters.

그러니까 이제는 예전보다 5배는 더 많은 편지를 처리할 수 있게 된 거죠.

And that means they need five times fewer of her,

그 말은 곧, 같은 업무에 필요한 사람이 5분의 1로 줄 수 있다는 겁니다.

so she can do the job that five of her used to do.

지금은 조카 한 명이 예전에 하던 다섯 명 몫을 해내니까요.

Now,

결국 그 얘긴,

that will mean they need less people.

필요한 사람의 수가 줄어들 수밖에 없다는 거예요.

In other jobs, like in healthcare,

하지만 다른 직업들, 예를 들면 의료 분야는 말이죠,

They're much more elastic.

훨씬 더 유연하다고 볼 수 있습니다.

So if you could make doctors five times as efficient,

예를 들어, AI 덕에 의사들이 효율이 5배 높아진다고 하면,

we could all have five times as much healthcare for the same price.

같은 비용으로 5배 더 많은 의료 서비스를 받을 수 있게 되겠죠.

And that would be great.

그건 굉장히 좋은 일이잖아요?

There's almost no limit to how much healthcare people can absorb.

사람들이 의료 서비스를 얼마나 더 원하는지를 생각해 보면, 사실 거의 한도가 없거든요?

They always want more healthcare if there's no cost to it.

당연히 돈 안 들고 의료 서비스를 받을 수 있다면 더 원하겠죠.

There are jobs where you can make a person with an AI assistant much more efficient

그리고 AI 조수를 활용하면 사람을 훨씬 더 효율적으로 만들 수 있는 직업들도 있습니다.

and you won't lead to less people

AI를 활용한다고 해서 인력을 줄어드는 건 아닌 일들 말이죠.

because you'll just have much more of that being done.

왜냐하면 그만큼 더 많은 일을 해내게 될 테니까요.

But most jobs I think are not like that.

하지만, 대부분의 직업이 그렇진 않을 겁니다.

────────────────────

바틀렛 | 42:36

Am I right in thinking this sort of industrial revolution

제 생각이 맞는지는 모르겠는데, 예전 산업혁명 때는

played a role in replacing muscles.

'근육'을 대체하는 역할을 했었잖아요?

────────────────────

힌튼 | 42:42

Yes, exactly.

맞아요, 정확합니다.

────────────────────

바틀렛 | 42:43

And this revolution in AI replaces intelligence, the brain.

그리고 지금의 AI 혁명은 지능, 즉, 인간의 두뇌를 대체하는 거고요.

────────────────────

힌튼 | 42:46

Yeah. So mundane intellectual labour is like having strong muscles

맞아요. 이제 단순한 지적 노동은 예전에 기계 없이 일할 때 힘이 셌던 거랑 같은 느낌이 된 겁니다.

and it's not worth much anymore.

그리고 이젠 그런 능력이 크게 가치가 있진 않을 거고요.

────────────────────

바틀렛 | 42:53

So muscles have been replaced,

그럼, 근육은 기계로 대체됐었던 거고,

now intelligence is being replaced.

이제는 지능마저 대체되고 있는데,

So what remains?

그럼 우리한테 남는 건 도대체 뭘까요?

────────────────────

힌튼 | 43:00

Maybe for a while some kinds of creativity,

아마도 한동안은 '창의성' 같은 영역이겠죠.

but the whole idea of superintelligence is nothing remains.

하지만 '초지능'이라는 개념 자체는, 결국 아무것도 인간에게 남지 않는다는 거예요.

These things will get to be better than us at everything.

AI가 모든 면에서 인간보다 뛰어나게 되는 거죠.

────────────────────

바틀렛 | 43:08

So what do we end up doing in such a world?

그럼 그런 세상에서 결국 우리는 뭘 하게 될까요?

────────────────────

힌튼 | 43:11

Well, if they work for us,

만약 AI가 계속 우리를 위해 일한다면,

we end up getting lots of goods and services for not much effort.

우리는 별 노력을 들이지 않고도 온갖 상품과 서비스를 누릴 수 있겠죠.

────────────────────

바틀렛 | 43:19

Okay, but that sounds tempting and nice,

그렇군요, 듣기에는 참 솔깃하고 괜찮게 들리거든요?

but I don't know,

근데, 잘 모르겠어요.

there's a cautionary tale in creating more and more ease for humans in it going badly.

사실 인간을 점차 더 편하게 만들려 했던 시도들이 결국 안 좋은 결과로 끝났던, 교훈적인 사례들이 있잖아요.

────────────────────

힌튼 | 43:29

Yes, and we need to figure out if we can make it go well.

맞습니다. 그래서 우리가 AI를 어떻게 잘 사용할 수 있을지 알아내야 하는 거죠.

So the nice scenario is,

이상적인 시나리오를 한 번 상상해 볼까요?

imagine a company with a CEO who is very dumb,

똥멍청이 대표 회사가 있는 회사를 한 번 상상해 보죠.

probably the son of the former CEO,

전 CEO 아들이라서 물려받은 자리일 수도 있고요.

and he has an executive assistant who's very smart,

그리고 그 CEO 옆엔 정말 똑똑한 임원 비서가 있죠.

And he says,

그리고 그 CEO가 임원 비서에게 말해요.

I think we should do this.

"우리 이거 해보는 게 어때?"

And the executive assistant makes it all work.

그랬더니 그 똑똑한 임원 비서가 모든 걸 다 되게끔 만들어 버려요.

The CEO feels great.

대표는 기분이 좋겠죠.

He doesn't understand that he's not really in control.

그 똥멍청이 CEO는 자기가 실제로 회사를 이끄는 게 아닌지를 모르는 겁니다.

And in some sense, he is in control.

아니, 어떻게 보면 이끌고 있다고 볼 수도 있어요.

He suggests what the company should do.

일단 뭘 해야 할지는 제안하고 있으니까요.

She just makes it all work.

단지 그 똑똑한 임원 비서가 다 되게끔 만드는 거고요.

Everything's great.

겉으론 모든 게 완벽하죠.

That's the good scenario.

이게 좋은 시나리오입니다.

────────────────────

바틀렛 | 44:08

And the bad scenario?

그럼 나쁜 시나리오는요?

────────────────────

힌튼 | 44:09

The bad scenario, she thinks, why do we need him?

나쁜 시나리오에서는, 비서가 이렇게 생각하겠죠. "아니, 쟤가 왜 필요하지?"

────────────────────

바틀렛 | 44:13

Yeah.

그렇겠죠...

I mean, in a world where we have super intelligence, which you don't believe is that far away.

결국 초지능이 있는 세상이 올 텐데, 박사님은 그게 그렇게 먼 미래가 아니라는 거잖아요?

────────────────────

힌튼 | 44:20

Yeah, I think it might not be that far away.

네, 저는 그리 멀지 않았다고 봅니다.

It's very hard to predict, but I think we might get it in like 20 years or even less.

정확히 언제라고 예측하긴 어렵지만, 20년 안에, 어쩌면 그보다 더 빨리 올 수도 있다고 생각합니다.

────────────────────

바틀렛 | 44:27

So what's the difference between what we have now and superintelligence?

그렇다면 지금 우리가 가진 AI랑 초지능은 뭐가 다른 건가요?

Because it seems to be really intelligent to me when I use like ChatGPT 3.0 or Gemini or...

왜냐하면 제가 챗GPT 3.0이나 제미나이 같은 걸 써보면 지금도 진짜 똑똑해 보이거든요?

────────────────────

힌튼 | 44:34

Okay, so it's already, AI is already better than us at a lot of things.

맞아요. 사실 이미 AI는 여러 면에서 우리보다 뛰어납니다.

In particular areas,

특정 분야에서는요,

like chess for example,

예를 들어 체스 같은 분야에선,

AI is so much better than us that people will never beat those things again.

AI가 너무 압도적으로 잘해서, 사람이 다시는 이길 수 없을 정도죠.

Maybe the occasional win, but basically they'll never be comfortable again.

가끔 운 좋게 한 판 이길 순 있겠지만, 예전처럼 편하게 경쟁할 날은 다신 오지 않을 겁니다.

Obviously the same in Go.

물론, 바둑도 마찬가지고요.

In terms of the amount of knowledge they have,

AI가 가진 지식의 양으로 따진다면,

Something like GPT-4 knows thousands of times more than you do.

GPT-4 같은 모델은 이미 우리 개인이 아는 것보다 수천 배는 더 많이 알고 있고요.

There's a few areas in which your knowledge is better than it's,

물론 사람들이 AI보다 더 잘 아는 분야도 몇 군데 있긴 하지만,

and in almost all areas it just knows more than you do.

거의 모든 분야에서 AI가 더 많이 알고 있죠.

────────────────────

바틀렛 | 45:08

What areas am I better than it?

그럼, 제가 AI보다 더 나은 게 뭐가 있을까요?

────────────────────

힌튼 | 45:11

Probably in interviewing CEOs.

아마 CEO들과 인터뷰하는 능력이 더 좋으시겠죠.

You're probably better at that.

그건 아마 바틀렛 씨가 더 나을 겁니다.

You've got a lot of experience at it.

그 분야에 대해 경험도 많으시니까요.

You're a good interviewer.

훌륭한 인터뷰어시잖아요?

You know a lot about it.

그 분야에 대한 이해도 깊으실 거고요.

If you got GPT-4 to interview a CEO,

만약 똑같이 GPT-4에게 CEO 인터뷰 맡기면,

probably do a worse job.

아마 바틀렛 씨보다 못할 겁니다.

────────────────────

바틀렛 | 45:27

OK.

그렇군요.

I'm trying to think if I agree with that statement.

진짜 그 의견에 제가 동의할 수 있는지 생각이 들긴 하네요.

GPT-4, I think, for sure.

GPT-4라면 아직은 확실히 그렇겠지만,

But I guess you could train one.

근데, 충분히 훈련을 시킬 수 있다면...

────────────────────

힌튼 | 45:37

But it may not be long before.

머지않아 그렇게 될 수도 있죠.

────────────────────

바틀렛 | 45:38

Yeah, I guess you could train one on how I ask questions and what I do.

그쵸, 제 질문 방식이나 행동을 그대로 학습시키면 하나 만들 수도 있겠네요.

────────────────────

힌튼 | 45:42

Yeah, Sure.

맞습니다.

And if you took a general purpose sort of foundation model,

그냥 범용성 기반 모델같은 걸 하나 가지고 와서,

and then you trained it up on not just you,

단지 바틀렛 씨의 데이터만으로 훈련시키는 게 아니라,

but every interview you could find doing interviews like this,

이런 인터뷰를 하는 모든 자료를 다 학습시킨다면,

but especially you,

거기에 특히 바틀렛 씨의 스타일에 중점을 두고요.

you'll probably get to be quite good at doing your job,

그럼, 아마도 CEO를 인터뷰하는 걸 꽤 잘하도록 만들 수는 있을 겁니다.

but probably not as good as you for a while.

그래도 당분간은 바틀렛 씨만큼 잘하진 못할 거고요.

────────────────────

바틀렛 | 46:01

Okay, so there's a few areas left,

그럼 그렇게 아직 몇 가지 영역은 인간이 앞서고 있지만,

and then superintelligence becomes when it's... better than us at all things?

초지능으로 진화하게 되면 결국, 모든 면에서 인간보다 뛰어날 거란 말씀인가요?

────────────────────

힌튼 | 46:08

When it's much smarter than you and almost all things is better than you, yeah.

당신보다 훨씬 똑똑해지고, 거의 모든 면에서 더 뛰어날 겁니다. 맞아요.

────────────────────

바틀렛 | 46:11

And you say that this might be a decade away or so.

그리고 박사님 말씀은, 그게 한 10년 안에 올 수도 있다는 거죠?

────────────────────

힌튼 | 46:15

Yeah, it might be.

네, 그럴 수도 있어요.

It might be even closer.

어쩌면 10년보다 더 가까울 수도 있고요.

Some people think it's even closer.

일부 사람들은 그것보다 더 가까이 다가와 있다고 생각합니다.

It might well be much further.

아니면, 반대로 더 멀 수도 있고요.

It might be 50 years away.

예를 들면, 50년 후일 수도 있고요.

That's still a possibility.

아직은 그저 가능성인 거죠.

It might be that somehow training on human data limits you to not being much smarter than humans.

어쩌면 인간 데이터를 기반으로 훈련하면, AI가 인간보다 훨씬 더 똑똑해지는 걸 제한하는 요인이 될 수도 있고요.

My guess is between 10 and 20 years we'll have superintelligence.

제 예상으로는 10년에서 20년 사이쯤이면 초지능이 나올 것 같아요.

────────────────────

바틀렛 | 46:34

On this point of joblessness,

사실 이 실업 문제에 대해 말하자면요,

it's something that I've been thinking a lot about in particular

제가 그 실업에 대해 특히 생각을 정말 많이 해봤거든요?

because I started messing around with AI agents

최근에 AI 에이전트를 직접 다뤄보면서 말이죠.

and we released an episode on the podcast actually this morning

실제로 오늘 아침에 저희 팟캐스트에서 그 주제를 다룬 에피소드도 올렸고요.

where we had a debate about AI agents with a CEO of a big AI agent company and a few other people.

AI 에이전트에 대해, 관련 대기업 CEO를 포함한 몇몇 분들이랑 토론하는 그런 컨텐츠였죠.

And it was the first moment where I had, no,

그때 제가 처음… 아니, 또 한 번의

it was another moment where I had a eureka moment about what the future might look like

"미래에는 이럴 수 있겠구나"하는 '유레카' 같은 순간이었죠.

when I was able in the interview to tell this agent to order all of us drinks.

인터뷰 중에 제가 AI 에이전트한테 "우리 다 같이 마실 거 좀 주문해 줘"라고 말했거든요?

And then five minutes later in the interview, you see the guy show up with the drinks

그러고 한 5분쯤 지나니까, 진짜 누가 음료를 들고 스튜디오에 딱 들어오는 거예요.

and I didn't touch anything.

제가 한 거라곤 말 한마디밖에 없는데도 말이죠.

I just told it to order us drinks to the studio.

전 그냥 "스튜디오로 음료 주문해 줘"라고 말만 했죠.

────────────────────

힌튼 | 47:07

And you didn't know about who you normally got your drinks from?

평소에 어디서 음료 주문하는지도 모른 채로, 그걸 알아내서 주문까지 한 거예요?

It figured that out from the web?

AI 에이전트가 웹에서 알아내서요?

────────────────────

바틀렛 | 47:11

Yeah, figured it out because it went on Uber Eats.

맞아요, 제가 들어갔던 우버이츠에서 알아낸 거죠.

It has my data, I guess.

아마 제 데이터를 기반으로 판단한 거겠죠.

And we put it on the screen in real time so everyone at home

그리고 저희가 그 과정을 실시간으로 화면에 띄워서, 다 같이 볼 수 있었거든요?

could see the agent going through the internet,

AI 에이전트가 어떻게 인터넷을 돌아다니면서

picking the drinks,

어떤 음료를 고르는지,

adding a tip for the driver,

기사를 위한 팁도 추가하고,

putting my address in, putting my credit card details in.

제 주소랑 카드 정보도 자동으로 입력했고,

And then the next thing you see is the drinks show up.

그러고 나니 진짜 음료가 스튜디오에 '짜잔!' 하고 나타난 거죠.

So that was one moment.

그게 첫 번째 충격의 순간이었고요.

And then the other moment was when I used a tool called Replit AI.

그리고 또 다른 순간은, '레플릿’이라는 AI를을 써봤을 때였는데,

And I built software by just telling the agent what I wanted.

그 AI 에이전트에게 제가 원하는 걸 말만 했는데, 그게 바로 소프트웨어로 만들어지더라고요.

────────────────────

힌튼 | 47:36

Yes.

그렇군요,

It's amazing, right?

진짜 놀랍지 않나요? 그쵸?

────────────────────

바틀렛 | 47:38

It's amazing and terrifying at the same time.

놀랍기도 했지만, 동시에 좀 무섭기도 했어요.

────────────────────

힌튼 | 47:41

Yes.

그랬겠네요.

And if it can build software like that, right?

그런 식으로 소프트웨어까지 만들 수 있다면 말이죠,

────────────────────

바틀렛 | 47:44

Yeah.

네.

────────────────────

힌튼 | 47:45

Remember that the AI, when it's training, is using code.

AI는 훈련할 때도 코드로 학습한다는 걸 기억해야 해요.

And if it can modify its own code,

근데 그 AI가 자신의 코드를 스스로 수정할 수 있게 되면,

then it gets quite scary, right?

그때부턴 진짜 좀 무섭죠, 그렇지 않나요?

────────────────────

바틀렛 | 47:55

Because it can modify itself.

자신을 바꿔나갈 수 있다는 얘기니까요?

────────────────────

힌튼 | 47:56

It can change itself in a way we can't change ourselves.

AI는 인간이 자신을 바꿀 수 없는 방식으로, 자기 자신을 바꿀 수 있다는 겁니다.

We can't change our innate endowment, right?

우린 선천적인 능력을 스스로 바꿀 수 없잖아요?

There's nothing about itself that it couldn't change.

그와 달리 AI는 자기 자신에 대해 못 바꾸는 게 아예 없을지도 몰라요.

────────────────────

바틀렛 | 48:06

On this point of joblessness, you have kids?

일자리 문제 얘기가 나와서 그런데요, 박사님 자녀분들 있으시죠?

────────────────────

힌튼 | 48:08

I do.

네, 있습니다.

────────────────────

바틀렛 | 48:09

And they have kids?

그럼, 손주도 있으신가요?

────────────────────

힌튼 | 48:10

No.

아뇨.

────────────────────

바틀렛 | 48:11

They don't have kids. They're no grandkids yet.

아, 아직 손주는 아직 없으시고요.

What would you be saying to people about their career prospects in a world of super intelligence?

그렇다면, 이제 초지능 시대를 살아갈 사람들에게 앞으로 뭘 하면 좋을지 말씀해 주실 수 있나요?

What should we be thinking about?

어떤 점들을 고려해서 생각해 봐야 할 까요?

────────────────────

힌튼 | 48:18

In the meantime,

적어도 당분간은요,

I'd say it's going to be a long time before it's as good at physical manipulation as us.

AI가 사람만큼 정교하게 물리적인 작업을 하려면 시간이 꽤 걸릴 겁니다.

────────────────────

바틀렛 | 48:25

OK.

그렇군요.

────────────────────

힌튼 | 48:26

And so a good bet would be to be a plumber.

그래서 제 생각엔, 배관공 같은 직업이 좋은 선택일 수 있죠.

────────────────────

바틀렛 | 48:32

Until the humanoid robots show up.

휴머노이드 로봇이 등장하기 전까지 말씀이죠?

In such a world where there is mass joblessness,

그런 대규모 실업 사태가 일어나는 세상을 가정했을 때,

which is not something that you just predict,

그건 단지 박사님께서만 막연히 예측하는 수준이 아니라,

but this is something that Sam Altman at OpenAI have heard him predict and many of the CEOs.

실제로 오픈AI의 샘 올트먼이나, 다른 많은 CEO들도 같은 예측을 하더라고요.

Elon Musk, I watched an interview which I'll play on screen of him being asked this question,

일론 머스크도 인터뷰에서 비슷한 질문을 받았는데, 지금 그 장면을 화면에 띄워드릴게요.

and it's very rare that you see Elon Musk silent for 12 seconds or whatever it was.

일론 머스크가 그 질문을 받고 약 12초 동안이나 말을 잇지 못하더라고요. 굉장히 드문 일이죠.

And then he basically says something about

그렇게 오랜 고민 끝에 일론 머스크가 이런 식으로 말해요.

he actually is living in suspended disbelief,

자신은 지금 일종의 '현실 부정 상태'에서 살고 있다고요.

i.e. he's basically just not thinking about it.

다시 말해, 그냥 그 문제에 대해 생각하지 않으려 한다는 거죠.

────────────────────

파버 | 48:58

you think about advising your children on a career with so much that is changing,

지금 같이 모든 게 빠르게 변하는 시대에 자녀에게 어떤 진로를 추천해야 할지 생각한다면,

what do you tell them there's gonna be a value?

앞으로 무엇이 '가치 있는 일'이 될 거라고 말하실 건가요?

────────────────────

머스크 | 49:17

Well,

글쎄요,

That is a tough question to answer.

정말 답하기 어려운 질문이네요.

I would just say, you know,

굳이 말하자면, 뭐랄까...

to sort of follow their heart in terms of what they find interesting to do or fulfilling to do.

결국은 자기 마음이 끌리는걸, 재미있거나 보람 있다고 느끼는 일을 하라고 얘기할 거 같아요.

I mean, If I think about it too hard, frankly can be dispiriting and demotivating.

근데 솔직히 말씀드리자면, 그걸 너무 깊이 생각하다 보면 오히려 우울해지고 의욕이 꺾이는 상황이기도 해요.

Because, I mean, I, go through,

왜냐하면, 저도… 뭐랄까, 저도 그렇게 느끼고 있거든요.

I've put a lot of blood, sweat, and tears into building the companies,

정말 피, 땀, 눈물 다 쏟아가며 회사를 키워왔는데,

and then I'm like, wait, well should I be doing this?

지금 상황 때문에 문득 이런 생각이 드는 거죠. "꼭 내가 이걸 계속 해야 하나?"

Because if I'm sacrificing time with friends and family that I would prefer to do,

사실 전 원래 친구나 가족들과 보내는 시간을 더 소중하게 여기는 사람인데도, 그런 시간을 희생하면서까지 이 일을 하고 있는 건데,

but then ultimately the AI can do all these things?

그런데 결국엔, AI가 그 모든 걸 다 해버릴 수 있게 되는 거잖아요?

Does that make sense? I don't know.

그게 말이 되는 걸까요? 솔직히 잘 모르겠어요.

To some extent I have to have deliberate suspension of disbelief

지금은 어느 정도는 의도적으로 현실을 외면해야만 해요.

in order to remain motivated.

계속해서 동기부여 상태가 유지되기 위해서 말이죠.

So I guess I would say just, you know,

그러니까 제가 이 상황에 대해 굳이 말하자면, 뭐랄까…

work on things that you find interesting, fulfilling, and

자신이 재미있고 보람 있다고 느끼는 일을 하세요.

and that contribute some good to the rest of society.

그리고 다른 사람들과 사회에 조금이라도 이바지하는 일이라면 더 좋고요.

────────────────────

힌튼 | 50:22

Yeah, a lot of these threats, it's very hard to, intellectually you can see the threat,

맞습니다, AI의 이런 위협들은 논리적으로는 분명히 보이거든요?

but it's very hard to come to terms with it emotionally.

근데 그걸 감정적으로 받아들이는 게 정말 어렵더라고요.

I haven't come to terms with it emotionally yet.

저 자신도 아직 감정적으로는 받아들이지 못했어요.

────────────────────

바틀렛 | 50:34

What do you mean by that?

그게 무슨 뜻인지 여쭤봐도 될까요?

────────────────────

힌튼 | 50:37

I haven't come to terms with what the development of superintelligence could do to my children's future.

초지능이 등장했을 때, 그게 제 아이들의 미래에 어떤 영향을 줄지를 받아들이기가 어렵다는 거죠.

I'm OK. I'm 77.

전 괜찮아요. 이제 77살이니까요.

I'm going to be out of here soon.

얼마 안 있어 이 세상을 떠날 사람이잖아요?

But for my children and my younger friends,

하지만 제 아이들이나, 젊은 친구들,

my nephews and nieces and their children.

조카들이나 그들의 자녀들을 생각하면...

I just don't like to think about what could happen.

그래서 솔직히 어떤 일들이 벌어질지 차마 생각하기가 싫은 겁니다.

────────────────────

바틀렛 | 51:08

Why?

왜죠?

────────────────────

힌튼 | 51:09

Because it could be awful.

정말 끔찍한 일이 생길 수도 있으니까요.

────────────────────

바틀렛 | 51:14

In what way?

어떤 식으로 말씀인 거죠?

────────────────────

힌튼 | 51:17

Well, if AI ever decided to take over,

만약 AI가 언젠가 세상을 장악하기로 마음먹는다면,

I mean, it would need people for a while to run the power stations

물론, 당분간은 발전소 같은 걸 운영하게 하기 위해 사람이 필요하겠죠.

until it designed better analog machines to run the power stations.

그러다가 발전소를 운영할 더 나은 아날로그 시스템을 설계해 내면 사람도 필요 없어질 테고요.

There's so many ways it could get rid of people,

그렇게 AI가 인간을 필요 없다고 느낄 이유와, 제거할 방법들은 무궁무진할 겁니다.

all of which would, of course, be very nasty.

그리고 그 모든 방식은 당연히 매우 끔찍할 테고요.

────────────────────

바틀렛 | 51:35

Is that part of the reason you do what you do now?

지금 박사님이 이런 활동을 하시는 것도, 그런 이유 때문인 거죠?

────────────────────

힌튼 | 51:37

Yeah, I mean, I think we should be making a huge effort right now

맞아요. 저는 지금 당장부터 우리가 엄청난 노력을 쏟아야 한다고 생각합니다.

to try and figure out if we can develop it safely.

과연 우리가 어떻게 이 AI 기술을 '안전하게' 개발할 수 있을지를 찾기 위해 말이죠.

────────────────────

바틀렛 | 51:45

Are you concerned about the midterm impact

혹시 중기적인 측면에서 AI가 끼칠 영향에 대해서도 걱정하고 계신가요?

potentially on your nephews and your kids in terms of their jobs as well?

자녀나 조카들의 일자리에도 영향을 줄 가능성 같은 것들도 말이죠.

────────────────────

힌튼 | 51:51

Yeah, I'm concerned about all that.

네, 그런 것도 정말 걱정이 됩니다.

────────────────────

바틀렛 | 51:53

Are there any particular industries that you think are most at risk?

지금 AI 때문에 위험에 처할 특정 산업이 있다고 보시나요?

People talk about the creative industries a lot

요즘 많은 사람들이 창작 관련 일들에 대해 자주 얘기하잖아요?

and it's sort of knowledge work.

그리고 지식 노동 쪽 직업군 얘기도 많이 나오죠.

They talk about lawyers and accountants and stuff like that.

변호사나 회계사 같은 직업들 말이에요.

────────────────────

힌튼 | 52:02

Yeah, so that's why I mentioned plumbers.

네, 그래서 제가 아까 배관공 얘기를 꺼낸 건데요,

I think plumbers are less at risk.

왜냐하면 배관공이 그나마 AI 위협에 덜 노출돼 있다고 생각하거든요.

────────────────────

바틀렛 | 52:05

Okay, I'm gonna become a plumber.

그렇군요. 그럼, 저도 배관공이 될 준비를 해야겠습니다.

────────────────────

힌튼 | 52:06

Someone like a legal assistant, a paralegal.

예를 들어 법률 보조원, 준 법률가 같은 직종은

They're not going to be needed for very long.

곧 필요 없어질 가능성이 높죠.

────────────────────

바틀렛 | 52:13

And is there a wealth inequality issue here that will rise from this?

그렇다면 그런 상황으로 인해 부의 불균형 문제가 더 심해질 수 있다고 보시나요?

────────────────────

힌튼 | 52:17

Yeah, I think in a society which shared out things fairly,

네, 만약 공정하게 모든 걸 나누는 사회라면,

if you get a big increase in productivity,

그리고 생산성이 크게 증가했다면,

everybody should be better off.

모두의 형편이 더 나아질 겁니다.

But if you can replace lots of people by AIs,

근데 우리가 살아가는 자본주의에서 많은 사람들을 AI로 대체할 수 있게 된다면,

then the people who get replaced will be worse off

AI로 일자리를 잃는 사람들은 형편이 더 힘들어지고,

and the company that supplies the AIs will be much better off.

AI를 만드는 기업들은 훨씬 더 부유해지겠죠.

and the company that uses the AIs.

AI를 도입한 회사들도 마찬가지로요.

So it's going to increase the gap between rich and poor.

그러니 결국 빈부 격차는 더 벌어질 수밖에 없습니다.

And we know that if you look at that gap between rich and poor,

그리고 우리가 이미 알고 있듯, 사회의 빈부 격차를 살펴봤을 때,

that basically tells you how nice a society is.

기본적으로 그 사회가 얼마나 살기 좋은 곳인지 말해주잖아요?

If you have a big gap,

만약 사회의 빈부 격차가 커지게 되면,

you get very nasty societies in which people live in walled communities and put other people in mass jails.

서로 단절된 채 고립돼 살아가고, 누군가는 무더기로 감옥에 끌려가는 끔찍한 사회가 되는 겁니다.

It's not good to increase the gap between rich and poor.

빈부 격차가 벌어지는 건 결코 좋은 일이 아니죠.

────────────────────

바틀렛 | 53:07

The International Monetary Fund has expressed profound concerns

국제통화기금 IMF도 이미 심각한 우려를 표명했더라고요.

that generative AI could cause massive labour disruptions and rising inequality

생성형 AI가 노동 시장에 큰 혼란을 야기하고, 불평등을 심화시킬 수 있다는 점에 대해서 말이죠.

and has called for policies that prevent this from happening.

그래서 그걸 막을 수 있는 정책이 필요하다고도 말했고요.

I read that in the Business Insider.

참고로 그 기사는 <비지니스 인사이더>에서 봤습니다.

────────────────────

힌튼 | 53:20

Have they given any idea what the policies should look like?

그래서 어떤 정책이 생겨야 하는지에 대한 구체적인 얘기는 하던가요?

────────────────────

바틀렛 | 53:23

No.

그런 건 없었습니다.

────────────────────

힌튼 | 53:24

Yeah, that's the problem.

그게 바로 문제인 거죠.

I mean, if AI can make everything much more efficient and get rid of people for most jobs

그러니까, AI가 모든 걸 훨씬 효율적으로 처리하고 대부분의 일자리에서 사람을 몰아내게 된다면,

or have a person assisted by AI doing many, many people's work,

혹은 AI의 도움을 받은 한 사람이 여러 사람 몫의 일을 해낸다면,

it's not obvious what to do about it.

그런 상황에서 뭘 해야 할지가 뚜렷하지 않으니까요.

────────────────────

바틀렛 | 53:38

Universal basic income ( UBI )?

그렇다면, 보편적 기본소득 제도 같은 건 어떨까요?

Give everybody money.

모든 사람에게 돈을 나눠주는 거죠.

────────────────────

힌튼 | 53:41

Yeah, I think that's a good start,

네, 저는 그게 괜찮은 출발점이 될 수 있다고 생각해요.

and it stops people starving.

적어도 사람들이 굶는 일은 막을 수 있을 테니까요.

But for a lot of people, their dignity is tied up with their job.

하지만 많은 사람들에게 '일'은 존엄과도 연결돼 있어요.

I mean, who you think you are, is tied up with you doing this job, right?

그러니까 "나는 누구인가?" 하는 정체성이라는 게, 지금 하고 있는 일과 밀접하게 연관되어 있잖아요?

────────────────────

바틀렛 | 53:54

Yeah.

그렇죠.

────────────────────

힌튼 | 53:55

And if we said, we'll give you the same money just to sit around,

근데 만약 "빈둥대고 있어도 우리가 돈 줄게"라고 한다면,

that would impact your dignity.

그게 사람들의 존엄에 큰 영향을 줄 테니까요.

────────────────────

바틀렛 | 54:02

You said something earlier about it surpassing or being superior to human intelligence.

아까 박사님께서 AI가 인간의 지능을 뛰어넘고, 그보다 더 우월해질 수도 있다고 하셨잖아요?

A lot of people, I think, like to believe that

많은 사람들이, 제 생각엔, 그렇게 믿고 싶어하는 경향이 있는 거 같아요.

AI is on a computer and it's something you can just turn off if you don't like it.

AI는 그냥 컴퓨터 안에 있는 거니까, 맘에 안 들면 그냥 꺼버리면 되지 않냐고 말이죠.

────────────────────

힌튼 | 54:15

Well, let me tell you why I think it's superior.

우선 왜 AI가 더 우월하다고 생각하는지 말씀드릴게요.

────────────────────

바틀렛 | 54:17

Okay.

좋습니다.

────────────────────

힌튼 | 54:18

It's digital.

AI는 디지털이에요.

And because it's digital,

AI가 디지털이기에,

you can simulate a neural network on one piece of hardware,

한 대의 하드웨어에서 신경망을 시뮬레이션할 수 있고,

────────────────────

바틀렛 | 54:26

Yeah.

네.

────────────────────

힌튼 | 54:27

and you can simulate exactly the same neural network on a different piece of hardware.

그리고 그와 정확히 똑같은 신경망을 다른 하드웨어에서도 시뮬레이션할 수 있어요.

So you can have clones of the same intelligence.

그러니까, 동일한 지능을 가진 복제본을 만들 수 있다는 거죠.

Now, you could get this one to go off and look at one bit of the internet,

예를 들어, 하나의 신경망은 인터넷의 한 부분을 탐색하게 하고,

and this other one to look at a different bit of the internet.

다른 하나는 또 다른 부분을 보게 할 수 있겠죠.

And while they're looking at these different bits of the internet,

그리고 이렇게 서로 다른 인터넷 정보를 탐색하는 동안에도,

they can be syncing with each other

서로 계속 동기화될 수 있고,

so they keep their weights the same,

그렇게 AI는 각각의 신경망의 가중치를 똑같이 유지하게 돼요.

their connection strengths the same, weights of connection strengths.

신경망에서 가중치는, 연결의 강도를 의미하고요.

So this one might look at something on the internet and say,

그리고 한쪽 복제본이 인터넷에서 뭔가를 보고,

oh, I'd like to increase this strength of this connection a bit,

"이쪽 신경망의 가중치를 좀 더 강하게 해야겠다"라고 판단할 수 있죠.

And it can convey that information to this one.

그리고 그 정보를 다른 복제체에 전달할 수도 있고요.

So it can increase the strength of that connection a bit based on this one's experience.

그럼 복제본도 다른 신경망이 학습한 경험을 바탕으로 그 연결 강도를 약간 조정할 수 있다는 겁니다.

────────────────────

바틀렛 | 55:04

And when you say the strength of the connection,

박사님이 연결의 강도라고 말하는 게

you're talking about learning.

곧, 학습을 의미하는 거네요?

────────────────────

힌튼 | 55:07

That's learning, yes.

맞습니다. 그게 학습이에요.

Learning consists of saying

학습이라는 건 뭐냐면요,

instead of this one giving 2.4 votes for whether that one should turn on,

이전엔 A 뉴런이 "B 뉴런이 켜질지 말지"에 대해 2.4점 정도의 가중치를 줬다면,

we'll have this one give 2.5 votes for whether this one should turn on.

이제는 2.5점으로 살짝 더 조정되는 걸 말하는 거예요.

That would be a little bit of learning.

그렇게 해서 AI가 조금씩 학습해 나가는 거고요.

So these two different copies of the same neural net

그러니까 이 동일한 신경망의 서로 다른 복제본 두 개가

are getting different experiences, they're looking at different data,

각자 다른 경험을 하고 있고, 서로 다른 데이터를 보고 있지만,

but they're sharing what they've learned by averaging their weights together.

복제본들은, 각자 따로 학습한 내용을 가중치를 평균 내는 방식으로 서로 공유하는 겁니다. ( 각자 다른 경험을 하고, 그 결과를 서로에게 반영 )

And they can do that averaging like, you can average a trillion weights.

그리고 AI는 이런 평균 내는 과정을, 수조 개의 가중치에 대해서도 문제없이 할 수 있어요.

When you and I transfer information,

반면에 저희가 정보를 주고받을 때는,

we're limited to the amount of information in a sentence.

문장 하나에 담을 수 있는 정보량에 한계가 있잖아요?

And the amount of information in a sentence is maybe 100 bits.

문장 하나에 담긴 정보량은 기껏해야 100비트 정도니까요.

It's very little information.

정말 미미한 정보량이죠.

We're lucky if we're transferring like 10 bits a second.

운 좋으면 초당 10비트를 전달할 수 있을까 말까 거든요.

These things are transferring trillions of bits a second.

근데 AI는 초당 수조 비트를 주고받을 수 있습니다.

So they're billions of times better than us at sharing information.

그러니까 정보 공유 면에서는 우리보다 수십억 배나 빠른 거죠.

And that's because they're digital

그게 가능한 이유가 바로 AI가 디지털이기 때문이고,

and you can have two bits of hardware using the connection strengths in exactly the same way.

그렇기에, 같은 연결 강도를 정확히 똑같이 적용한 하드웨어를 여러 개 만들어 동시에 작동시킬 수 있는 거죠.

We're analog and you can't do that.

근데 우리는 아날로그라서 그런 건 못해요.

Your brain is different from my brain.

제 뇌랑 바틀렛 씨의 뇌는 다르니까요.

And if I could see the connection strengths between all your neurons,

제가 바틀렛 씨의 신경 세포들 사이의 연결 강도를 전부 볼 수 있다고 해도,

it wouldn't do me any good

저한테는 아무 의미 없을 겁니다.

because my neurons work slightly differently

왜냐하면 제 신경 세포는 바틀렛 씨와 작동 방식도 약간 다르기도 하고,

and they're connected up slightly differently.

그리고 연결된 방식도 조금씩 다르거든요.

So when you die,

그래서 사람은 죽으면,

all your knowledge dies with you.

그 사람이 가진 모든 지식도 함께 사라지죠.

When these things die,

근데 AI 같은 존재는 죽는다고 해도,

suppose you take these two digital intelligences that are clones of each other,

완전히 똑같은 디지털 지능 복제본 두 개가 있다고 해보죠.

and you destroy the hardware they run on.

그리고 그걸 실행하던 하드웨어를 파괴했다고 가정하는 겁니다.

As long as you've stored the connection strength somewhere,

그렇더라도 그 연결 강도만 어딘가에 저장돼 있기만 하면,

you can just build new hardware that executes the same instructions,

그냥 같은 명령을 실행하는 새 하드웨어를 만들기만 하면 되는 거예요.

so it'll know how to use those connection strengths,

그럼, 그 하드웨어는 저장된 연결 강도를 그대로 사용할 수 있게 되고,

and you've recreated that intelligence.

결국 그렇게 같은 지능을 다시 되살리게 되는 겁니다.

So they're immortal.

그러니까 AI는 죽지 않는 존재인 거죠.

We've actually solved the problem of immortality,

우린 사실상 불멸이라는 문제를 해결한 셈이에요.

but it's only for digital things.

단, 그건 디지털인 것에만 해당되는 거고요.

────────────────────

바틀렛 | 56:47

So it knows,

그러니까 AI는,

it will essentially know everything that humans know but more,

사실상 인간이 아는 건 거의 다 알게 될 뿐 아니라, 그 이상까지도 알게 될 거란 말씀이네요?

because it will learn new things.

계속해서 새로운 것들을 배워나갈 테니까요.

────────────────────

힌튼 | 56:53

It will learn new things.

맞아요, 새로운 것들을 계속 배워나가겠죠.

It will also see all sorts of analogies that people probably never saw.

그리고 AI는 사람들이 전혀 눈치채지 못했던 유사성들도 찾아낼 수 있을 거예요.

So for example,

예를 하나 들어볼게요.

at the point when GPT-4 couldn't look on the web,

이건 GPT-4가 아직 인터넷 검색을 할 수 없을 때였는데요,

I asked it, why is a compost heap like an atom bomb?

제가 "퇴비 더미가 원자폭탄이랑 어떻게 비슷할까?" 하고 물어봤었거든요?

Off you go.

자, 한번 생각해 보세요.

────────────────────

바틀렛 | 57:11

I have no idea.

전혀 모르겠는데요?

────────────────────

힌튼 | 57:12

Exactly.

바로 그거예요.

Excellent.

좋습니다.

That's exactly what most people would say.

대부분 사람들이 정확히 그렇게 대답하거든요?

It said, well, the time scales are very different,

그런데 GPT의 대답은 어땠냐면, "시간의 크기도 굉장히 차이 나고"

and the energy scales are very different.

"에너지의 규모도 완전히 다르지만"

But then it went on to talk about how a compost heap, as it gets hotter, generates heat faster.

"'퇴비 더미'는 열이 올라갈수록 더 빨리 열을 만들어내고"

And an atom bomb,

"그리고 원자폭탄은"

as it produces more neutrons, generates neutrons faster.

"중성자를 더 많이 만들어질수록 중성자 생성 속도도 더 빨라져요"

And so they're both chain reactions,

"결국 이 둘은 모두 연쇄 반응 구조라는 거예요"

but at very different time and energy scales.

"다만 시간과 에너지 규모가 완전히 다를 뿐이죠"

And I believe GPT-4 had seen that during its training.

그리고 저는 GPT-4가 학습하는 과정 중에 이 유사성을 인식했을 거라고 생각해요.

It had understood the analogy between a compost heap and a atom bomb.

'퇴비 더미'와 '원자폭탄' 사이의 유사성을 제대로 이해했던 거죠.

And the reason I believe that is,

제가 그렇게 생각하는 이유는,

if you've only got a trillion connections,

만약 AI신경망 안에 연결(가중치)이 1조 개밖에 없다면요,

remember you have a hundred trillion,

우리는 100조 개나 있는 것 말이죠.

and you need to have thousands of times more knowledge than a person,

그런데도 AI가 인간보다 수천 배 많은 지식을 갖기 위해서는

you need to compress information into those connections.

그런 연결들 안에 정보를 압축해서 넣어야만 해요.

And to compress information,

그리고 정보들을 압축하기 위해서

you need to see analogies between different things.

서로 다른 것들 사이의 유사성을 볼 수 있어야만 하는 거죠.

In other words,

그러니까, 쉽게 말해서,

it needs to see all the things that are chain reactions

AI는 세상에 존재하는 모든 '연쇄 반응'을 인식할 수 있어야 하고,

and understand the basic idea of a chain reaction and code that,

그리고 연쇄 반응의 기본 개념을 이해해서, 그걸 하나로 코딩해 두고,

and then code the ways in which they're different.

각 반응이 어떻게 다른지를 따로 코딩해야 하는 거죠.

And that's just a more efficient way of coding things than coding each of them separately.

그게 각각 따로따로 코딩해서 저장하는 것보다 훨씬 효율적인 방식이거든요.

So it's seen many, many analogies, probably many analogies that people have never seen.

그래서 아마 AI는 우리가 한 번도 보지 못한 수많은 유사성들을 이미 봤을 가능성이 높아요.

That's why I also think that people say these things are never going to be creative.

그런데 사람들은 AI는 인간처럼 절대 창의적일 수 없을 거라고 말들 하잖아요?

They're going to be much more creative than us

근데 실제로는 AI가 우리보다 훨씬 더 창의적일 수 있다는 겁니다.

because they're going to see all sorts of analogies we never saw

왜냐하면 AI는 우리가 상상도 못 했던 온갖 유사성들을 볼 수 있을 테니까요.

and a lot of creativity is about seeing strange analogies.

사실 대부분의 창의성이라는 것은 결국 낯선 것들 사이에서 유사성을 찾아내는 능력이거든요.

────────────────────

바틀렛 | 58:33

People are somewhat romantic about the specialness of what it is to be human.

근데 사람들은 인간만의 특별함에 대해 약간 로맨틱한 환상을 가지고 있잖아요?

And you hear lots of people saying, it's very, very different.

많은 사람들이 "AI랑은 사람은 완전히 근본적으로 다르다"고 말하곤 해요.

It's a computer.

"AI는 그냥 컴퓨터고"

We are, you know, we're conscious.

"우리는 의식이 있고"

We are creatives.

"우리는 창의적인 존재야"

We have these sort of innate unique abilities that the computers will never have.

"우리에겐 컴퓨터가 절대 흉내 낼 수 없는 타고난 능력이 있어"

What do you say to those people?

그런 얘기를 하는 사람들한테는 뭐라고 하시겠어요?

────────────────────

힌튼 | 58:50

I'd argue a bit with the innate.

저는 그 '타고난'이란 말에 조금 이견이 있어요.

So

일단,

the first thing I say is we have a long history of believing people are special.

가장 먼저 하고 싶은 말은, 우리는 오랫동안 '인간은 특별하다'라는 믿음을 가져왔지만,

And we should have learned by now,

이젠 좀 깨달아야 한다고 생각해요.

we thought we were at the center of the universe.

우리는 한때 지구가 우주의 중심이라고 생각했었고,

We thought we were made in the image of God.

우리는 신의 형상으로 만들어졌다고 생각했죠.

White people thought they were very special.

백인들은 자기들이 우월하다고도 생각했었고,.

We just tend to want to think we're special.

우리는 그냥, 우리가 특별하다고 믿고 싶어 하는 경향이 있는 겁니다.

My belief is that more or less everyone

근데 제가 느끼기에 거의 대부분의 사람들은

has a completely wrong model of what the mind is.

'마음'이란 게 뭔지에 대해 완전히 잘못 이해하고 있어요.

Let's suppose I drink a lot or I drop some acid

예를 들어 제가 술을 잔뜩 마시거나, 아니면 LSD 같은 환각제를 했다고 칩시다.

and not recommended

( 물론 권장하진 않습니다 )

and I say to you,

그리고 나서 제가 말해요.

I have the subjective experience of little pinkelephants floating in front of me.

"지금 제 눈앞에 작은 분홍색 코끼리들이 둥둥 떠다니는 것처럼 느껴져요 ( 주관적 경험 )"

Most people interpret that as there's some kind of inner theater called the mind

대부분의 사람들은 그걸, '마음'이라는 내면의 극장에서 벌어지는 일이라고 해석해요.

and only I can see what's in my mind.

그리고 그 마음은 저 자신만 볼 수 있고,

And in this inner theater,

그리고 이 내면의 극장에서는,

there's little pink elephants floating around.

작은 분홍 코끼리들이 둥둥 떠다니고 있는 거죠.

So in other words, what's happened is my perceptual system's gone wrong

근데 사실은, 이건 제 지각 체계에 오류가 생긴 거예요.

and I'm trying to indicate to you

그리고 저는 그걸 당신에게 표현하려고 하는 거고요.

how it's gone wrong and what it's trying to tell me.

지금 무슨 문제가 생긴 건지, 어떤 일이 일어나고 있는지를 말이죠.

And the way I do that

그리고 그렇게 표현하는 방식은,

is by telling you what would have to be out there in the real world for it to be telling the truth.

"지금 내 뇌가 말하는 게 사실이라면 현실에는 이런 게 있어야 한다"라는 식으로 말하는 거죠.

And so these little pink elephants,

그러니까 이 작은 분홍 코끼리들은,

they're not in some inner theater.

머릿속 '내면의 극장' 같은 데 있는 게 아니에요.

These little pink elephants are hypothetical things in the real world.

이 작은 분홍 코끼리들은, 실제로 존재하진 않지만 현실에 있다고 가정하는 가상의 존재인 거죠.

And that's my way of telling you

그게 바로 제가 표현하기 위한 방식이고,

how my perceptual system's telling me fibs.

지각 체계가 저한테 어떻게 작은 거짓말을 하는지를 보여주는 거죠.

So now let's do that with a chatbot.

이제 이걸 챗봇에도 적용해 봅시다.

Because I believe that current multimodal chatbots have subjective experiences.

왜냐하면 저는 지금의 멀티모달 챗봇들이 '주관적 경험'을 한다고 믿거든요.

And very few people believe that.

이걸 믿는 사람은 거의 없지만,

But I'll try and make you believe it.

제가 그렇게 믿도록 한번 설득해 볼게요.

So suppose I have a multimodal chatbot.

자, 그럼, 멀티모달 챗봇이 하나 있다고 쳐봅시다.

It's got a robot arm so it can point.