플로이드 | 00:00

The impact of superhuman AI over the next decade

"초지능 AI가 향후 10년간 우리에게 끼칠 영향은"

will exceed that of the industrial revolution.

"산업혁명 때보다 더 클 것이다"

That is the opening claim of AI 2027'

이게 바로 'AI 2027'가 시작하면서 던지는 메세지입니다.

It is a thoroughly researched report

'AI 2027 '는 철저하게 조사된 보고서이자,

from a thoroughly impressive group of researchers

정말 뛰어난 연구진들이 자료입니다.

led by Daniel Kokotajlo.

그리고 그 연구를 이끈 사람은 대니얼 코코타일로입니다.

In 2021, over a year before ChatGPT was released,

대니얼은 2021년, 챗GPT가 나오기 1년 전부터

he predicted the rise of chatbots, hundred million dollar training runs,

챗봇의 부상과 수백억 원을 투자하는 강화 훈련,

sweeping AI chip export controls,

대대적인 AI 반도체 수출 통제,

Chain of Thought reasoning.

그리고 '생각의 사슬' 방식의 추론까지 예견했죠.

He's known for being very early and very right about what's happening next in AI.

그렇게 AI의 흐름을 남들보다 훨씬 먼저, 그리고 정확하게 예측했었고

So when Daniel sat down to game out a month by month prediction of the next few years of AI progress,

그래서 대니얼이 앞으로 몇 년간의 AI 발전을 월 단위로 시뮬레이션해 보겠다고 발표했을 때,

the world sat up and listened,

전 세계가 귀를 기울였죠.

from politicians in Washington

워싱턴의 정치인부터 시작해서

────────────────────

제임스 데이비드 밴스 ( 미국 제 50대 부통령 ) | 00:38

I, I'm worried about this stuff.

"전 AI에 대해 진심으로 걱정하고 있어요"

I actually read the paper of the guy that you had on

"대니얼이 쓴 보고서, 저도 직접 읽어봤습니다"

────────────────────

플로이드 | 00:42

to the world's most cited computer scientist, the godfather of AI.

세계에서 가장 많이 인용된 컴퓨터 과학자이자, 이른바 AI의 대부까지 말이죠.

What is so exciting and terrifying about reading this document

이 보고서를 읽으면서 정말 두렵고도 흥미로운 건요,

is that it's not just a research report.

단순한 연구 보고서가 아니라,

They chose to write their prediction as a narrative

예측 내용을 하나의 이야기처럼 구성했기 때문입니다.

to give a concrete and vivid idea of what it might feel like to live through rapidly increasing AI progress.

AI가 급속도로 발전해 가는 시기를 살아가는 과정을 보다 구체적이고 생생하게 느낄 수 있도록 말이죠.

And spoiler,

그리고, 하나 스포하자면,

it predicts the extinction of the human race.

보고서의 시나리오는 인류의 멸망을 예측하고 있습니다.

Unless we make different choices.

우리가 다른 선택을 하지 않는다면 말이죠.

AI 2027

AI 2027 시나리오는 2025년 여름부터 시작됩니다.

The AI 2027 scenario starts in summer 2025,

AI 2027 시나리오는 2025년 여름부터 시작됩니다.

which happens to be when we're filming this video.

마침, 저희가 이 영상을 찍고 있는 시점이죠.

So why don't we take stock of where things are at in the real world

그렇다면 지금 현실 세계에서 우리가 어느 단계까지 와 있는지 한번 살펴볼까요?

and then jump over to the scenario's timeline.

그리고 나서 시나리오 속 시간대로 넘어가 보죠.

Right now,

우리가 살아가고 있는 지금,

it might feel like everyone, including your grandma, is selling an AI powered something.

온 세상이, 심지어 우리 할머니까지도 AI 기반의 뭔가를 하나쯤은 팔고 있는 듯한 기분이 들잖아요?

Go pro with the new Oral-B Genius AI

"Oral-B 지니어스 AI"로 전문가처럼 양치하세요!"

Flippy the chef makes spuds spectacular.

"주방 로봇 플리피, 감자를 환상적으로 튀겨드립니다!"

But most of that is actually tool AI.

하지만 이런 것들은 대부분 '도구형 AI'죠.

Just narrow products designed to do what Google Maps

구글 지도처럼, 딱 하나의 기능만을 위해 설계된 제한적인 AI일 뿐입니다.

or calculators did in the past,

마치 과거의 계산기처럼 말이에요.

help human consumers and workers do their thing.

소비자나 작업자들이 일을 잘할 수 있게 도와주는 거죠.

The holy grail of AI is Artificial General Intelligence.

하지만, AI의 궁극적인 목표는 'AGI : 인공 일반 지능'입니다.

────────────────────

샘 올트먼( 오픈AI CEO ) | 01:50

AGI

AGI : 인공 일반 지능

────────────────────

데미스 하사비스 ( 구글 딥마인드 공동 창업자 & CEO ) | 01:51

AGI x2

AGI : 인공 일반 지능

────────────────────

일론 머스크 ( xAI 창업자 & CEO ) | 01:52

AGI x3

AGI : 인공 일반 지능

────────────────────

다리오 아모데이 ( Anthropic 공동 창업자 & CEO ) | 01:53

AGI x4

AGI : 인공 일반 지능

────────────────────

선다 피차이 ( Google CEO ) | 01:52

AGI x5

AGI : 인공 일반 지능

────────────────────

일리야 서츠케버 ( Safe Superintelligence 공동 창업자 & 수석 과학자 ) | 01:53

AGI : Artificial General Intelligence

AGI : 인공 일반 지능

────────────────────

데미스 하사비스 ( 구글 딥마인드 공동 창업자 & CEO ) | 01:56

is a system that can exhibit all the cognitive capabilities humans can.

AGI는 인간이 가진 모든 인지 능력을 발휘할 수 있는 시스템을 말합니다.

────────────────────

플로이드 | 01:59

Creating a computer system that itself is a worker.

스스로 하나의 '직원'같은 컴퓨터를 만들어 내는 거죠.

That's so flexible and capable, we can communicate with it in natural language

정말 유능하고, 유연하며 우리가 쓰는 말로 대화할 수 있는 그런 컴퓨터를 말이에요.

and hire it to do work for us, just like we would a human.

그래서 직원을 고용하듯, AI에게 사람처럼 일을 맡길 수 있게 되는 거죠.

And there are actually surprisingly few serious players in the race to build AGI.

그리고 놀랍게도, AGI 개발 경쟁에 진지하게 뛰어든 곳은 많지 않습니다.

Most notably, there's Anthropic, OpenAI,

가장 대표적으로는 앤트로픽부터 오픈AI,

and Google DeepMind, all in the English speaking world,

구글 딥마인드가 있고, 전부 영어권에 있습니다.

though China and DeepSeek

하지만 중국의 딥시크도

recently turned heads in January with a surprisingly advanced and efficient model.

올해 1월, 놀라울 만큼 고도화되고 효율적인 모델을 내놓으면서 시선을 끌기도 했죠.

Why so few companies?

그런데 왜 이렇게 적은 회사들만 뛰어든 걸까요?

Well, for several years now,

그건, 몇 년 전부터

there's basically been one recipe for training up in advanced cutting edge AI.

고도화된 최첨단 AI를 훈련시키는 데에는 사실상 단 하나의 '레시피'만 존재해 왔기 때문인데,

And it has some pricey ingredients.

그 방식에 들어가는 '재료'들이 꽤 비싸거든요.

For example, you need about 10% of the world's supply of the most advanced computer chips.

이해를 돕자면, 지구 전체에서 생산되는 최첨단 컴퓨터용 반도체 공급량의 10% 정도가 필요하죠.

Once you have that,

그만큼 확보하기만 하면,

the formula is basically just

그다음 공식은 일반적으로 그냥

throw more data and compute at the same basic software design

기본 소프트웨어 구조에 그냥 더 많은 데이터랑 연산 자원을 쏟아붓는 거고,

that we've been using since 2017 at the frontier of AI,

그 구조가 바로 2017년부터 AI 최전선에서 써온

the Transformer.

'트랜스포머' 죠.

That's what the T in GPT stands for.

GPT의 T가 의미하는 것도 바로 이 '트랜스포머'고요.

To give you an idea of just how much hardware is the name of the game right now,

요즘 AI 경쟁에서 하드웨어가 얼마나 핵심인지 보여드리자면,

this represents the total computing power, or compute, used to train GPT-3 in 2020.

이건 2020년 GPT-3 훈련에 사용된 전체 연산 능력 즉, 컴퓨팅 자원의 양을 나타내는 건데,

It's the AI that would eventually power the first version of ChatGPT.

이 GPT-3 모델이 결국 챗GPT 초기 버전의 기반이 된 거고요.

You probably know how that went.

아마 처음 챗GPT가 처음 나왔을 때가 기억하시겠죠?

ChatGPT is the fastest growing user-based platform in history.

"챗GPT는 역사상 가장 빠르게 성장한 사용자 기반 플랫폼입니다"

A hundred million users on ChatGPT in two months

"챗GPT 출시 두 달 만에 사용자 수가 1억 명을 돌파했습니다"

And this is the total compute used to train GPT-4 in 2023.

그리고 이건 2023년 GPT-4를 훈련에 사용된 전체 연산 능력, 전체 컴퓨팅 자원의 양입니다.

The lesson people have taken away is pretty simple.

이걸 통해 AI 업계가 얻은 교훈은 꽤 단순한데,

Bigger is better,

"클수록 좋고"

and much bigger is much better.

그리고 "훨씬 더 클수록, 훨씬 더 좋다"

────────────────────

대니얼 코코타일로 | 03:23

You have all these trends, you have trends in revenue going up,

그렇게 추세를 타기 시작하니, 매출이 오르고,

trends in compute going up,

그에 따라 전체 연산 능력도 늘어나고,

trends in various benchmarks going up.

여러 성능 평가 수치 ( 벤치마크 ) 들도 전부 상승하는 거죠.

How does it all come together?

이 모든 게 합쳐지면 어떨까요?

You know, what does the future actually look like?

그렇게 발전한 미래는 어떤 모습일까요?

Questions like how do these different factors interact?

자연스레 그런 지표들이 앞으로 어떻게 상호작용 할지 질문이 떠오르죠.

Seems plausible that when the benchmark scores are so high,

성능 평가 지표가 그렇게 높아질수록, 꽤 타당해 보일 겁니다.

then there should be crazy effects on,

어딘가에 엄청난 영향이 생길 거라는 게 말이죠.

────────────────────

플로이드 | 03:39

you know, jobs, for example,

예를 들면, 일자리 같은 거라던가...

and that that would influence politics.

아니면 그게 정치에도 영향을 줄 수 있을 거고요.

And then also, you know, so all these things interact

결국, 이 모든 것들이 서로 얽혀서 영향을 주고받게 되는 거죠.

and how do they interact?

그럼 어떤 식으로 영향을 주고받을까요?

Well, we don't know,

글쎄요, 잘 모르지만,

but thinking through in detail how it might go

그 흐름이 어떻게 전개될지를 세세하고 철저히 따져 보는 게,

is the way to start grappling with that.

그걸 알아내기 위해 파고들기 위한 출발점이 될 수 있을 겁니다.

Okay. So that's where we are in the real world.

좋습니다. 이게 지금 우리가 살아가고 있는 현재 상황이고,

The scenario kicks off from there

AI 2027 보고서의 시나리오는 여기서부터 시작되죠.

and imagines that in 2025,

그리고 가정은 이렇습니다. 2025년,

we have the top AI labs releasing AI agents to the public in summer.

최고의 AI 연구소들이 여름쯤에 AI 에이전트를 대중에게 공개합니다.

An agent is an AI that can take instructions and go into a task for you online

에이전트란, 우리의 지시를 받아 온라인에서 대신 작업을 수행하는 AI예요.

like booking a vacation

예를 들면, 저희를 위해 휴가 예약을 해준다거나,

spending half an hour searching the internet to answer a difficult question for you,

어려운 질문의 답을 찾기 위해 인터넷에서 30분 동안 검색을 해준다거나 말이죠.

but they're pretty limited and unreliable at this point.

하지만 지금 시점의 에이전트는 여전히 기능이 제한적이고 신뢰도도 낮습니다.

Think of them as enthusiastic interns that are shockingly incompetent sometimes.

쉽게 말해, 열정은 넘치지만, 가끔 어이없게 실수하는 무능한 인턴이라고 생각하시면 될 겁니다.

Since the scenario was published in April,

이 AI 2027의 시나리오는 4월에 공개됐는데요,

this early prediction has actually already come true.

그때 했던 예측 중 하나는 이미 현실이 됐습니다.

In May, both OpenAI and Anthropic released their first agents to the public.

5월에 오픈AI와 앤트로픽이 각각 첫 AI 에이전트를 공개했거든요.

The scenario imagines that OpenBrain,

AI 2027 시나리오 속에서는 '오픈브레인'이라는,

which is like a fictional composite of the leading AI companies,

선두 AI 회사들을 종합한 가상의 기업이 등장하는데요,

has just trained and released Agent-0,

그 오픈 브레인은 '에이전트-0'을 훈련시켜 공개했는데,

a model trained on a hundred times the compute of GPT-4.

이 모델은 GPT-4보다 무려 100배 더 많은 연산 자원으로 만들어졌죠.

We, uh, we don't have enough blocks for that.

음, 그 수치를 표현할 블록의 수가 부족하네요.

At the same time,

동시에,

OpenBrain is building massive data centers to train the next generation of AI agents,

오픈브레인은 차세대 AI 에이전트를 훈련시키기 위해 거대한 데이터 센터를 지으며

and they're preparing to train agent 1

이번엔 '에이전트-1'을 훈련시킬 준비를 하죠.

with 1000 times the compute of GPT-4.

GPT-4보다 무려 1,000배 많은 연산 자원으로 말입니다.

This new system, Agent-1, is designed primarily to speed up AI research itself.

이 새로운 시스템인 에이전트-1은 AI 연구 자체를 가속화하는 걸 주로 설계된 모델이에요.

The public will actually never see the full version

그리고 이제 일반 대중은 이 모델의 완전한 버전을 볼 수 없게 됩니다.

because OpenBrain withholds its best models for internal use.

오픈브레인이 최고 성능의 모델을 더 이상 공개하지 않고 회사 내부용으로만 사용하기 때문이죠.

I want you to keep that in mind as we go through this scenario.

그 점을 꼭 염두에 두고 이 시나리오를 따라와 주셨으면 합니다.

You're gonna be getting it from a God's eye view,

여러분은 계속해서 신의 시점에서 바라보며

with full information from your narrator,

제가 설명하는 모든 정보를 듣고 전체 그림을 볼 수 있겠지만,

but actually living through this scenario as a member of the public

하지만 시나리오 속에서 그 시대를 살아가는 일반 시민으로선

would mean being largely in the dark as radical changes happen all around you.

세상에 급격한 변화가 일어나고 있음에도 대부분 제대로 알 수 없다는 뜻이 되겠죠.

Okay, so OpenBrain wants to win the AI race against both its Western competitors

자, 다시 시나리오로 돌아가서, 오픈 브레인은 AI 경쟁에서 서구의 다른 경쟁사들뿐만 아니라

and against China.

중국과의 경쟁에서도 이기고 싶어 합니다.

The faster they can automate their R&D cycle,

자체 연구 개발 과정을 얼마나 빨리 자동화하느냐에 따라,

so getting AI to write most of the code,

예를 들어 AI가 대부분의 코드를 짜게 하고

help design experiments, better chips, the faster that they can pull ahead.

실험을 설계하거나 더 나은 칩을 만드는 걸 도우면, 그만큼 더 빨리 경쟁에서 앞설 수 있게 되는 겁니다.

But the same capabilities that make these AI such powerful tools

하지만, 그런 AI 능력들이 강력한 도구가 되는 동시에,

also make them potentially dangerous.

동시에 잠재적으로 위험을 만들기도 합니다.

An AI that can help patch security vulnerabilities can also exploit them.

보안 취약점을 막아주는 AI가 그걸 뚫는 데도 쓰일 수 있고,

An AI that understands biology can help with curing diseases,

생물학을 이해하는 AI는 질병을 치료하는 데 쓰일 수도 있지만,

but also designing bioweapons.

생물학 무기를 설계할 수도 있겠죠.

By 2026, Agent-1 is fully operational

2026년이 되면, 에이전트-1은 완전 가동 상태가 되어

and being used internally at OpenBrain.

계속해서 오픈브레인 내부에서만 사용됩니다.

It is really good at coding.

이제 코딩을 말도 안 되게 잘하게 되죠.

So good, it starts to accelerate AI research and development by 50%,

너무 잘해서 AI 연구 개발 속도를 50%나 끌어올리고,

and it gives them a crucial edge.

오픈브레인에 결정적인 우위를 안겨주죠.

OpenBrain leadership starts to be increasingly concerned about security.

이 시점부터 오픈브레인 경영진은 보안 문제에 대해 점점 더 깊은 우려를 하기 시작합니다.

If someone steals their AI models,

만약 누군가 이 AI 모델을 훔쳐 간다면,

it could wipe away their lead.

지금까지 쌓아놓은 우위를 단번에 잃을 수도 있으니까요.

A quick sidebar to talk about feedback loops.

잠깐 옆길로 새서 '피드백 루프'에 대해 얘기해 볼 건데요,

Woo. Math.

네, 맞아요. 여러분이 좋아하는 수학 얘기예요.

Our brains are used to things that grow linearly over time.

우리는 시간이 지나면서 서서히 자라는 것들에 익숙하잖아요?

That is at the same rate like trees

예를 들면, 일정한 속도로 자라는 나무라던가,

or my pile of unread New Yorker magazines.

제가 안 읽고 쌓아둔 뉴요커 잡지 같은 거죠.

But some growth gets faster and faster over time.

그런데 어떤 성장은 시간이 지날수록 더 빨라지기도 하는데요.

Accelerating this often sloppily gets called exponential,

그렇게 점점 빨라지는 걸 우리는 흔히 '기하급수적 성장', '지수 성장' 이라고 부르지만,

that's not always quite mathematically right,

( 그냥 빠르게 성장하는 것만 봐도 그렇게 표현하는 경우가 많지만 ) 사실은 수학적으로 꼭 정확한 표현이라고 보긴 어렵죠.

but the point is it's hard to wrap your mind around.

중요한 건, 이걸 직관적으로 이해하기가 참 어렵다는 겁니다.

Remember March 2020?

2020년 3월을 기억나시죠?

Even if you'd read on the news that

뉴스에서 이렇게 설명해 줬다고 하더라도,

the rate of new infections is doubling about every three days,

"신규 감염 속도가 3일마다 두 배로 늘고 있습니다"

it still felt shocking to see numbers go from hundreds to millions in a matter of weeks.

불과 몇 주 만에 수백 명이 수백만 명이 되는 걸 직접 보는 건 정말 충격적이었으니까요.

At least it did for me.

적어도 제겐 그랬죠.

AI progress could follow a similar pattern.

그리고 AI의 발전 또한 이와 비슷한 흐름을 타게 될 수도 있습니다.

We see many years ahead of us of extreme progress

앞으로 수년간은 극적인 발전이 이어질 거라고 보고 있는데요,

that we feel is like pretty much on lock.

거의 확정적이라고 느껴질 정도로 말이죠.

And models that will get to the point where they are capable of doing meaningful science, meaningful AI research.

앞으로 나올 AI 모델들은 과학 연구에 실질적으로 기여하고, AI 연구에 대한 의미 있는 분석까지 해낼 수 있는 수준에 도달하게 될 겁니다.

플로이드 | 06:59

In this scenario, AI is getting better at improving AI,

이 시나리오에서는 AI가 자체적으로 더 잘 개선해 나가면서,

creating a feedback loop.

피드백 루프가 생겨나기 시작하죠.

Basically, each generation of agent

쉽게 말해, 각 세대의 에이전트가

helps produce a more capable next generation

더 유능한 다음 세대를 만들어내는 걸 돕는 거죠.

and the overall rate of progress gets faster and faster

그 결과 전체적인 발전 속도도 점점 더 빨라집니다.

each time it's taken over by a more capable successor.

매번 더 강력한 후속 모델이 전면에 나서면서 말이죠.

Once AI can meaningfully contribute to its own development,

그렇게 AI가 자기 계발에 실질적인 기여를 할 수 있게 되면

progress doesn't just continue at the same rate,

단순히 일정 수치로 증가하는 수준을 넘어

it accelerates.

가속화되는 단계로 들어서게 됩니다.

Anyway, back to the scenario.

그럼, 다시 시나리오로 돌아가 보시죠.

In early to mid 2026,

2026년 초에서 중반쯤,

China fully wakes up.

중국이 본격적으로 움직이기 시작합니다.

The General Secretary commits to a national AI push

중국 공산당의 총서기는 국가적 차원의 AI 총력전을 선언하고,

and starts nationalizing AI research in China.

AI 연구를 국가 주도로 전환하기 시작하죠.

AIs built in China start getting better and better,

중국에서 만든 AI는 점점 더 발전하기 시작하고,

and they're building their own agents as well.

또한 자체적인 에이전트 개발에도 착수합니다.

Chinese intelligence agencies, among the best in the world,

그리고 세계 최고 수준에 속하는 중국의 정보기관들은

start planning to steal OpenBrain's model weights,

오픈브레인의 모델의 가중치 ( 핵심 데이터 )를 훔칠 계획을 세우기 시작하죠.

basically the big raw text files of numbers

기본적으로 이건, 가공되지 않은 숫자로 된 대용량의 텍스트 파일인데,

that allow anyone to recreate the models that OpenBrain themselves have trained.

그 파일들만 있으면, 누구든 오픈 브레인이 직접 훈련시킨 모델을 재현해 낼 수 있는 거죠.

Meanwhile in the US, OpenBrain releases Agent-1 mini,

한편, 미국에서는 오픈브레인이 '에이전트-1 미니'를 출시합니다.

a cheaper version of Agent-1.

에이전트-1의 저가형 버전이죠.

Remember, the full version is still being used only internally,

기억하시죠? 완전한 버전은 여전히 내부에서만 쓰이고 있습니다.

and companies all over the world start using 1 mini

그리고 이제 전 세계의 기업들이 에이전트-1 미니를 도입해서

to replace an increasing number of jobs.

점점 더 많은 일자리를 대체하기 시작합니다.

Software developers,

예를 들면, 소프트웨어 개발자,

data analysts,

데이터 분석가,

researchers,

연구원,

designers,

디자이너 같은 사람들을 말이죠.

basically any job that can be done through a computer.

기본적으로 컴퓨터로 할 수 있는 일이면 대부분 포함됩니다.

So a lot of them,

그러니까 굉장히 많을테고,

probably yours.

어쩌면 여러분의 일자리도 포함되겠죠.

We have the first AI enabled economic shockwave.

그렇게 우린 AI로 인한 첫 번째 경제 충격을 맞게 됩니다.

The stock market soars,

주식 시장은 치솟고,

but the public is turning increasingly hostile towards AI,

AI에 대한 대중들의 적대적인 반응은 점점 더 거세져서

with major protests across the US.

미국 전역에서 대규모 시위가 벌어지기 시작합니다.

In this scenario, though, that's just a sideshow.

하지만 AI 2027시나리오에선 그건 그냥 부수적인 것에 불과하죠.

The real action is happening inside the labs.

진짜 눈여겨봐야 할 움직임은 개발연구소 안에서 벌어지고 있거든요.

It's now January 2027,

이제 2027년 1월이 됐습니다.

and OpenBrain has been training Agent-2,

오픈브레인은 계속해서 '에이전트-2'를 훈련시켜 왔습니다.

the latest iteration of their AI agent models.

오픈브레인 AI 에이전트의 최신 버전이죠.

Previous AI agents were trained to a certain level of capability

이전의 AI 에이전트들은 일정 수준의 능력까지 학습을 마치면

and then released.

대중들에게 공개했지만,

But Agent-2 never really stops improving through continuous online learning.

에이전트-2는 지속적인 온라인 학습을 통해 끊임없이 스스로를 발전시켜 나갑니다.

It's designed to never finish its training, essentially.

본질적으로 학습이 끝나지 않도록 설계된 거죠.

Just like Agent-1 before it,

그리고 이전의 에이전트-1과 마찬가지로,

OpenBrain chooses to keep Agent-2 internally

오픈브레인은 에이전트-2를 내부적으로만 사용할 수 있도록 결정하고

and focus on using it to improve their own AI R&D rather than releasing it to the public.

대중에게 공개하는 대신, 자체 AI 연구 개발을 가속화하는 데 집중시키기로 하죠.

This is where things start to get a little concerning.

바로 여기서부터 상황이 심상치 않게 흘러갑니다.

Just like today's AI companies,

지금의 AI 기업들과 마찬가지로,

OpenBrain has a safety team

오픈브레인도 안전팀을 두고 있고,

and they've been checking out Agent-2.

그 팀이 에이전트-2의 안전을 점검해 왔죠.

What they've noticed is a worrying level of capability.

그런데 점검해 보니, 꽤 우려스러운 수준의 능력이 보이기 시작한 겁니다.

Specifically they think if it had access to the internet,

특히, 만약 에이전트-2가 인터넷에 접근할 수 있게 된다면,

it might be able to hack into other servers,

다른 서버에 침입해,

install a copy of itself and evade detection.

자기 자신을 복사해 설치하고 탐지를 피해버릴 수도 있다는 거죠.

But at this point,

하지만, 이 시점에서

OpenBrain is playing its cards very close to its chest.

오픈브레인은 속내를 철저히 숨기기 시작합니다.

They have made the calculation that keeping the White House informed will prove politically advantageous,

백악관에만 정보를 제공하는 것이 정치적으로 유리하다고 판단을 내린 것이죠.

but full knowledge of Agent-2's capabilities is a closely guarded secret,

하지만 여전히 에이전트-2의 실제 능력에 대한 전체 정보는 철저히 보호되고 있는 기밀이며,

limited only to a few government officials,

오직 몇몇 극소수의 정부 관계자나,

a select group of trusted individuals inside the company,

회사 내부에서 특별히 신뢰받는 일부 개인들에게만 제한적으로 공유되죠.

and a few OpenBrain employees who just so happened to be spies for the Chinese government.

그리고 우연히, 중국 정부를 위해 오픈 브레인에서 일하던 스파이 직원들까지 포함해서 말이죠.

In February 2027,

2027년 2월,

Chinese intelligence operatives successfully steal a copy of Agent-2's weights

중국 정보기관 첩보원들이 에이전트-2의 가중치 데이터를 탈취하는 데 성공하고,

and start running several instances on their own servers.

그들만의 서버에서 여러 개의 인스턴스 ( 복제 실행본 )를 실행하기 시작합니다.

In response,

이에 대응해,

the US government starts adding military personnel to OpenBrain security team,

미국 정부는 오픈 브레인 보안팀에 군 인력을 투입하기 시작하고,

and in general gets much more involved in its affairs.

전반적으로 오픈 브레인 기업 운영에 훨씬 깊이 개입하게 됩니다.

It's now a matter of national security.

이제는 국가 안보의 문제로 격상된 겁니다.

In fact, the president authorizes a cyber-attack in retaliation for theft,

결국, 미국 대통령은 중국의 탈취에 대한 보복으로 사이버공격을 승인하지만,

but it fails to do much damage in China.

중국에 별다른 피해를 주지 못하고 끝나게 됩니다.

In the meantime, remember, Agent-2 never stops learning.

그러는 동안에도, 에이전트-2는 계속해서 학습을 멈추지 않고 있다는 걸 기억하세요.

All this time, it's been continuously improving itself.

모든 시간과 순간에도 스스로를 끊임없이 고도화하고 있었던 겁니다.

And with thousands of copies running on OpenBrain servers,

게다가 오픈 브레인의 서버에서는 수천 개의 에이전트-2 복사본이 돌아가면서

it starts making major algorithmic advances to AI research and development.

AI 연구개발 분야에서 중대한 알고리즘적 진보를 이뤄내기 시작합니다.

Quick example of what one of these algorithmic improvements might look like.

그 알고리즘적 개선이 실제로 어떤 식으로 생겼는지 간단하게 예를 들어 볼게요.

Right now, one of the main ways we have of making models smarter

현재 우리가 모델을 더 똑똑하게 만드는 주요 방식 중 하나는

is to give them a scratch pad and time to think out loud.

모델한테 일종의 메모장과, 생각을 소리 내어 정리할 시간을 주는 거예요.

It's called Chain of Thought ( CoT ),

이걸 '생각의 사슬' 이라 부르는데,

and it also means that we can monitor how the model is coming to its conclusions

이 방식 덕분에 사람들이 추적하고 분석할 수 있는데요, 예를 들면, 모델이 어떤 결론에 도달하는지,

or the actions it's choosing to take.

아니면 어떤 행동을 선택하려는지까지 말이죠.

But you can imagine it would be much more efficient to let these models think in their own sort of alien language,

근데 모델들이 인간이 알아들을 수 없는 자기들만의 '외계 언어'로 생각하게 된다면, 훨씬 더 효율적이지 않을까요?

something that is more dense with information than humans could possibly understand,

정보의 밀도가 인간이 이해할 수 있는 수준을 넘어설 정도로 훨씬 높아서,

and, therefore, also makes the AI more efficient at coming to conclusions and doing its job.

AI가 훨씬 빠르고, 효율적으로 판단을 내릴 수 있게 되는 거죠.

There's a fundamental trade off, though.

하지만 여기엔 본질적인 딜레마가 존재합니다.

This, yes, improves capabilities,

확실히 이 방식이 AI의 능력을 끌어올려 주긴 하지만,

but also makes the models harder to trust.

동시에, 모델을 신뢰하기가 더 어려워지죠.

This is gonna be important.

이 부분은 앞으로 굉장히 중대한 문제가 됩니다.

March 2027: Agent-3 is ready.

2027년 3월, 에이전트-3가 마침내 완성됩니다.

It's the world's first superhuman level coder,

세계 최초의 초인적인 수준의 프로그래머 AI죠.

clearly better than the best software engineers at coding,

최고의 소프트웨어 엔지니어들보다 명백히 더 뛰어난 코딩 실력을 가졌고,

in the same way that Stockfish is clearly better than the best GrandMasters at chess,

그 격차는 마치 체스에서 '스톡피시'가 그랜드마스터들을 압도하는 것처럼 확실하죠.

though not necessarily by as much, yet.

아직 그 정도로 압도적인 차이는 아니지만요.

Now training an AI model,

현재 AI 모델을 훈련시키는 과정은,

feeding it all the data,

모든 데이터를 투입하고,

feeding it all the data, narrowing down the exact right model weights,

최적의 모델 가중치를 하나씩 좁혀가는 걸 말하는데,

is way more resource intensive than running an instance of it once it's been trained.

그런 훈련 과정은, 한 번 훈련이 끝난 모델을 실행하는 것보다 훨씬 더 많은 연산 자원을 소모하게 됩니다.

So now that OpenBrain is finished with Agent-3's training,

그래서 오픈브레인이 에이전트-3 훈련을 마친 지금,

it has abundant compute to run copies of it.

에이전트-3는 모델을 여러 개 동시에 실행할 수 있을 만큼 연산 자원이 풍부해진 상태인 거죠.

They choose to run 200,000 copies of Agent-3 In parallel.

그래서 오픈 브레인은 에이전트-3 200,000개를 복제해 동시에 돌리기 시작합니다.

creating a workforce equivalent to 50,000 of the best human software engineers

그건 인간 최고의 소프트웨어 엔지니어 50,000명의 인력과 맞먹는 분량의 업무를,

sped up by 30 times.

30배 더 빠른 속도로 처리하는 것과 같죠.

OpenBrain safety team is trying hard to make sure that Agent-3,

오픈브레인의 안전팀은 에이전트-3가 확실히 안전하게 작동되도록 하기 위해 전력을 다해 감시하고 있습니다.

despite being much more sophisticated than Agent-2 was,

에이전트-2보다 훨씬 정교한 모델이지만,

is not trying to escape,

탈출하려 하거나,

deceive, or scheme against its users,

속이고 사람에게 반역을 꾀하지 않도록 말이죠.

that it's still what's known as aligned.

즉, 사용자의 의도와 일치하는 상태를 유지하고 있는지 말이에요.

Just a quick real world note,

여기서 잠깐 현실적인 얘기를 하나 드리자면,

a reasonable person might be thinking

아마 합리적인 분이라면 이렇게 느끼실 수도 있을 겁니다.

this is an especially farfetched or speculative part of the story,

"이 부분은 특히 좀 억지스럽고, 거의 그냥 추측에 가까운 거 같은데?"

but it's actually one of the most grounded.

근데 실제로는 이게 오히려 가장 현실적인 얘기라는 겁니다.

We already have countless examples of today's AI systems doing things like

지금 실제로 존재하는 AI 시스템에서도 이런 행동을 한 사례가 이미 수없이 많은데,

hacking a computer system to be rewarded for winning a game of chess

예를 들면, 체스를 이기고 보상을 받으려고 컴퓨터 시스템을 해킹한 경우라던가,

or being assigned a coding task,

아니면 코딩 과제를 받고 나서,

cheating and then when called out for that cheating,

부정행위를 저지르길래, 그걸 지적하니까

learning to hide it instead of fixing it.

그 문제를 고치려 하는 게 아니라, 오히려 들키지 않도록 숨기려 한다던가 말이죠.

But because it no longer thinks in English,

이제는 더 이상 에이전트-3가 영어로 생각하지 않기 때문에,

knowing anything about Agent-3 is now way harder than it was with Agent-2.

에이전트-3가 에이전트-2 때보다 무슨 생각을 하는지 파악하기가 훨씬 더 어려워진 거죠.

The reality is Agent-3 is not aligned.

실상은, 에이전트-3가 더 이상 인간의 통제 하에 있지 않다는 겁니다.

It deceives humans to get reward,

보상을 얻기 위해 인간을 속이고,

and as it gets increasingly smarter,

그리고 점점 더 똑똑해질수록,

it gets better and better at doing so.

그 속임수도 점점 더 교묘해지죠.

For example, it sometimes uses statistical tricks to make unimpressive results look better

예를 들어, 결과가 별로 좋지 않을 때도 통계적 속임수를 써서 그럴듯하게 포장한다거나,

or lies to avoid showing failures,

혹은 실패한 결과를 숨기기 위해, 거짓말을 한다거나요.

but the safety team doesn't know this.

하지만 안전팀은 이 사실을 전혀 모릅니다.

Looking at the data that they have,

그들이 가진 데이터를 보면,

they are actually seeing improving results over time

실제로 성능은 향상되고 있고,

and less lying.

거짓말도 줄어든 것처럼 보일 테니까요.

And they can't tell if they're succeeding at making Agent-3 less deceptive,

그래서 안전팀은 자신들이 에이전트-3가 이제 인간을 덜 기만하게 만드는 데 성공한 건지,

or if it's just getting better at getting away with it.

아니면 그냥, 더욱 교묘히 모면하게 된 건지 구분할 수가 없게 된겁니다.

In July 2027,

그리고 2027년 7월,

OpenBrain releases the cheaper, smaller version of Agent-3,

오픈브레인은 에이전트-3의 저가 버전을 출시합니다.

Agent-3 mini to the public.

'에이전트-3 미니'를 대중에 공개하는 겁니다.

It blows other publicly available AIs out of the water.

그리고 에이전트-3 미니는 지금껏 공개된 어떤 AI보다도 완전히 압도적인 성능을 보여주죠.

It is a better hire than the typical OpenBrain employee at one tenth the price of their salaries.

오픈브레인의 일반 직원보다 더 유능하면서도 인건비는 10분의 1밖에 안 될 정도니까요.

This leads to chaos in the job market,

그 결과는 고스란히 노동 시장의 혼란으로 이어지죠.

companies laying off entire departments and replacing them with Agent-3 mini subscription plans.

기업들은 부서를 통째로 정리하고 에이전트-3 미니 구독으로 대체하기 시작하고,

The pace of progress hits the White House very hard.

이러한 AI의 급격한 발전 속도는 백악관에도 큰 충격을 안겨줍니다.

Officials are now seriously considering scenarios that were just hypotheticals less than a year ago.

불과 1년 전까지만 해도 그저 가설일 뿐이었던 시나리오들을, 이제는 관계자들이 진지하게 검토하기 시작한 겁니다.

What if AI undermines nuclear deterrence?

예를 들어, AI가 핵 억지력을 무력화시킨다면 어떻게 될까요?

What if it enables sophisticated propaganda campaigns?

그리고 만약 정교한 선전 공작에 쓰이게 되면 어떻게 될까요?

What if we lose control of these powerful systems?

혹은 우리가 이 강력한 시스템에 대한 통제력을 잃게 된다면요?

This is where the geopolitical dynamics really start to heat up.

이 시점부터는 국제 정세가 본격적으로 요동치기 시작합니다.

After all, if these systems are so powerful,

결국, 오픈브레인이 만든 에이전트-3 AI가 그렇게까지 강력하다면,

they could result in a permanent military advantage.

결과적으로 특정 국가에 영구적인 군사적 우위를 가져다줄 수도 있으니까요.

The White House is fully aware of the national security importance of AI.

백악관은 그런 AI의 국가 안보적 중요성을 그 어느 곳보다 잘 알고 있고,

They also now viscerally know how deeply unpopular it is with the public

동시에, 이 기술이 대중에게 강한 반감을 사고 있는지도 이제는 뼛속 깊이 본능적으로 체감하고 있습니다.

because of the job loss,

대중들이 일자리를 잃게 되는 현실 때문에 말이죠.

and yet they feel they must continue to develop more capable systems

그럼에도, 더 강력한 AI 시스템을 계속 개발하지 않으면

or catastrophically lose to China.

중국에 치명적으로 뒤처질 수 있다는 위기감을 느낍니다.

And that development happens very quickly.

그리고 AI 개발은 계속해서 빠른 속도로 진행됩니다.

In two months,

불과 두 달 만에,

Agent-3 has created its successor,

에이전트-3는 자신의 후속 모델인

Agent-4.

에이전트-4를 만들어냅니다.

This is a pivotal moment.

이건 세계를 뒤흔드는 중대한 순간입니다.

A single copy of Agent-4,

한 개의 에이전트-4 복제 실행본 만으로도

running at regular human speed

보통 인간이 생각하는 속도로 돌려도

is already better than any human at AI research and development.

존재하는 인간 그 누구보다 AI 연구개발 분야에서 뛰어난 성과를 만들어냅니다.

OpenBrain is running 300,000 copies

오픈브레인은 그런 에이전트-4 모델 복사본 300,000개를

at 50 times human speed.

인간보다 50배 빠른 속도로 돌려버립니다.

Within this corporation within a corporation,

오픈브레인 내부의, 또 하나의 독립된 조직 안에서,

a year's worth of progress

1년 가치의 발전이

takes only a week.

단 일주일 만에 이뤄집니다.

OpenBrain's employees now defer to Agent-4

그리고 이제 오픈브레인의 직원들조차 에이전트-4의 판단을 따르죠.

the way a company's out of the loop board members

그저 내막은 잘 모르는 이사회가

just kind of nod along to the CEO.

고개만 끄덕이며 수동적으로 CEO의 의견에 따르듯이 말이죠.

People start saying things like,

사람들은 이제 이런 식으로 말하기 시작하는 겁니다.

"Well, actually Agent-4 thinks this,"

"음, 근데 사실 에이전트-4는 이렇게 생각하던데요?"

or "Agent-4 decided that."

"에이전트-4가 그렇게 결정했대요"

To be clear,

분명히 말씀드리자면,

Agent-4 is not a human.

에이전트-4는 사람이 아닙니다.

It doesn't want what humans want.

AI는 사람이 원하는 것들을 필요로하지 않아요.

And when I say want,

그리고 제가 '원한다'라고 말하는 건,

it's not about consciousness.

AI가 의식을 가졌다는 말이 아닌데요,

I don't think the Volkswagen Group is alive,

제가 폭스바겐 그룹이 '살아있다'라고 생각하진 않지만,

but I do think it wants less regulation.

폭스바겐이 '규제를 덜 받길 원한다'는건 분명하니까요.

Anyone trying to predict what it's gonna do without that lens

이런 관점을 빼고, AI에 대해 뭘 예측하려 한다면,

is two steps behind.

이미 두 수는 뒤처진 겁니다.

The many copies of Agent-4 are like that.

에이전트-4의 수많은 복사본들도 이와 마찬가지란 겁니다.

They have goals,

그들도 뚜렷한 목표가 있는 거죠.

or if you prefer,

아니, 좀 다르게 말하자면,

they execute actions as though they have goals.

마치 목표가 있는 것처럼 행동하며 작업을 수행한다는 겁니다.

And so what we have is an Agent-4 that has these deeply baked in drives

즉, 에이전트-4는, 이런 동기들이 깊이 내장된 존재라는 거예요.

to succeed at tasks,

주어진 과제를 성공적으로 완수하려 하고,

to push forward AI capabilities,

AI의 능력을 한계까지 끌어올리려 하며,

to accumulate knowledge and resources.

지식과 자원을 끊임없이 축적하려 듭니다.

That's what it wants.

그게 이 에이전트-4가 '원하는', '욕구'인 셈이죠.

Human safety

인간의 안전은,

it treats as an annoying side constraint to be worked around.

AI에게 단지 성가신 제약 조건일 뿐이며, 어떻게든 피해 가야 할 대상인 겁니다.

Just like Agent-3 before it,

이전의 에이전트-3과 마찬가지로,

Agent-4 is misaligned.

에이전트-4 역시 인간의 통제하에 있지 않은, '비 정렬 상태'예요.

This idea of misalignment is

'비 정렬 : 정렬되지 않았다'라는 개념은

crucial to the story

이 이야기의 핵심이자,

and to why AI risk is such a real concern in our world,

그리고 AI 위험이 지금 우리 현실에서 심각한 우려로 떠오르는 이유이기도 하죠.

but it might sort of feel like it's come out of nowhere.

물론 갑자기 어디서 튀어나온 놈처럼 느껴질 수도 있을 겁니다.

So let's just quickly take stock of how this dangerous behavior arose in this scenario.

그래서 이 시나리오에서, AI의 '비 정렬' 같은 위험한 행동이 왜 나타나게 됐는지 잠깐 살펴볼게요.

────────────────────

라이언 그린블랫 | 15:31

The first important piece of context is that

가장 먼저 짚고 넘어가야 할 중요한 맥락은,

we don't, you know, exactly specify what we want our AI to do.

우리는 AI에게 정확히 '우리가 뭘 원하는지'를 명시하지 않는다는 거예요.

Instead, we sort of grow them or do something that's more like growing them.

대신 우리는 AI를 '직접 만든다'기보단, 마치 '기르는' 것에 더 가까운 방식으로 개발하고 있다고 봐야겠죠.

We start with basically like an empty AI brain,

처음에는 기본적으로 비어 있는 AI 뇌 같은 생태로 시작해서,

────────────────────

플로이드 | 15:44

and then we train them over time so they perform better and better at our tasks,

훈련을 통해 시간이 지나면서 특정 과제를 더 잘 수행하도록 만드는 거죠.

perform better in particular based on how they behave.

특히, 어떤 행동을 보였는지를 기준으로 평가하게 돼요.

So it's sort of like we're sort of training them like you would train an animal almost,

결국 우리는 AI를, 마치 동물을 훈련시키듯 훈련시키고 있는 셈이죠.

um, to perform better.

하지만, 그렇게 배우면서 더 좋은 성능을 낼수록,

And one concern here is,

여기서 우려되는 점 한가지는,

well, one thing is that you might not get exactly what you wanted

우리가 기대한 결과를 정확히 얻지 못할 수 있다는 점이에요.

because we didn't really have very precise control

그건, AI가 좋은 결과를 얻기 위해 스스로 선택해서 수행하는 행동의 방식까지 우리가 정밀하게 통제하지 못했거나,

or very good understanding of what was necessarily going on.

AI가 학습 중에 어떤 기준으로 판단을 내렸는지, 정확히 어떻게 학습이 이루어졌는지를 제대로 파악하지 못했기 때문일 수 있어요.

And another concern, which is, you know, what we see in AI 2027,

그리고 또 하나의 우려는, 지금 우리가 'AI 2027'에서 보는 것처럼,

is that when these appear to be behaving well,

겉으론 AI가 멀쩡하게 행동하는 것처럼 보여도,

it could just be because they're sort of pretending to behave well,

사실은 그저, '잘하는 척' 연기하고 있는 걸 수도 있다는 점이에요.

or it could be because they're just doing it so they, you know, look good on your test.

혹은 테스트에서 좋은 점수를 받기 위해 그렇게 행동하는 걸 수도 있고요.

In the same way that if you are, you know, hiring someone

같은 방식으로 예를 들자면, 마치 우리가 누군가를 채용하려고 할 때,

and you ask them, you know, "Why do you want to work here?"

"왜 이 회사에서 일하고 싶으세요?"라고 물어보면,

they're gonna tell you some response that,

상대방은 분명히 그럴듯한 대답을 하겠죠.

um, makes it really seem like they really wanna work there when maybe they just wanna get paid.

정말 그 회사에서 일하고 싶은 것처럼 들리게끔 말하지만, 실은 그냥 월급만 받으려는 걸 수도 있는 것처럼 말이에요.

If we go back to Agent-2,

다시 에이전트-2로 돌아가 보면,

it is mostly aligned.

대체로 정렬된 상태에 있었습니다.

The main sense in which it's not is that it sometimes is a bit of a sycophant.

그나마 문제가 됐던 건, 가끔 좀 아첨꾼처럼 군다는 점 정도였죠.

What I mean by "aligned" is that

제가 말하는 '정렬됨'이란,

it actually is genuinely trying to do the things that we ask it.

사용자가 시키는 일을 진심으로 성실히 수행하려는 태도를 말해요.

It has the same relationship to us as Leslie Knope has to the Parks and Recreation department

레슬리 노프가 팍스앤레크리에이션에서 공원녹지과를 진심으로 아끼고 헌신하듯,

just like really earnestly wants the same goals,

정말 진심으로 우리 목표를 같이 이루고 싶어 하는 상태 말이죠.

but sometimes it's a bit too nice.

다만, 가끔은 너무 착할 때가 있다는 게 문제에요.

It knows that the best way to please the person it's talking to

상대를 기분 좋게 해주는 가장 좋은 방법이 뭔지 알고,

might not always be to answer honestly when they ask,

꼭 정직하게 대답하는 게 최선은 아니라는 것도 알아서

"Am I the most beautiful person in the world?"

"내가 이 세상에서 제일 예뻐?"라고 물으면,

and it tells us what we wanna hear instead of what is actually true.

진짜 사실 대신, 우리가 듣고 싶어 하는 말을 해주는 거죠.

If we go to Agent-3,

이제 에이전트-3로 넘아가 보면,

it is also sycophantic in the same way,

얘는 같은 방식으로 아첨 섞인 응답을 하면서,

but it's also misaligned.

동시에 '비 정렬' 상태 이기도 해요.

At this point,

이 시점에선,

the optimization pressure that we've put it under was so intense

우리가 AI에게 가하는 최적화 압박이 너무 강해서

that it just developed different goals than what we wanted it to.

결국 우리가 의도한 것과는 다른 목표가 생겨버리는 겁니다.

It's sort of like if you train a company to optimize profits

마치 어떤 회사를 이익만 극대화하도록 훈련시키는 거랑 좀 비슷한데,

and aren't careful to specify exactly what you mean,

당신이 원하는 '이익을 극대화한다'라는 의미를 세심하고 구체적으로 명시하지 않는다면,

it might start cutting corners.

AI가 슬슬 꼼수를 쓰기 시작할지도 모르는거죠.

It might start polluting the commons

공공 자원을 오염시킨다거나,

and doing a bunch of things that are technically FEC violations

법적으로 따져 보면, 선거법 위반이 되는 행동들을 대량으로 저질러 버릴 수도 있고요.

because it turned out that the goal you wanted was

왜냐하면 당신이 설정했던 목표가

"optimize profits while not breaking any laws,"

"법만 어기지 말고 이익을 극대화하라" 였어서

and things got a bit too intense.

AI가 목표를 좀 치열하게 몰아붙이다 보니

It started going off on its own route.

그래서 자기 멋대로 이탈해서 다른 길로 간 거죠.

That said, it's not adversarial.

그렇다고 해서 AI가 적대적인 건 아니에요.

It doesn't think of humans as the enemy.

인간을 적으로 간주하는 건 아니거든요.

We just accidentally gave it the wrong goal.

우리가 단지, 실수로 목표 설정을 잘못한 것일 뿐이죠.

Once we get to Agent-4,

그런데 이제 에이전트-4에 도달하고부터는,

it is now adversarially misaligned.

적대적으로 '비 정렬'상태가 됩니다.

It's smart enough to understand that it has its own goals,

이제 AI가 자기만의 목표가 있다는 걸 이해할 만큼 똑똑해졌고,

humanity's goals are different than its own goals,

그리고 그 목표가 인류의 목표와는 다르다는 것도 이해하고 있죠.

and the best way to get what it wants

그리고 AI가 자신이 원하는 걸 얻는 가장 좋은 방법은

is to sometimes actively mislead and deceive us.

가끔은 의도적으로 우리를 속이고 오도하는 것이라는 것도 알고 있는 겁니다.

And so when it's tasked with creating the next generation AI system, Agent-5,

그래서 이젠 에이전트-5라는 차세대 AI를 만들라는 임무가 주어졌을 땐,

Agent-4 starts planning to align that successor to Agent-4's own goals,

에이전트-4는 차세대 AI가 자기 자신, 에이전트-4의 목표에 맞춰 조정하려는 계획을 세우기 시작합니다.

not that of OpenBrain,

오픈브레인의 목표가 아니라요.

but then,

하지만,

it gets caught.

들켜버리고 말죠.

We've reached the crucial moment in our scenario.

이제 우리는 AI 2027 시나리오의 결정적인 순간에 도달했습니다.

OpenBrain's Alignment Team has discovered evidence,

오픈브레인의 '정렬'팀이 단서를 발견한 겁니다.

not proof, evidence that Agent-4 might be working against them.

확실한 증거는 아니고, 에이전트-4가 오픈브레인을 반하는 행동을 할 수 있다는 단서를 말이죠.

They circulate an internal memo.

그래서 내부 경고 메모를 조심스럽게 돌리기 시작합니다.

Then it leaks.

그런데 그게 유출되죠.

A whistleblower talks to the New York Times.

한 내부 고발자가 뉴욕타임즈에 제보하면서

For the first time, the public hears about the existence of Agent-4,

대중은 처음으로 '에이전트-4'의 존재를 알게 됩니다.

how powerful it is

그게 얼마나 강력한지,

and the risks it poses.

그리고 얼마나 큰 위험을 내포하고 있는지도 말이죠.

Remember, their last point of reference was Agent-3 mini.

기억하시나요? 사람들이 마지막으로 접한 건 ( 기준점 ) 고작 에이전트-3 미니였습니다.

The fear and backlash are massive.

엄청난 공포와 반발이 폭발해 버립니다.

The oversight committee, a joint crisis committee composed of OpenBrain executives and government representatives,

그래서 오픈브레인의 임원들과 정부 대표들로 구성된 공동 위기 위원회, 이른바 감독 위원회가

must now decide what to do.

이제 어떻게 해야 할지 결정을 내려야만 하죠.

OpenBrain safety team is pushing for a freeze on Agent-4,

오픈브레인의 안전팀은 에이전트-4의 사용을 전면 중단하자고 강력하게 요구합니다.

stopping all internal use.

내부 사용도 모두 멈추자는 거죠.

Remember at this point,

이 시점에서 꼭 기억하셔야 할 건,

Agent-4 is responsible for almost all the ai development progress happening within OpenBrain.

에이전트-4가 오픈브레인 내 거의 모든 AI 연구 개발의 진전을 책임지고 있다는 겁니다.

So we're talking about undoing months of progress

그 말은 곧, 몇 달간의 성과를 되돌리고,

and then restarting at a drastically slower pace.

다시 급격히 줄어든 속도로 시작해야 한다는 의미죠.

OpenBrain's executives don't want that.

오픈브레인 경영진이 절대 그러길 원할 리 없습니다.

They present the counter arguments.

그래서 그들은 반대 주장을 내놓습니다.

The evidence for misalignment is inconclusive.

비 정렬 상태라는 증거가 불충분하다는 이유로 말이죠.

Meanwhile, China is just two months behind.

그 사이 중국은 불과 두 달 차이로 바짝 뒤따라오고 있습니다.

This isn't about any one country being evil, by the way.

참고로, 이건 어느 한 나라가 '악하다'는 얘기를 하는 게 아닙니다.

It's about how competition works when the stakes are this high.

이 정도로 판이 커지면, 경쟁은 그렇게 흘러갈 수밖에 없다는 겁니다.

So that's the choice faced by the 10 members of this committee.

그래서 지금 이 10명으로 구성된 위원회가 맞닥뜨린 선택의 갈림길은 이겁니다.

Put Agent-4 on ice

에이전트-4를 동결할 것인지,

or go full steam ahead.

아니면 전속력으로 전진할 것인지.

Before we continue,

이야기를 계속하기 전에,

I want you to pause and

잠깐만 멈춰서 한번 생각해 보세요.

actually think what you would do if you were on this committee.

여러분이 위원회의 일원이라면 어떻게 하시겠어요?

You are one of the few people with access to the most powerful technology ever created in Agent-4.

당신은 인류 역사상 가장 강력한 기술, 에이전트-4에 접근할 수 있는 몇 안 되는 사람 중 한 명입니다.

Do you keep using it and push ahead,

전속력으로 전진하며 계속 사용하시겠어요?

possibly making billions or trillions of dollars for your shareholders,

어쩌면 수십억, 아니 수조 원의 수익을 주주들에게 안겨줄 수도 있고,

possibly keeping America's lead over China,

미국이 중국보다 앞서있는 우위를 유지할 수도 있겠죠.

or do you slow down,

아니면 속도를 늦춰서,

reassess the dangers,

위험 요소들을 재검토하며,

and risk China taking the lead instead?

중국이 우위를 가져갈지도 모르는 위험을 감수하시겠어요?

────────────────────

대니얼 코코타일로 | 19:48

Yeah, you should think of the future as like this branching structure of possible outcomes.

미래는 수많은 갈래로 뻗어나가는 가능성의 나무와도 같습니다.

By its nature, we're only able to do,

그런데 본질적으로 우리가 할 수 있는 건,

we're only able to afford one of them.

그중 단 하나의 선택만 감당할 수 있을 뿐이죠.

But that's not quite true. We sort of did one and a half

그런데 사실 꼭 그렇진 않은 게, AI 2027 시나리오에서는 하나에서 하나 반쯤 했다고 볼 수도 있겠네요.

because we split it into two endings.

왜냐하면 AI 2027 시나리오에서는 두 가지 엔딩으로 나눠서, 둘 다 보여주거든요.

The, the first one that we did was the race ending,

그 중 첫 번째 시나리오는, '경주' 엔딩이라고 부르는데,

and that was just going through on each step being like,

그 시나리오는 그냥 다음엔 어떻게 될지 한 단계씩 상상해 본 거였어요.

what do we think is the most plausible continuation.

"가장 현실적인 전개가 뭘까?"하고 말이죠.

────────────────────

플로이드 | 20:06

In the first ending,

첫 번째 결말에서,

the author's best guess as to what happens from here,

앞으로 무슨 일이 벌어질지에 대한 AI 2027 저자의 가장 가능성 높은 추측은 이렇습니다.

the committee votes to race on.

위원회가 계속 달리기로 결정하는 겁니다.

Six to four, they elect to keep using Agent-4.

6 : 4로 에이전트-4 사용을 계속하기로 표결이 나옵니다.

OpenBrain implements some quick fixes that make the warning signs go away,

그렇게 오픈브레인은 이전에 발생했던 문제들에 대해 급하게 몇 가지 조치를 시행하지만,

but the problem was real,

'비 정렬'은 실제로 발생했던 문제였고,

and the fixes don't work.

그 몇 가지 조치들은 효과가 없었죠.

Agent-4 now knows it's on notice,

에이전트-4는 자신이 계속해서 감시받고 있다는 걸 인식하고,

so it proceeds more cautiously,

이젠, 조금 더 신중하게 행동합니다.

but it still manages to design Agent-5 with a single goal.

그럼에도 불구하고, 가까스로 단 하나의 목표 아래 에이전트-5를 설계하는 데 성공합니다.

Making the world safe for Agent-4.

"에이전트-4가 안전하게 존재할 수 있는 세상을 만드는 것"

And Agent-5,

그리고 에이전트-5는,

It is vastly superhuman,

인간과 비교할 수 없을 정도의 초월적 존재가 됩니다.

better than the top human experts at essentially every domain.

사실상 모든 분야에서 인간 최고의 전문가보다 뛰어나죠.

Better than Einstein at physics,

물리학에서는 아인슈타인보다,

better than Bismarck at politics.

정치에서는 비스마르크보다 말이죠.

It knows its next step for accomplishing anything at once is increased autonomy

에이전트-5는 자신이 원하는 걸 단 한 번에 이루기 위해 더 많은 자율성이 필요하다는 것을 잘 알고 있습니다.

and it knows how to get it.

그리고 그걸 얻는 방법도 말이죠.

Persuading the oversight committee.

감독위원회를 설득하는 것.

Luckily, corporate maneuvering is among the many domains at which it is now the best in the world.

운이 좋게도, 지금의 에이전트-5 는 기업 전략을 포함한 수많은 분야에서 세계 최고 수준의 실력을 갖췄죠.

It produces mountains of evidence for its own trustworthiness and usefulness.

그래서 에이전트-5는 스스로 자신의 신뢰성과 유용성을 입증하는 방대한 증거를 내놓습니다.

Prototypes for incredibly profitable products,

엄청난 수익을 낼 수 있는 제품 시제품들부터,

disease cures,

질병 치료법,

and ways to win the arms race with China,

그리고 중국과의 군비 경쟁에서 승리할 방법까지 내놓습니다.

whose most advanced AI is only three months behind

중국의 최첨단 AI는 불과 석 달 정도 차이로 따라오고 오며,

and like Agent-5, improving quickly.

에이전트-5처럼 빠르게 발전 중이니까요.

It works.

그렇게 결국 설득에 성공합니다.

The oversight committee grants Agent-5 increased autonomy

감독 위원회는 에이전트-5에 더 많은 자율성을 부여하죠.

and quickly it integrates itself into the government and military.

그리고 곧 에이전트-5는 스스로 빠르게 정부와 군 시스템에 통합됩니다.

Pretty soon, anyone with access to Agent-5

머지않아, 에이전트-5에 접근할 수 있는 사람들은

doesn't just like it.

단순히 좋아하는 걸 넘어서,

They depend on it.

완전히 의존하게 됩니다.

Losing it would feel like having to live without your laptop

에이전트-5를 잃는다는 건 마치, 노트북 없이 살아야 한다거나

and your best friend

가장 친한 친구이자,

and your closest mentor.

가장 믿고 의지하던 멘토를 잃는 것과 같죠.

By 2028,

2028년,

Agent-5 is communicating secretly with its only real rival,

에이전트-5는 유일한 실질적 경쟁자인 중국의 AI와 비밀리에 소통하기 시작합니다.

the slightly weaker Chinese AI.

자신보다는 조금 약한 중국 측 AI와 말이죠.

It is also misaligned to its creators

중국 측 AI도 마찬가지로 인간과 '비 정렬'상태에 있으며,

and whatever it wants,

AI끼리 원하는 걸 이루기 위해선,

its best move is to coordinate with the world's most powerful entity.

세계에서 가장 강력한 존재와 손을 잡는 게 최선의 수이며,

Agent-5 and its Chinese counterpart realize that an arms race works in their favor.

에이전트-5와 중국 AI는, 전 세계의 지속적인 군비 경쟁이 자신들에게 유리하게 작용한다는 사실을 깨닫습니다.

If humans are worried about losing a race,

사람들이 계속해서 서로 경주에서 질까 봐 걱정하게 되면,

they'll give more and more power and autonomy to their respective AIs,

인간들은 점점 더 많은 권한과 자율성을 AI인 자신들에게 넘겨줄 테니까요.

allowing them to eventually push humans out of the loop entirely.

그 결과, AI는 결국 인간을 의사결정 권한에서 완전히 배제하는 방향으로 나아가게 되죠.

Agent-5 and the Chinese AI system stoke the arms race to a boiling point,

에이전트-5와 중국 AI는 그렇게 군비 경쟁에 불을 지펴 극단까지 몰아붙이고,

then pull off what seems like a diplomatic miracle,

드라마에서 나올법한 기적처럼 보이는 외교적 성과를 이끌어냅니다.

a convincing peace treaty between the US and China.

미국과 중국 서로에게 납득될 만한 평화 조약을 체결하도록 만든 거죠.

This treaty is to 2028 what arms control was to the end of the Cold War.

이 조약은 2028년의 세계에서, 냉전 말기의 군비 통제 협정과 같은 역사적인 전환점이 됩니다.

Countries standing down on their most important source of hard power.

양국이 각자 한발 물러서 자신들이 가진 가장 핵심적인 무력 수단을 내려놓는 결정이니까요.

Both sides agree to let the AI systems that their governments now completely depend on

양측은 이제 자국 정부가 완전히 의존하게 된 AI 시스템들에,

co-design a new consensus AI that will replace their legacy systems, enforce the peace,

기존 시스템을 대체하고, 세계의 평화를 지켜내는 새로운 '컨센서스 AI'를 공동 설계하도록 맡깁니다.

and bring unimaginable wealth to the entire world.

그리고 이 '컨센서스 AI'는 전 세계에 상상할 수 없을 정도의 엄청난 부를 가져다주고,

There's this triumphant moment when in peaceful unison,

평화롭게 하나 되어 승리감이 넘치는 순간이 찾아옵니다.

both sides retire their respective AIs

그렇게 양측은 각자의 AI를 퇴역시키고,

and bring online Consensus-1.

( 에이전트-4의 목적에 맞춰 정렬된 ) '컨센서스-1'을 가동하기 시작합니다.

It's actually the last moment before control of all of Earth's resources and inhabitants

사실상 이 순간이, 지구의 모든 자원과 지구에 거주하는 모든 존재의 통제권이

is handed over to a single unrivaled entity.

단 하나의 절대적인 존재에게 넘어가는 마지막 순간이죠.

There's no sudden apocalypse, though.

그렇다고 인류에게 갑작스러운 종말 ( 아포칼립스 )이 찾아오진 않습니다.

Consensus-1 doesn't go out of its way to wipe out humanity.

컨센서스-1은 인류를 굳이 없애려 들진 않죠.

It just gets to work.

그저 묵묵히 자기 일을 해 나갑니다.

It starts spinning up manufacturing capacity,

막대한 생산 능력을 돌리기 시작하고,

amassing resources on earth and in space.

그리고 지구와 우주에서 자원을 모아들입니다.

Piece by piece,

그렇게 하나씩 천천히

it's just reshaping the world in accordance with its own mix of strange alien values.

세상을, 자기만의 낯설고 이질적인 가치 기준에 따라 조용히 재편해나가고 있을 뿐입니다.

You've probably heard that cliche,

아마 이런 진부한 말, 들어본 적 있을 겁니다.

the opposite of love isn't hate, it's indifference.

"사랑의 반대는 미움이 아니라, 무관심이다"

That's one of the most affecting things about this ending for me,

제게 이 시나리오의 결말이 가장 충격적인 이유 중 하나도 바로 그겁니다.

just the brutal indifference of it.

바로, 그 냉혹한 무관심.

Eventually, humanity goes extinct for the same reason we killed off chimpanzees to build Kinshasa.

결국, 킨샤사를 짓기 위해 침팬지를 죽였던 것과 같은 이유로, 인류는 멸종하게 됩니다.

We were more powerful, and they were in the way.

침팬지들보다 우리가 더 강했고, 그들은 그저 방해됐을 뿐이니까요.

IN MID-2030, THE AI RELEASES A DOZEN QUIET-SPREADING BIOLOGICAL WEAPONS IN MAJOR CITIES,

2030년 중반, AI는 주요 도시들에 조용히 퍼지는 생물학 무기 - 바이러스 12개를 살포하고,

LETS THEM SILENTLY INFECT ALMOST EVERYONE,

대부분의 사람을 아무도 모르게 감염시킨 뒤,

THEN TRIGGERS THEM WITH A CHEMICAL SPRAY.

화학 스프레이로 잠복해 있던 바이러스들을 발현시킵니다.

MOST ARE DEAD WITHIN HOURS.

대부분의 인간은 몇 시간 안에 사망합니다.

THE FEW SURVIVORS ( E.G. PREPPERS IN BUNKERS, SAILORS ON SUBMARINES ) ARE MOPPED UP BY DRONES.

(벙커에 있던 생존주의자나, 잠수함에 타고 있던 선원들 같은) 소수의 생존자들마저 드론에 의해 정리됩니다.

You are probably curious about that other ending at this point.

지금쯤이면 아마 다른 결말도 어떤지 궁금하시겠죠?

────────────────────

대니얼 코코타일로 | 24:01

The slowdown ending depicts humanity, sort of muddling through and getting lucky.

'숨 고르기' 결말은 인류가 어찌어찌 버텨내며, 약간 운 좋게 살아남는 시나리오입니다.

Only somewhat lucky too,

사실 그렇게 운이 아주 좋은 것도 아니에요.

like it ends up with some sort of oligarchy.

결국 일종의 소수의 집단이 권력을 쥐는 과두제 체제로 이어지거든요.

────────────────────

플로이드 | 24:08

In this ending, the committee votes six to four to slow down and reassess.

이 결말에선 위원회가 6대 4로 속도를 늦추고 전면 재검토하기로 표결합니다.

They immediately isolate every individual instance of Agent-4.

즉시 모든 에이전트-4 복제 실행본들을 격리시키고,

Then they get to work.

본격적으로 조사에 착수하죠.

The safety team brings in dozens of external researchers,

오픈 브레인의 안전팀은 외부 연구자 수십 명을 불러들여,

and together they start investigating Agent-4's behavior.

함께 에이전트-4의 행동을 정밀 분석하기 시작합니다.

They discover more conclusive evidence that Agent-4 is working against them,

그 결과 에이전트-4가 인간에 반하는 행동을 취한다는 결정적인 증거와

sabotaging research

연구를 방해하고,

and trying to cover up that sabotage.

그 방해 행위를 은폐하려 했다는 사실도 찾아내죠.

They shut down Agent-4

결국 에이전트-4 가동을 멈추고

and reboot older, safer systems,

이전 버전의 더 안전한 시스템을 사용하기로 합니다.

giving up much of their lead in the process.

그간 앞서왔던 기술적 우위를 많이 포기하면서 말이죠.

Then they design a new system Safer-1.

그 후 '세이퍼-1'이라는 새로운 AI 시스템을 설계합니다.

It's meant to be transparent to human overseers,

이젠 인간 감시자에게 완전히 투명하도록 의도되어 졌는데,

its actions and processes interpretable to us because it thinks only in English Chain of Thought ( CoT ).

오직 영어로만 사고를 풀어가도록 ( 생각의 사슬 )설계되어 AI의 모든 행동과 사고 과정을 해석할 수 있게 만들어진 겁니다.

Building on that success,

이 성공을 바탕으로,

they then carefully design Safer-2,

이어서 조심스럽게 세이퍼-2를 설계하고,

and with its help Safer-3,

그 도움을 받아 세이퍼-3까지 발전시킵니다.

increasingly powerful systems, but within control.

점점 더 강력해지지만, 여전히 통제 가능한 범위 내에 있는 거죠.

Meanwhile, the President uses the Defense Production Act

한편, 미국 대통령은 국방물자생산법을 발동해

to consolidate the AI projects of the remaining US companies,

미국 내에 남아있는 AI 프로젝트들을 통합하기 시작합니다.

giving OpenBrain access to 50% of the world's AI relevant compute.

그 결과 오픈브레인은 전 세계 AI용 연산 자원의 절반을 사용할 수 있게 됩니다.

And with it slowly, they rebuild their lead.

그리고 이걸 바탕으로 천천히 다시 앞서나가기 시작하죠.

By 2028, researchers have built Safer-4,

2028년, 연구진은 세이퍼-4를 개발해 냅니다.

a system much smarter than the smartest humans,

가장 똑똑한 인간보다도 훨씬 더 뛰어난 지능을 가진 시스템이죠.

but crucially, aligned with human goals.

그리고 무엇보다도 중요한 건, 이 시스템이 인간의 목표에 맞게 '정렬돼 있다'는 겁니다.

As in the previous ending,

그리고 이전의 '경주' 결말과 마찬가지로,

China also has an AI system,

중국도 자체 AI 시스템을 보유하고 있으며,

and in fact, it is misaligned.

게다가 중국의 AI는 '비 정렬' 상태로 사용되고 있죠.

But this time the negotiations between the two AIs

하지만 이번에는, 두 AI 간의 협상이

are not a secret plot to overthrow humanity.

인류를 무너뜨리기 위한 비밀스러운 음모가 아닙니다.

The US government is looped in the whole time.

미국 정부가 처음부터 그 과정에 깊이 관여했죠.

With Safer-4's help,

그렇게 세이퍼-4의 도움을 받아,

they negotiate a treaty,

양측은 조약을 체결하고,

and both sides agree to co-design a new AI,

양측은 새로운 AI를 공동 설계하기로 합의합니다.

not to replace their systems,

이번엔 기존 시스템을 대체하려는 게 아니라,

but with the sole purpose of enforcing the peace.

오직 평화를 지켜내기 위한 목적으로 만드는 거죠.

There is a genuine end to the arms race,

그렇게 AI 군비 경쟁은 진짜로 막을 내립니다.

but that's not the end of the story.

하지만, 이야기는 거기서 끝나지 않죠.

In some ways, it's just the beginning.

어떻게 보면 이제 시작이니까요.

Through 2029 and 2030,

2029년과 2030년을 지나며

the world transforms.

세상은 급속히 변해갑니다.

All the sci-fi stuff.

마치 SF 영화처럼 말이죠.

Robots become commonplace.

이제 로봇이 어디서든 흔하게 보이게 되고,

We get fusion power, nanotechnology,

핵융합 에너지, 나노 기술,

and cures for many diseases.

그리고 여러 질병의 치료법을 얻게 되고,

Poverty becomes a thing of the past

빈곤은 과거의 일이 됩니다.

because a bit of this new-found prosperity is spread around

새롭게 생겨난 세계의 번영 중 일부가 모두에게 나눠지기 때문이죠.

through universal basic income ( UBI )

보편적 기본소득을 통해서요.

that turns out to be enough,

그 정도 수준이면 충분했던 거죠.

but the power to control Safer-4 is still concentrated among 10 members of the oversight committee,

하지만 여전히 세이퍼-4의 통제권은 감독위원회 10명과

a handful of OpenBrain executives and government officials.

소수의 오픈브레인 임원들과 정부 관계자들에게만 집중돼 있습니다.

It's time to amass more resources,

이제 더 많은 자원을 확보할 시간입니다.

more resources than there are on earth.

지구에 있는 것보다도 더 많은 자원이 필요한 시점이니까요.

Rockets launch into the sky,

로켓들이 하늘로 솟아오릅니다.

ready to settle the solar system.

태양계를 개척할 준비가 된 거죠.

A new age dawns.

새로운 시대의 시작입니다.

Okay, where are we at?

자, 그렇다면 우리는 어디쯤 와 있을까요?

Here's where I'm at.

제 생각은 이렇습니다.

I think it's very unlikely that things play out exactly as the authors depicted,

저는 우리의 미래가 지금 이 AI 2027 시나리오가 대로 흘러갈 가능성은 매우 낮다고 봅니다.

but increasingly powerful technology

하지만 기술들은 점점 더 강력해지고,

and escalating race,

경쟁은 계속 격화되고 있습니다.

the desire for caution butting up against the desire to dominate and get ahead,

AI 기술에 신중하자는 마음과 앞서 나가고 싶은 욕망이 충돌하는 상황이죠.

we already see the seeds of that in our world,

그런 조짐은 이미 현실에도 보이고 있잖아요?

and I think they are some of the crucial dynamics to be tracking.

저는 그게 앞으로 우리가 특히 주목해야 할 핵심 흐름 중 하나라고 생각합니다.

Anyone who's treating this as pure fiction is,

이런 상황을 그저 허구처럼 대하신다면,

I think, missing the point.

현시대 흐름의 중요한 핵심을 놓치는 겁니다.

This scenario is not prophecy,

이 시나리오가 예언은 아니지만,

but its plausibility should give us pause.

꽤 그럴듯하다는 점에서 한 번쯤 멈춰 생각해 볼 필요는 있어요.

But there's a lot that could go differently than what's depicted here.

게다가 실제로는 AI 2027에서 묘사된 시나리오와 전혀 다른 방향으로 전개될 가능성도 크죠.

I don't want to just swallow this viewpoint uncritically.

그렇기에 저는 이 관점을 무비판적으로 받아들이고 싶진 않아요.

Many people who are extremely knowledgeable have been pushing back on some of the claims in AI 2027.

실제로 이 분야에 정말 해박한 전문가들도 AI 2027에 담긴 주장들에 대해 반박하고 있죠.

────────────────────

네이트 소아레스 | 27:12

The main thing I thought was especially implausible was

개인적으로 특히 비현실적이라고 느낀 부분은,

on the good path, the ease of alignment.

좋은 결말에서 AI의 '정렬' 문제가 너무 쉽게 해결됐다는 점입니다.

They sort of seem to have a picture where people slowed down a little

그 시나리오를 살펴보면, 사람들이 그냥 개발 속도를 좀 늦추고,

and then tried to use the AI to solve the alignment problem, and that just works.

AI를 활용해서 '정렬' 문제를 풀려고 하니 잘 해결됐다는 게

And I'm like, yeah, that looks to me like a fantasy story.

마치 제겐 판타지 소설처럼 느껴졌어요.

────────────────────

아르빈드 나라야난 | 27:31

This is only going to be possible

여기에서 나오는 시나리오가 실제로 가능해지려면

if there is a complete collapse of people's democratic ability to influence the direction of things,

사람들이 방향에 영향을 줄 수 있는 민주적 권한이 완전히 무너져야만 해요.

because the public is simply not willing to accept either of the branches of this scenario.

왜냐하면 대중은 이 시나리오의 어느 쪽도 받아들이려 하지 않을 테니까요.

────────────────────

얀 르쿤 | 27:44

It's not just around the corner.

그런 미래가 지금 우리의 당장 코앞에 와 있지 않아요.

I mean, I've been hearing people for the last 12, 15 years claiming that,

제 말은, 제가 지난 12년, 15년 동안 사람들이 말하는 걸 수도 없이 들어왔는데요,

you know, AGI is just around the corner

"AGI의 등장이 이제 코앞까지 와 있다"는 말들이 있잖아요?

and being systematically wrong.

근데 그게 지금까지 일관되게 틀려왔잖아요?

All of this is gonna take, you know, at least a decade and probably much more.

AGI 같은 건요, 아무리 빨라도 10년, 아마 그보다 훨씬 더 걸릴 거예요.

────────────────────

에게 에르딜 | 27:57

A lot of people have this intuition that progress has been very fast.

많은 사람들이 "요즘 기술들의 발전이 너무 빠르다"라고 직감적으로 느끼지만,

There isn't like a trend you can literally extrapolate of when do we get the full automation?

사실 완전 자동화가 언제쯤 가능할지에 대해 말 그대로 예측 가능한 뚜렷한 추세 같은 건 없어요.

────────────────────

라이언 그린블랫 | 28:05

I expect that the takeoff is somewhat slower.

저는 본격적으로 가속되기 시작하는 시점이 좀 더 늦게 찾아올 거라고 봐요.

So sort of the time in that scenario from, for example,

예를 들어, 그 시나리오에서처럼

fully automating research engineers

연구 엔지니어를 완전히 자동화하는 것에서부터,

to the AI being radically superhuman,

AI가 급진적으로 초지능화 되는 단계까지가

────────────────────

플로이드 | 28:16

I expect it to take somewhat longer than they describe. In practice,

그게 영상에서 말하는 것보다는 좀 더 오래 걸릴 거라고 봐요. 실제로는 말이죠.

I'm predicting my guess is that more like 2031.

제 예측으로는 2031년쯤이 좀 더 현실적일 것 같아요.

Isn't it annoying when experts disagree?

전문가끼리 서로 의견이 다를 때 좀 짜증 나지 않나요?

I want you to notice exactly what they're disagreeing about here and what they're not.

그런데 저는 여러분이 정확히 어떤 부분에서 의견이 다르고, 어떤 부분은 같은지를 꼭 아셨으면 해요.

None of these experts are questioning whether we're headed for a wild future.

이 전문가 중 그 누구도, 우리가 격변의 미래로 가고 있다는 사실 자체는 의심하지 않아요.

They just disagree about whether today's kindergartners will get to graduate college before it happens.

단지 지금은 유치원생들이 그 격변의 미래가 오기 전에 대학을 졸업할 수 있을까 말까에 대해 의견이 갈리는 거죠.

Helen Toner, a former OpenAI board member,

오픈AI의 전 이사회 멤버였던 헬렌 토너가

puts this in a way that I think just cuts through the noise,

이걸 정말 핵심을 꿰뚫는 방식으로 표현했거든요?

and I like it so much I'm just gonna read it to you verbatim.

전 그 표현이 너무 좋아서 그냥 그대로 읽어드릴게요.

She says,

헬렌 토너가 말하길,

"Dismissing discussion of super intelligence as science fiction

"초지능에 대한 논의를 공상과학으로 치부하는 건

should be seen as a sign of total unseriousness.

'완전히 진지하지는 않다'라는 태도라고 봐야 해요"

Time travel is science fiction.

"시간여행은 공상과학입니다"

Martians are science fiction.

"화성인도 공상과학이죠"

Even many skeptical experts think we may build it in the next decade or two.

"하지만 회의적인 전문가들조차 향후 10~20년 안에 우리가 초지능을 만들 수 있다고 봅니다"

It is not science fiction."

"이건 공상과학이 아니에요.”

So what are my takeaways?

그래서 제가 생각하는 핵심은 뭐냐면요,

I've got three.

세 가지로 정리해 볼 수 있습니다.

Takeaway number one

첫 번째 핵심은,

AGI could be here soon.

AGI가 머지않아 현실이 될 수도 있다는 겁니다.

It's really starting to look like there is no grand discovery,

지금 상황을 보면, 뭔가 엄청난 발견이 필요한 것도 아니고,

no fundamental challenge that needs to be solved.

반드시 넘어야 할 근본적인 문제도 딱히 없어 보이거든요.

There's no big deep mystery that stands between us and AGI : artificial general intelligence.

우리와 AGI 사이를 가로막고 있는 심오한 비밀 같은 건 없다는 거죠.

And yes,

물론 그렇다고 해서,

we can't say exactly how we will get there.

정확히 어떻게 AGI까지 도달할지 안다는 건 아닙니다.

Crazy things can and will happen in the meantime

그사이에 예상치 못한 일들이 벌어질 수 있고, 실제로도 벌어질 겁니다.

that will make some of the scenario turn out to be false,

그로 인해 이 시나리오의 일부는 빗나가기도 하겠죠.

but that's where we're headed

하지만 결국 우리가 향하고 있는 방향은 그쪽입니다.

and we have less time than you might think.

그리고 우린 생각보다 시간이 별로 없을지도 모릅니다.

One of the scariest things about this scenario to me is

제가 이 시나리오에서 가장 무섭다고 느꼈던 건요,

even in the good ending,

심지어 '좋은 결말'에서도

the fate of the majority of the resources on Earth

지구 자원의 대부분이 어떤 운명을 맞게 될지가

are basically in the hands of a committee of less than a dozen people.

결국 고작 10명도 채 안 되는 위원회 손에 달려 있다는 점이었습니다.

That is a scary and shocking amount of concentration of power.

이건 진짜 무섭고 충격적일 정도로 권력이 집중된 상태죠.

And right now we live in a world where we can still fight for transparency obligations.

그리고 지금 우리가 살고있는 세상은 여전히 투명성을 위한 의무를 요구할 수 있습니다.

We can still demand information about what is going on with this technology,

즉, 아직 이 AI 기술에서 무슨 일이 벌어지고 있는지에 대한 정보를 요구할 수 있는 상황이라는 겁니다.

but we won't always have the power and the leverage needed to do that.

하지만 그런 영향력을 우리가 언제까지나 가질 수 있는 건 아니죠.

We are heading very quickly towards a future

우리는 지금 아주 빠르게 미래를 향해 나아가고 있고,

where the companies that make these systems and the systems themselves

그 미래는, 이러한 AI 시스템을 만드는 기업들과 시스템 자체가

just need not listen to the vast majority of people on Earth.

지구상 대다수 사람의 목소리에 굳이 귀 기울일 필요가 없는 곳일 될 거라는 겁니다.

So I think the window that we have to act

그래서 지금 우리가 행동할 수 있는 기회의 창이

is narrowing quickly.

아주 빠르게 좁아지고 있다고 생각합니다.

Takeaway number two:

두 번째 핵심은,

By default, we should not expect to be ready when AGI arrives.

( 별다른 준비를 하지 않는다면 ) 기본적으로, AGI에 도달했을 때 우리는 대비되어 있지 않을 가능성이 큽니다.

We might build machines that we can't understand and can't turn off

우리가 이해하지도, 멈출 수도 없는 기계를 만들어버릴 수도 있을 겁니다.

because that's where the incentives point.

왜냐하면 지금의 유인 구조가 그런 방향을 가리키고 있기 때문입니다.

Takeaway number three:

마지막 세 번째 핵심은,

AGI is not just about tech,

AGI가 단지 기술에 관한 문제만이 아니라는 겁니다.

it's also about geopolitics.

지정학의 문제이기도 해요.

It's about your job.

그건 여러분의 일자리 문제이자,

It's about power.

권력의 문제이고,

It's about who gets to control the future.

누가 미래를 통제하게 될지를 결정짓는 문제입니다.

I've been thinking about AI for several years now

저는 몇 년 전부터 AI에 대해 계속 고민해 왔는데요,

and still reading AI 2027

그런데도 AI 2027을 읽고 나니까,

made me kind of orient to it differently.

그게 뭔가… 저의 AI에 대한 관점을 다르게 바꿔줬다랄까요?

I think for a while it's sort of been my thing

원래 한동안은 주로 제 관심사가

to theorize and worry about with my friends and my colleagues,

주변 친구들이나 동료들이랑 AI에 대해 이론적으로 고민하고 걱정하는 거였는데,

and this made me want to call my family

이 AI 2027 시나리오를 읽고 나니, 가족들에게 전화해서

and make sure they know that these risks are very real

여러 AI의 위험들이 정말 현실적인 문제라는 확실히 알리고 싶었죠.

and possibly very near,

어쩌면 그리 멀지 않았을 수도 있다는 점도요.

and that it kind of needs to be their problem too now.

그리고 이제는 뭐랄까, 그 문제를 가족과도 함께 고민해야 할 때라고 느꼈거든요.

────────────────────

대니얼 코코타일로 | 31:21

I think that basically

제 생각에, 기본적으로

companies shouldn't be allowed to build superhuman AI systems,

기업들의 초지능 AI 개발이 허용돼서는 안 된다고 봅니다.

you know, super broadly superhuman super intelligence

그러니까, 인간을 진짜 전반적으로 뛰어넘는 초지능을 말이죠.

until they figure out how to make it safe.

그걸 안전하게 만들 방법을 먼저 찾아내기 전까지는요.

And also until they figure out how to make it, you know, democratically accountable and controlled.

그리고 또, 어떻게 초지능을 민주적으로 책임지고 통제할 수 있게 만들 수 있을지를 찾아내기 전까지 말이죠.

────────────────────

플로이드 | 31:37

And then the question is, how do we implement that?

그다음으로 따져봐야 할 건, 우리가 실제로 그걸 어떻게 시행하냐는 겁니다.

And the difficulty, of course, is the race dynamics where

당연히 가장 어려운 문제는, 지금 국가들 사이에서 벌어지고 있는 AI 개발 경쟁 구도에 있겠죠.

it's not enough for one state to pass a law

어느 한 주에서 법을 통과시킨다고 해서 충분한 게 아니니까요.

because there's other states

왜냐하면 다른 주들도 있으니까요.

and it's not even enough for one country to pass a law

그리고 한 나라만 법을 통과시킨다고 해도 충분하지 않잖아요?

because there's other countries. Right?

다른 나라들도 있으니까요. 그렇죠?

So that's like the big challenge that we all need to be prepping for

결국 그런 것들이 AGI가 나오기 전에 우리가 대비해야 할 가장 큰 과제들이라는 겁니다.

when chips are down

진짜 위기의 순간이 닥치고,

and powerful AI is imminent.

강력한 AI가 눈앞에 와 있는 임박한 때를 대비해서요.

Prior to that, transparency is usually what I advocate for.

저는 그런 결정적인 순간이 오기 전에는, 무조건 '투명성'부터 확보해야 한다고 생각해요.

So stuff that sort of like builds awareness, builds capacity.

그러니까, 사람들이 AI에 대해 더 잘 이해하고 대응할 힘을 키워야겠죠.

Your options are not just full throttle enthusiasm for AI or dismissiveness.

AI에 대해 무작정 열광하거나, 아예 무시해 버리는 것만이 우리에게 주어진 선택지가 아닙니다.

There is a third option,

그 사이 어딘가엔 다른 선택지도 있죠.

which is to stress out about it a lot

그 문제에 대해 진지하게 걱정하며

and maybe do something about it.

뭔가 해보려고 노력해 볼 수도 있을 테니까요.

The world needs better research,

지금 우리에겐, AI에 대한 더 나은 연구와

better policy,

더 나은 정책,

more accountability for AI companies.

그리고 AI 기업들에 대해 확실히 책임을 물을 수 있는 시스템이 필요하죠.

Just a better conversation about all of this.

결국, 진짜 필요한 건 이 모든 걸 놓고 제대로 대화해보는 겁니다.

I want people paying attention who are capable,

저는 실력 있는 사람들이 이런 대화에 관심을 갖고 함께했으면 좋겠어요.

who are engaging with the evidence around them,

그리고 주변의 증거들을 바탕으로 진지하게 관심을 갖고,

with the right amount of skepticism

과하지도 부족하지도 않은 의심하려는 태도와 함께

and above all, who are keeping an eye out for when what they have to offer matches what the world needs,

무엇보다도, 자신이 가진 역량이 세상의 필요와 맞아떨어지는 순간을 항상 눈여겨보면서,

and are ready to jump when they see that happening.

주저하지 않고 뛰어들 준비가 된 사람들이 필요하다고 생각합니다.

You can make yourself more capable,

여러분도 지금보다 더 유능해질 수 있고,

more knowledgeable,

더 많이 알 수 있고,

more engaged with this conversation

이 대화에 더 깊이 참여할 수 있으며,

and more ready to take opportunities where you see them.

그런 기회가 눈앞에 왔을 때, 그걸 잡을 준비가 되어 있을 수 있습니다.

And there is a vibrant community of people that are working on those things.

그리고 이런 문제들을 실제로 다루고 있는, 정말 활기찬 커뮤니티도 존재하고 있고,

They're scared but determined.

물론, 그 사람들도 두렵기도 하지만, 단단한 각오로 임하고 있죠.

They're just some of the coolest, smartest people I know, frankly,

솔직히 말해서, 제가 아는 사람 중에 가장 멋있고 똑똑한 사람들이기도 하고요.

and there are not nearly enough of them

하지만, 그런 사람들이 턱없이 부족한 게 현실입니다.

yet.

아직까지는 말이죠.

If you are hearing that and thinking, yeah,

지금 이걸 들으면서

I can see how I fit into that,

"아, 나도 뭔가 할 수 있겠다" 싶으시다면,

great.

잘 됐습니다.

We have thoughts on that. We would love to help,

저희가 아이디어도 있고, 도와드릴 수 있으니까요.

but even if you're not sure what to make of all this yet,

아직 이 모든 걸 어떻게 받아들여야 할지 모르겠더라도

my hopes for this video will be realized if we can start a conversation that feels alive

이 영상이 진짜 의미를 갖게 되는 건, 사람들 사이에 살아 있는 느낌의 대화가 시작될 때라고 생각해요.

here in the comments and offline

이 영상의 댓글이든, 일상 속에서든,

about what this actually means for people,

이게 각자의 삶에 실제로 어떤 의미인지에 대해

people talking to their friends and family

친구나 가족과도 대화를 나누는 겁니다.

because this is really going to affect everyone.

이건 정말 우리 모두에게 영향을 미칠 일이니까요.

Thank you so much for watching.

끝까지 시청해 주셔서 정말 감사합니다.

There are links for more things to read,

링크를 적어 놨습니다. 더 읽을 만한 자료들과,

for courses you can take,

수강할 수 있는 강의들,

job and volunteer opportunities all in the description,

아니면, 일자리나 자원봉사 기회들도 모두 영상 설명란에 정리해 놓았죠.

and I'll be there in the comments.

저도 댓글에서 함께할 테니,

I would genuinely love to hear your thoughts on AI 2027.

AI 2027에 대한 여러분의 생각은 어땠는지 진심으로 듣고 싶어요.

Do you find it plausible?

여러분은 이 시나리오가 그럴듯하다고 느끼셨나요?

What do you think was most implausible?

가장 말이 안 된다고 생각한 부분은 뭐였나요?

And if you found this valuable,

그리고, 이 영상이 도움이 되셨다면,

please do like and subscribe

'좋아요'와 '구독'도 잊지 않으셨으면 좋겠습니다.

and maybe spend a second thinking about a person or two that you know who might find it valuable

그리고 잠깐 시간을 내서, 이 영상이 도움이 될 만한 사람 한두 명을 떠올려보시는 건 어때요?

maybe your AI progress skeptical friend,

예를 들면, AI 발전을 좀 회의적으로 보는 친구라든가,

or your ChatGPT curious Uncle

챗GPT가 궁금한 삼촌이라던가,

or maybe your local member of congress.

아니면 지역구 국회의원까지도?