젠슨황 - 인공지능 중기적 관점/딥시크 더 많은 컴퓨팅 능력이 요구될 것

https://www.youtube.com/watch?v=1DtJe7-4aas

 

Now, the guide was also above, as you mentioned.
말씀하신 대로 가이드도 상향 조정되었습니다.

Now, earlier today, speaking of demand, I was talking to Amazon CEO Andy Jassy.
오늘 일찍 수요에 대해 이야기하자면, 저는 아마존 CEO 앤디 재시와 대화를 나눴습니다.

He told me that as of now, if he had more AI resources to sell through AWS, he could sell more.
그는 현재 AWS를 통해 판매할 AI 리소스가 더 있다면 더 많이 팔 수 있을 것이라고 말했습니다.

That's kind of the short-term signal of demand that you talked about on the call.
이것이 바로 귀하가 콜에서 언급한 단기 수요 신호의 한 종류입니다.

Tell me more about the mid-term signals that investors should be aware of that give you confidence in the continued demand.
투자자들이 알아야 할 중기적 신호들에 대해 더 말씀드리겠습니다. 이는 지속적인 수요에 대한 확신을 주는 것들입니다.

The scale-outs of data centers, AI factories, relative to what you've historically seen.
데이터 센터와 AI 팩토리의 규모 확장은 과거에 비해 상당한 수준입니다.

The short-term signal are just our POs and the forecasts.
단기적 신호는 단순히 우리의 구매 주문서(PO)와 예측치입니다.

And on top of that, the things that are not forecasted are new startup companies that are spinning off.
게다가, 예측되지 않은 것들 중에는 새롭게 생겨나는 스타트업 기업들이 있습니다.

And some of these are quite famous.
이 중 일부는 꽤 유명합니다.

And you know, at the risk of forgetting any of them, I won't mention any of them.
그리고 아시다시피, 어느 하나라도 빠뜨릴 위험이 있어서 그 중 어느 것도 언급하지 않겠습니다.

There's some really, really fantastic startups that have come out as a result of new reasoning AI capabilities and artificial general intelligence capabilities that they have breakthroughs in.
새로운 추론 AI 능력과 인공 일반 지능(AGI) 능력에서 돌파구를 마련한 결과로 정말 대단한 스타트업들이 등장했습니다.

And several of them, there's several of them that are related to agentic AIs, really exciting companies.
그 중 여러 회사들은 에이전트 AI와 관련이 있는데, 정말 흥미진진한 기업들입니다.

And there's several of them related to physical AIs.
그리고 여러 회사들이 물리적 AI와 관련이 있습니다.

There's just handfuls of each one of them, and each one of them needs additional compute.
각 분야마다 이런 회사들이 한 움큼씩 있고, 이들 각각은 추가적인 컴퓨팅 능력을 필요로 합니다.

And that's the type of things that Andy talks about, because they need to go to AWS and they have urgent need for more compute right away.
이것이 바로 앤디가 말하는 종류의 것들입니다. 왜냐하면 이 회사들은 AWS로 가야 하고 즉시 더 많은 컴퓨팅 능력이 시급하게 필요하기 때문입니다.

And so that's on top of what we already knew to have POs and forecasts and such.
그래서 이는 우리가 이미 알고 있던 구매 주문서와 예측 등에 더해지는 것입니다.

The midterm comes from the fact that this year's capital investment for data centers is so much greater than last year's.
중기적 신호는 올해의 데이터 센터 자본 투자가 작년보다 훨씬 더 크다는 사실에서 비롯됩니다.

And of course, we had a very large year last year.
물론, 우리는 작년에 매우 큰 해를 보냈습니다.

We had a great year last year.
우리는 작년에 훌륭한 해를 보냈습니다.

It stands to reason that with Blackwell and with all the new data centers going online, we're going to have a fairly great year.
블랙웰과 함께 많은 새로운 데이터 센터들이 가동되면서, 우리는 꽤 좋은 한 해를 보낼 것이라고 생각하는 것이 합리적입니다.

Now long-term, the thing that's really exciting is we're just at the beginning of the reasoning AI era.
장기적으로 볼 때, 정말 흥미진진한 점은 우리가 추론 AI 시대의 시작점에 있다는 것입니다.

This is the time when AI is thinking to itself before it answers a question.
이는 AI가 질문에 답하기 전에 스스로 생각하는 시기입니다.

Instead of just immediately generating an answer, it'll reason about it, maybe break it down step by step.
즉각적으로 답변을 생성하는 대신, AI는 그것에 대해 추론하고 아마도 단계별로 분석할 것입니다.

It'll do maybe some searching in its own mind before it creates and composes a smart answer for you.
아마도 당신을 위해 스마트한 답변을 만들고 구성하기 전에 자체적으로 일종의 검색을 수행할 것입니다.

The amount of computation necessary to do that reasoning process is 100 times more than what we used to do.
그 추론 과정을 수행하는 데 필요한 계산량은 우리가 이전에 하던 것보다 100배 더 많습니다.

So if you could imagine, we thought computation, the amount of compute necessary, was a lot last year.
상상해 보세요. 우리는 작년에 필요한 컴퓨팅 양이 많다고 생각했습니다.

And then all of a sudden, reasoning AI, deep-seq was an example of that, chatGPT4o is an example of that, grok3 reasoning is an example of that.
그리고 갑자기 추론 AI가 등장했습니다. deep-seq가 그 예이고, chatGPT4o도 그 예이며, grok3 추론도 그 예입니다.

So all of these reasoning AI models now need a lot more compute than what we used to expect.
따라서 이러한 모든 추론 AI 모델들은 이제 우리가 예상했던 것보다 훨씬 더 많은 컴퓨팅 능력을 필요로 합니다.

That puts even more load.
이는 더 많은 부하를 가중시킵니다.

Because some people took deep-seq to mean actually that you need less compute, right?
왜냐하면 일부 사람들은 deep-seq가 실제로 더 적은 컴퓨팅 능력이 필요하다는 의미로 받아들였기 때문입니다.

Because the initial report was that they were doing more with less.
초기 보고서에서는 그들이 더 적은 것으로 더 많은 것을 하고 있다고 했기 때문입니다.

But you're saying in fact, some of what came out of deep-seq was the opposite, that there's going to be more compute demanded, unpack that for me.
하지만 당신은 사실 deep-seq에서 나온 일부 결과가 반대라고 말하고 있습니다. 즉, 더 많은 컴퓨팅 능력이 요구될 것이라고요. 그것에 대해 자세히 설명해 주세요.

There are three phases in how AI works, how AI is developed largely.
AI가 작동하는 방식, AI가 주로 개발되는 방식에는 세 가지 단계가 있습니다.

Number one is pre-training.
첫 번째는 사전 훈련입니다.

It's kind of like us going through high school.
이는 우리가 고등학교를 다니는 것과 같습니다.

A lot of basic math, basic language, basic everything.
많은 기초 수학, 기초 언어, 모든 것의 기초를 배웁니다.

That basic understanding of human knowledge is essential to do what is the next step, which is called post-training.
인간 지식에 대한 이러한 기본적인 이해는 다음 단계인 사후 훈련을 수행하는 데 필수적입니다.

In post-training, you might get human feedback.
사후 훈련에서는 인간의 피드백을 받을 수 있습니다.

You know, it's like a teacher showing it to you.
마치 선생님이 당신에게 보여주는 것과 같습니다.

We call it reinforcement learning, human feedback.
우리는 이것을 강화 학습, 인간 피드백이라고 부릅니다.

You might practice and do thought experiments.
연습을 하고 사고 실험을 할 수 있습니다.

You're preparing for a test.
시험을 준비하는 것과 같습니다.

You're doing a whole lot of practices.
당신은 많은 연습을 하고 있습니다.

We call it reinforcement learning, AI feedback.
우리는 이것을 강화 학습, AI 피드백이라고 부릅니다.

You could either also do tests and practice, and we call it reinforcement learning, verifiable reward feedback.
또한 테스트와 연습을 할 수 있으며, 우리는 이를 강화 학습, 검증 가능한 보상 피드백이라고 부릅니다.


So now basically it's teaching AIs how to be better AIs.
이제 기본적으로 AI에게 더 나은 AI가 되는 방법을 가르치고 있는 것입니다.

That post-training process is where an enormous amount of innovation is happening right now.
이 사후 훈련 과정은 현재 엄청난 혁신이 일어나고 있는 곳입니다.

A lot of it happened with these reasoning models, and that computation load could be a hundred times more than pre-training.
이 중 많은 부분이 이러한 추론 모델들과 함께 이루어졌으며, 그 계산 부하는 사전 훈련보다 100배 더 많을 수 있습니다.

And then here comes inference, the reasoning process.
그리고 이제 추론, 즉 추론 과정이 등장합니다.

Instead of just spewing out an answer, when prompted, it reasons about it.
단순히 답변을 내뱉는 대신, 질문을 받으면 그것에 대해 추론합니다.

It thinks about how best to answer that question, breaks it down step by step, might even refer and reflect upon it, come up with several versions, pick the best one, and then presents it to you.
질문에 어떻게 가장 잘 대답할 수 있을지 생각하고, 단계별로 분석하며, 심지어 참조하고 반성할 수도 있고, 여러 버전을 만들어 최선의 것을 선택한 다음 당신에게 제시합니다.

So the amount of computation that we have to do, even at inference time now, is a hundred times more than what we used to do when Chad GPT first came out.
그래서 이제 추론 시에도 우리가 수행해야 하는 계산량은 Chad GPT가 처음 나왔을 때보다 100배 더 많습니다13.

And so all of a sudden, the combination of all these ideas, largely related to reinforcement learning and synthetic data generation and reasoning, all of this is just causing compute demand to go sky high.
그리고 갑자기, 주로 강화 학습과 합성 데이터 생성 및 추론과 관련된 이 모든 아이디어의 조합으로 인해 컴퓨팅 수요가 급격히 증가하고 있습니다