‘엔비디아 RTX AI PC 캠퍼스 세미나’를 다녀오고 개념 정리하기

아직 12월은 아니었지만 오늘 첫눈이 내렸다. 어제까지만 해도 초록색을 내뿜던 나무들은 흰 눈에 덮여 그 무게를 견디고 있었다. 그 모습을 사진으로 남기고, 발걸음을 옮겨 학교로 향했다. 오늘 학교로 온 이유는 바로 대공연장에서 ‘엔비디아 RTX AI PC 캠퍼스 세미나’가 열렸기 때문이다.

 

 

미국 주식에 관심이 있어 엔비디아에 관심이 있었던 적이 있었지만, 정작 엔비디아가 어떤 기업이고, 무슨 서비스를 내세우고 있는지에 크게 관심을 두지는 않았었다. AI 대격변의 시대가 열리고 AI를 개발하는 수많은 회사들이 엔비디아의 제품을 필요로 했기에 엔비디아의 주가가 상승했다고 짐작을 할 뿐이었다. 오늘 세미나에 참석해 엔비디아는 무슨 회사인지, 그리고 제목에 써져있는 RTX는 무슨 뜻인지 확인하고 싶었다.

 

대공연장에 들어서니 아는 얼굴들이 보였다. 오랜만이 만나는 사람도 있어 반갑게 인사를 나누었다. 그리고 머지 않아 대공연장의 불은 꺼지고 세미나가 시작되었다. 세미나는 배경지식이 없는 사람들도 이해할 수 있을만큼 친절하게 진행되었다. 하드웨어에 무지했던 나도 이해가 가능했을만큼. 개인적으로는 흥미로운 내용들이 많았다. 그 내용들이 머릿속에서 휘발되기 전에 기록으로 남겨보려 한다.

 

 

 

(1,2,3,4,5번은 세미나 발표에 포함되지 않은, 개인적으로 정리한 내용이다)

---

1. CPU와 GPU의 차이

엔비디아는 GPU를 판매하는 회사이다. CPU와 GPU의 차이는 무엇일까? 컴퓨터공학부 4학년이 되었음에도 불구하고 가끔 헷갈리는 것이 부끄럽다. 이 참에 둘의 차이를 짚고 넘어가자. Claude에게 둘의 차이를 물어보았다.

 

CPU(Central Processing Unit): 중앙 처리 장치

GPU(Grapical Processing Unit): 그래픽 처리 장치

 

처리 방식

CPU: 복잡한 연산을 순차적으로 처리하는 데 특화

소수의 강력한 코어로 구성되어 있어 다양한 종류의 작업을 빠르게 처리 가능

GPU: 단순하지만 대량의 연산을 병렬로 처리하는 데 특화

수천 개의 작은 코어로 구성되어 동일한 연산을 동시에 수행 가능

---

주요 용도

CPU: 운영체제 실행, 프로그램 관리, 일반적인 컴퓨터 작업 등 대부분의 컴퓨터 작업을 담당

GPU: 주로 그래픽 처리, 게임 렌더링, 인공지능 학습, 암호화폐 채굴 등 병렬 처리가 필요한 작업에 사용

---

메모리 구조

CPU: 비교적 적은 용량의 캐시 메모리를 가지고 있지만, 시스템의 RAM에 빠르게 접근 가능

GPU: 전용 비디오 메모리(VRAM)를 갖추고 있어 그래픽 데이터를 빠르게 처리할 수 있음

---

2. AI 붐이 찾아오고, GPU의 중요성이 증가했다

ChatGPT와 같은 LLM이 출시되며 AI 붐이 시작되었다. 이에 따라 수많은 기업들이 AI 모델 학습에 뛰어들었는데, AI 모델 학습은 수많은 행렬 연산을 동시에 처리해야 한다. 그리고 GPU는 수천 개의 코어로 병렬 처리가 가능해 동시에 많은 연산을 처리할 수 있다(그에 반해 CPU는 순차적으로 처리해야되기 때문에 몇십 배에서 몇백 배까지 시간이 더 걸린다고 한다).

→ 수많은 회사들이 AI 모델 학습을 위해 GPU 구매에 열을 올리고 있다!

 

그리고 엔비디아는 GPU를 잘 만든다. 엔비디아는 GPU 시장의 선두주자이며, 특히 AI 학습용 GPU 시장의 80% 이상을 차지하고 있다. 엔비디아의 H100, A100 등 기존 GPU 아키텍처에 AI 연산에 최적화된 기능을 추가한 제품이 시장을 지배하고 있으며, 이 제품들은 대규모 언어 모델(LLM) 학습에서 뛰어난 성능을 보여주고 있다.

---

3. CUDA가 무엇일까?

엔비디아에 대해 찾다보면 자연스럽게 ‘CUDA’라는 단어가 계속 언급된다. CUDA란 무엇일까?

 

CUDA는 엔비디아가 개발한 병렬 컴퓨팅 플랫폼 및 프로그래밍 모델로, GPU에서 범용 연산을 수행할 수 있게 해준다. C, C++, Python 등 익숙한 프로그래밍 언어로 GPU 프로그래밍을 할 수 있다. 개발자들이 사용하는 딥 러닝 프레임워크들(TensorFlow, PyTorch 등)이 CUDA를 기반으로 최적화되어 있다.

 

CUDA를 활용하면 개발자들이 GPU의 병렬 처리 능력을 쉽게 활용할 수 있다.

→ 그리고 CUDA는 엔비디아의 GPU에서만 작동한다!!

 

CUDA를 사용하려면 엔비디아의 GPU를 사용할 수 밖에 없으니 엔비디아의 지위는 더욱 공고해졌다. CUDA가 AI 개발의 사실상의 표준 플랫폼이 되었다고 할 수 있다는 말도 나오는 것을 보면, CUDA는 엔비디아에게 없어서는 안될 존재라고 해도 될 것 같다.

---

4. 그래픽 카드가 뭐지?

그러면 제목에 있는 RTX는 GPU인가? 아니다. 찾아보니 RTX는 엔비디아의 그래픽 카드 제품 라인을 나타내는 브랜드명이라고 한다. 많이 들어본 단어이다. 그렇다면 정확히 그래픽 카드는 무슨 뜻일까? Claude에게 물어봤다.

 

그래픽 카드(Graphics Card): CPU의 명령하에 이루어지는 그래픽 작업을 전문적으로 빠르게 처리하고 디지털 신호를 영상 신호로 바꿔 모니터로 전송하는 장치

---

그래픽 카드의 구성

• GPU: 그래픽 처리를 담당하는 핵심 프로세서
• VRAM(Video RAM): 그래픽 작업을 위한 전용 메모리
• 냉각 시스템: 팬이나 방열판으로 구성
• 전원 관리 시스템
• 디스플레이 출력 포트(HDMI, DisplayPort 등)

---

그래픽 카드의 주요 기능

• 게임의 3D 그래픽 처리
• 영상 편집 및 렌더링
• AI 학습 및 추론
• 암호화폐 채굴
• 전문 설계/디자인 작업

---

시장 구도

• 게이밍용: 엔비디아 GeForce, AMD Radeon 시리즈
• 전문가용: 엔비디아 RTX/Quadro, AMD Radeon Pro
• AI/데이터센터용: 엔비디아 Tesla, AMD Instinct

→ 쉽게 말해서, 그래픽 카드는 GPU를 실제로 사용할 수 있게 해주는 완성된 하드웨어 제품!

(CPU가 메인보드에 장착되듯이, 그래픽 카드는 메인보드의 PCIe 슬롯에 장착되어 사용)

 

 

---

5. 레이 트레이싱이 뭐지?

세미나에서 RTX에 대한 설명을 들을 때, 레이 트레이싱(Ray Tracing)이라는 단어가 많이 언급되었었다. 레이 트레이싱이라는 단어는 아예 처음 들어 봤었기에, 레이 트레이싱이 과연 무엇인지 찾아보기로 했다.

 

레이 트레이싱(Ray Tracing): 빛의 물리적 특성을 실시간으로 시뮬레이션하는 렌더링 기술

• 실제 빛이 움직이는 방식을 따라 광선을 추적하여 사실적인 그래픽을 구현
• 빛의 반사, 그림자, 투명도 등을 현실감 있게 표현 가능

기존 방식은 미리 계산된 조명과 그림자를 사용하지만, 레이 트레이싱은 실시간으로 빛의 경로를 계산해서 훨씬 더 사실적인 그래픽을 구현할 수 있다.

→ 하지만 많은 연산 능력이 필요하다!

→ 그리고 엔비디아의 RTX 시리즈는 레이 트레이싱 전용 하드웨어를 탑재해 효율적인 처리가 가능하다.

RTX와 레이 트레이싱 (엔비디아 공식 홈페이지)

---

6. Stable Diffusion, ComfyUI, 그리고 가속 컴퓨팅

세미나 도중 ComfyUI에서 RTX 가속에 대한 성능 비교에 대한 설명이 있었다. ComfyUI가 뭐지? ComfyUI가 무엇인지 알려면 일단 Stable Diffusion에 대해서 알아야한다.

 

Stable Diffusion은 Stability AI에서 공개한 오픈소스 text-to-image 생성 모델로, 텍스트 설명을 기반으로 고품질의 이미지를 생성할 수 있다.

→ 그리고 ComfyUI는 Stable Diffusion 기반의 이미지 생성 모델을 위한 그래픽 사용자 인터페이스(GUI) 도구

(Stable Diffusion과 ComfyUI에 대하여 더 자세히 알아보고 싶으면 밑의 링크에서 확인해보자.

링크: https://marcus-story.tistory.com/55 )

 

그리고 세미나에서는 ComfyUI에서 이미지를 생성하는데

Apple Macbook M3 Pro에는 154초,

Apple Macbook M3 Max에서는 66초,

GeForce RTX 4070 Laptop에서는 23초,

GeForce RTX 4090 Laptop에서는 9초가 걸린다고 발표했다.

 

위 발표에 의하면 RTX의 성능이 매우 뛰어난 것 같다. 여담이지만, 나는 지난주에 맥북 에어 M3를 구매했다..ㅎㅎ

(참고로 가속 컴퓨팅은 특정 연산을 가속하기 위해 특수 하드웨어를 사용하는 기술로, RTX 가속을 통해 ComfyUI의 성능을 크게 향상시킬 수 있다고 한다)

---

7. 온디바이스 AI와 ChatRTX

이번 세미나에서는 ‘온디바이스 AI’에 대하여 꽤 많은 시간이 할애되었다. 온디바이스 AI가 뭘까?

온디바이스 AI란 클라우드나 외부 서버가 아닌 사용자의 기기 내에서 직접 AI 모델을 실행하는 방식이다.

(삼성 갤럭시에서의 빅스비나 아이폰에서 Siri가 온디바이스 AI에 해당한다)

---

온디바이스 AI의 장점

1. 프라이버시 보호: 데이터가 기기를 떠나지 않기 때문에 개인정보 보호에 유리
2. 실시간 처리: 네트워크 지연 없이 즉각적인 응답 가능
3. 오프라인 작동: 인터넷 연결 없이도 AI 기능 사용 가능
4. 비용 효율성: 클라우드 서버 비용이 들지 않음

---

하지만 단점 또한 존재하는데,

온디바이스 AI의 단점

1. 기기의 처리 능력과 메모리 한계로 인해 복잡한 AI 모델 실행이 어려울 수도
2. 모델 업데이트가 필요할 때마다 앱 업데이트 필요
3. 기기의 배터리 소모 증가

이런 단점에도 불구하고, 프라이버시가 보호되고 응답이 빠르며, 오프라인에서도 작동이 된다는 장점 때문에 온디바이스 AI가 각광받는 것 같다.

 

그리고 엔비디아에서는 윈도우 컴퓨터에서 사용할 수 있는 온디바이스 AI인 ‘NVIDA ChatRTX’를 출시했는데, PC의 로컬 파일들을 인식해서 개인에게 맞춤화된 질의응답을 제공한다고 한다.

ChatRTX 설명 (엔비디아 공식 홈페이지)

 

엔비디아 RTX가 탑재된 윈도우11 PC를 사용하고 있는 사람은 ChatRTX를 사용할 수 있다. 자세한 시스템 요구사양은 밑 이미지를 참고하면 된다.

ChatRTX 시스템 요구사양

---

8. 디지털 트윈과 NVIDIA Omniverse

다른 주제들에 비해 크게 언급되지는 않았지만, 디지털 트윈과 NVIDIA Omniverse에 대한 소개 또한 진행되었다. 먼저 디지털 트윈이 무엇인지 살펴보자.

 

디지털 트윈: 현실 세계의 물리적 객체, 프로세스 또는 시스템을 가상 환경에서 정확하게 복제한 디지털 표현

---

디지털 트윈의 특징

• 실시간 데이터 동기화: 센서와 IoT 기기를 통해 실제 객체의 상태를 지속적으로 반영
• 예측적 분석: 발생 가능한 문제를 미리 파악하고 대응 방안 수립
• 최적화: 성능 향상과 효율성 개선을 위한 시뮬레이션 수행
• 의사결정 지원: 데이터 기반의 인사이트 제공

그리고 NVIDIA Omniverse는 디지털 트윈 구현을 위한 플랫폼으로, RTX 기능을 활용하여 사실적인 렌더링이 가능하다고 한다.

NVIDIA Omniverse에 대한 설명 (엔비디아 공식 홈페이지)

 

디지털 트윈은 팬데믹 이후 각광받은 메타버스에 필수적인 기술인 것 같다. 지금은 잠시 주춤한 것 같지만, 메타버스 붐이 다시 한 번 찾아온다면 이 디지털 트윈이라는 기술도 크게 주목받지 않을까.

 

(찾아보니 메타버스가 주춤한 것과 달리, 디지털 트윈은 산업 현장에서 꾸준히 성장하고 있다고 한다)

---

9. 후기

이번 세미나를 통해 왜 엔비디아가 어떤 회사이고, 또 신제품에 대한 소개를 들으며 엔비디아가 어떤 미래를 준비하는지 확인할 수 있었다. 생각보다 엔비디아는 시장에서 압도적인 위치를 차지하고 있었고, AI의 중요성이 더욱 상승하는 상황에서 더욱 발전할 가능성이 큰 회사였다. 그리고 사람들이 왜이리 NVIDIA 그래픽카드를 찾으려고 눈에 불을 키고 다니는지 그 이유를 알 수 있었다(게임을 하거나, 암호화폐 채굴을 하거나..)

 

LLM의 성능은 더욱 향상하고 있고, AI는 이제 사람들의 일자리를 위협할 수준에 근접하고 있다. 엔비디아는 AI의 발전에 필수적인 존재이고, 그 가능성이 확인되었을 때부터 주가는 폭발적으로 상승하고 있다. 이번 세미나를 통해 세상이 얼마나 빠르게 발전하고 있는지 알 수 있었다. 앞으로 어떤 기술이 우리를 놀라게 할까 궁금해진다.