찾아보긴 귀찮고, 읽어도 모르겠고

그런 것들만 골라서 쉬운 말로 바꿔드려요.

기술/반도체·하드웨어

NPU, 승부는 TOPS가 아니라 메모리에서 갈린다

vsnote 2026. 9. 1. 12:36

노트북 상세페이지에 'NPU 50 TOPS'라고 적혀 있어요.

숫자가 크니까 좋은 거겠거니 하고 넘기려는데, 걸리는 게 하나 있어요.

'40 TOPS 넘으면 코파일럿+ PC'라는 선을 그어 이 숫자를 광고 문구로 만든 게 마이크로소프트인데, 정작 그 회사가 올해 자기네 소형 모델을 NPU 없는 PC에서도 돌아가게 열었거든요.

NPU는 칩 안에서 무슨 일을 하나요

CPU는 무슨 요리든 하는 요리사 한 명이에요.

볶음도 하고 국도 끓이는데, 순서대로 하나씩 해요.

그런데 AI가 답을 내놓는 동안 칩 안에서 벌어지는 일은 대부분 곱하고 더하는 아주 단순한 계산이 끝없이 반복되는 거예요.

그 반복만 전담하라고 따로 넣은 게 NPU(Neural Processing Unit)예요.

요리사한테 양파 수천 개를 썰라고 시키는 대신, 양파만 써는 채칼 수십 대를 옆에 놓은 셈이죠.

요리사는 그대로 두고 채칼을 더 넣는 거라 CPU를 대신하는 부품은 아니에요.

NPU가 맡는 건 '추론'이에요.

이미 학습이 끝난 모델에 내 말이나 사진을 넣어 답을 받아오는 단계요.

모델을 처음 만드는 학습과는 다른 일이고, NPU는 만드는 쪽이 아니라 쓰는 쪽에 붙어 있어요.

광고에 붙는 TOPS는 이 채칼이 1초에 몇 번 써느냐예요.

1초에 몇 조 번 계산하느냐를 세는 단위죠.

50 TOPS면 1초에 50조 번이라는 뜻이에요.

이 채칼을 왜 굳이 기기 안에 넣느냐면, 서버까지 다녀오지 않고 손에 든 물건 안에서 AI를 돌리려고요.

이걸 온디바이스 AI라고 불러요.

이 방식은 응답이 빠르고, 인터넷이 끊겨도 돌아가고, 내 데이터가 밖으로 안 나가요.

다만 비유가 여기서 깨져요.

채칼은 주방 한쪽에 따로 놓는 물건이지만, NPU는 대개 CPU와 같은 칩 안에 앉아 같은 메모리를 나눠 쓰거든요.

재료가 냉장고에서 도마까지 오는 속도 — 메모리 대역폭 — 가 막히면 채칼을 더 넣어도 더 빨라지지 않는 구간이 생겨요.

채칼을 아무리 늘려도 양파가 도마까지 오는 통로가 좁으면 재료가 그 앞에서 줄을 서요. TOPS는 채칼이 1초에 몇 번 써느냐만 재는 숫자라서, 이 통로가 막힌 구간에서는 숫자가 커져도 실제로 나오는 요리는 빨라지지 않고요.

왜 하필 올해 이 말이 사방에서 들릴까요

부품 이름은 예전부터 있었는데 광고에 나온 건 최근이에요.

올해 들어 일곱 달 사이에 기기 쪽이 한꺼번에 세대를 갈아탔거든요.

블로그 정리들을 모아보면 이렇게 겹쳐요.

  • PC 칩 — 인텔 팬서레이크가 CES(해마다 1월 미국에서 열리는 가전·IT 전시회)에서 NPU 50 TOPS를 달고 데뷔했어요.
  • 스마트폰 칩 — 2나노 공정(회로를 얼마나 미세하게 그리느냐로 붙이는 세대 이름이에요)으로 만든 엑시노스 2600이 갤럭시 S26에 들어갔고, 공개 행사인 언팩은 2월 25일이었어요.
  • 기기 안에서 도는 모델 — 애플이 WWDC26(애플이 해마다 여는 개발자 회의예요)에서 3세대 파운데이션 모델(여러 기능의 바탕이 되는 기본 모델이에요)을, 구글이 제미나이 나노 4를 공개했어요.
  • 새 몸통 — 삼성의 첫 AI 안경이 7월 22일 런던 언팩에서 나왔어요.

여기에 눈금 하나가 더 얹혔어요.

마이크로소프트가 40 TOPS 이상 NPU를 단 윈도우 11 PC를 '코파일럿+ PC'로 따로 묶어 부르기 시작했어요.

선이 그어지는 순간 그 숫자는 성능 설명이 아니라 진열대 이름표가 돼요.

그러면 자연스럽게 이런 결론이 나와요.

숫자 큰 걸 고르면 되겠네.

자료를 따라가 보면 바로 여기서 어긋나요.

그럼 숫자 큰 걸 고르면 되나요

기기 안에서 AI가 얼마나 잘 도는지는 눈금 세 개를 같이 봐야 알 수 있어요.

AI 연산 능력, 메모리 용량, 그리고 메모리 대역폭이요.

TOPS는 그중 첫 번째 하나예요.

선을 그은 쪽이 그 선을 스스로 넘나든 사례도 있어요.

마이크로소프트는 2026년에 자사 소형 언어 모델인 파이 실리카를 일부 일반 윈도우 PC에서 GPU로도 돌릴 수 있게 범위를 넓혔어요.

있으면 되고 없으면 안 되는 식으로 기능이 딱 갈리지 않는다는 뜻이에요.

업계가 같이 쓰는 시험지를 봐도 그래요. 여러 회사가 함께 만드는 MLCommons의 기기용 시험(MLPerf Inference)은 학습이 끝난 모델에 입력을 넣어 결과를 내놓는 속도를 재되, 항목마다 '이 정도 품질은 나와야 한다'는 목표를 같이 걸어둬요. 작은 기기용 시험에서는 걸리는 시간과 함께 정확도까지 봐요. 숫자 하나로 줄 세우는 건 시험지를 만드는 쪽도 안 하는 일이에요.

실제 서비스에서도 AI 성능은 연산 속도 하나로 정해지지 않아요.

메모리와 저장장치, 네트워크, 전력, 냉각까지 데이터가 흐르는 길 전체가 성능을 좌우한다는 거죠.

기기 쪽은 여기에 하나가 더 붙어요 — 몸집이 큰 모델은 애초에 기기 성능 한계에 걸린다는 점이요.

그러니 눈금 하나를 더 들고 가야 해요.

메모리를 어떻게 붙였느냐요.

이 자를 들고 실제 제품들을 재보면 노트북부터 데이터센터까지 같은 장면이 반복돼요.

노트북 칩과 데이터센터 칩은 어디서 갈릴까요

뉴스에서 이름을 봤을 것들을 '어느 자리에 놓이고 메모리를 어떻게 붙였나'라는 한 축에 세워볼게요.

맨 앞은 노트북이에요.

삼성전자가 뉴스룸에 올린 갤럭시 북6 확대 소식을 보면, 새 14인치 모델의 시작 가격이 799달러예요.

이 자리의 NPU는 CPU·GPU와 한 칩에 앉아 메모리를 나눠 쓰는 쪽이에요.

가운데는 공장과 로봇에 들어가는 보드예요.

엔비디아는 2026년 8월 25일 엣지용(서버가 아니라 현장 기기 쪽에서 돌리는) 로보틱스 컴퓨터를 새로 내놓으면서, 이전 세대와 크기는 같은데 추론 성능은 2배이고 같은 성능을 낼 때 전력은 40% 덜 쓴다고 밝혔어요.

검사장비·로봇 쪽 회사들이 먼저 도입하거나 검토 중인 곳으로 이름을 올렸고요.

맨 끝이 데이터센터용 추론 칩이에요.

한 매체 정리에 따르면 리벨리온의 리벨100은 삼성전자 4나노 공정에서 만들어졌고, 여기에 144GB짜리 HBM3E를 얹었어요.

칩 바로 옆에 메모리를 층층이 쌓아 붙여 데이터가 오가는 통로를 굵게 만든, 값이 아주 비싼 메모리예요.

'싼 추론'을 내세우는 칩이 제일 비싼 메모리를 사고 있다는 게 이 절의 장면이에요.

그 값을 피해 가려는 쪽도 있어요.

정부 간담회에 참석한 다른 국산 업체들은 서버끼리 메모리를 묶어 쓰는 연결 기술(CXL)을 활용하는 방향을 제시했다고 해요.

칩 옆에 비싼 메모리를 붙일 거냐, 흩어진 메모리를 묶어 쓸 거냐 — 규모가 백만 배 달라도 걸린 자리는 노트북과 똑같아요.

돈이 어디서 나오는지도 이 축 위에서 읽혀요.

리벨리온은 2024년 12월 사피온코리아와 합병했고, 그 과정에서 SK텔레콤과 SK하이닉스가 전략적 투자자로 합류했어요.

메모리를 만드는 쪽과 칩을 설계하는 쪽이 한 배에 탄 모양이죠.

이건 언제 내 손에 오나요

이미 온 쪽부터 정리할게요.

노트북은 올해 1월에 갤럭시 북6 울트라와 프로가, 4월에 갤럭시 북6가 나왔고, 이번 14인치 모델까지 가격표를 달고 팔려요.

엣지용 보드도 발표일과 도입 기업 이름이 같이 나왔고요.

여기는 살 수 있는 물건이에요.

안 온 쪽은 결이 달라요.

정부가 추진한다는 국산 NPU 기반 '개방형 AI 컴퓨팅 인프라'에 대해서는 생성형 AI 추론 시장이 커지는 데 대응한다는 배경과, 국산 NPU를 AMD와 결합한다는 방향까지 나왔어요.

배경훈 부총리 겸 과기정통부 장관은 "이제는 연구개발(R&D) 수준에서 벗어나" 실제 시장을 만드는 단계로 간다고 말했고요.

그런데 언제, 얼마나, 얼마짜리로인지는 아직 어느 발표에도 없어요.

기업 쪽 소식도 같은 단계예요.

라이너와 리벨리온이 협약을 맺고 사업화 단계로 협력을 넓히기로 했어요. 모델부터 그걸 돌리는 칩까지 한 벌로 갖춘다는 구상이고, 목표는 외산 GPU 의존도를 낮추고 국산 NPU를 쓰는 거예요.

한편 여러 종류의 칩을 섞어 쓰는 구성에는 특정 공급자의 칩과 소프트웨어에 시스템이 묶이는 대가가 따른다는 지적도 같이 나와 있어요.

그래서 발표 기사를 볼 때 쓸 자는 간단해요.

가격과 발표일과 도입처가 붙은 문장인지, 방향과 협약만 있는 문장인지.

같은 기사 안에서도 이 둘은 섞여 있어요.

그래서 지금 어디까지 온 걸까요

NPU가 제자리를 잡으면 사라지는 불편은 분명해요.

지금은 자막이든 요약이든 서버를 한 번 다녀와야 하는데, 그 왕복이 없어지면 비행기 안에서도 통화 자막이 뜨고 내 목소리가 밖으로 나가지 않아요.

그 하나만으로도 기기가 쓰이는 자리가 달라져요.

지금 와 있는 지점은, 기기 쪽은 가격표가 붙었고 데이터센터 쪽은 메모리 값을 감당하는 방식에서 갈래가 갈렸고 국산 NPU 생태계 구상은 방향과 협약까지라는 것 — 시점도 물량도 예산도 아직 아무도 안 밝혔어요.

채칼을 몇 대 더 놓느냐는 이미 답이 나온 싸움이고, 남은 싸움은 재료가 도마까지 오는 길을 어떻게 넓히느냐예요.

자주 묻는 질문

Q. NPU 없는 노트북은 AI 기능 못 쓰나요?

A. 그렇지는 않아요.

마이크로소프트는 2026년에 자사 소형 언어 모델인 파이 실리카를 일부 일반 윈도우 PC에서 GPU로도 실행할 수 있게 범위를 넓혔어요.

NPU가 없어도 기기 안에서 AI를 돌리는 경우가 생긴다는 뜻이에요.

다만 어떤 기능이 되고 안 되는지는 기기마다 달라요.

Q. TOPS 숫자가 높으면 무조건 빠른가요?

A. 아니에요.

기기 안 AI 성능은 연산 능력, 메모리 용량, 메모리 대역폭을 함께 봐야 알 수 있어요.

실제 서비스에서도 AI 성능은 연산 속도만으로 정해지지 않고, 데이터가 흐르는 길 전체가 영향을 줘요.

Q. NPU랑 GPU는 뭐가 다른가요?

A. GPU는 여러 계산을 한꺼번에 처리하는 병렬 처리 장치이고, NPU는 신경망 계산을 효율적으로 돌리도록 만든 전용 장치예요.

CPU가 프로그램 실행 같은 범용 계산을 맡는 동안 NPU는 AI 추론 쪽을 맡는 식으로 역할이 나뉘어요.

Q. 온디바이스 AI가 정확히 뭔가요?

A. 스마트폰·PC·웨어러블 같은 기기 안에서 AI 모델을 직접 돌리는 방식이에요.

핵심 요소로는 NPU와 가볍게 만든 모델이 꼽히고, 응답이 빠르고 오프라인에서도 되고 개인정보 보호에 유리하다고 서술돼요.

대신 기기 성능 한계 때문에 큰 모델을 다루는 데는 제약이 있어요.

Q. AI PC 기준이 40 TOPS인가요?

A. 여러 정리글에서 마이크로소프트가 40 TOPS 이상 NPU를 단 윈도우 11 PC를 코파일럿+ PC로 따로 구분한다고 설명해요.

회사가 그은 구분선이지 성능이 여기서 딱 갈린다는 뜻은 아니에요.

참고한 글

'기술 > 반도체·하드웨어' 카테고리의 다른 글

전고체배터리, 2027~2028 프리미엄 EV 시범이 목표다  (0) 2026.08.28
6G 표준화의 시작  (1) 2026.08.28
TC본더, 이게 뭐예요? 최근 더 자주 보이는 이유  (0) 2026.08.27
HBM4, 6세대 '초고속 메모리' 지금 왜 뜨나  (0) 2026.08.27
CXL, 서버 공용 메모리 통로  (0) 2026.08.27

'기술/반도체·하드웨어'의 다른글

  • 현재글NPU, 승부는 TOPS가 아니라 메모리에서 갈린다

관련글

티스토리툴바