온디바이스 AI와 메모리 반도체

• 온디바이스 AI

 AI는 우리 삶의 모든 영역에서 근본적인 변화를 만들어 내고 있습니다. 직장에서는 문서 작업, 데이터 분석 등에서 생산성 극대화를 이끌어 내고 있고, 집에서는 다양하고 편리한 서비스를 통해 우리 삶을 윤택하고 즐겁게 만들고 있다. 이제는 ChatGPT 같은 생성형 AI 서비스가 우리 삶에 새로운 패러다임을 가져왔다고 해도 과언이 아닙니다.

 

 AI는 클라우드에서 처음 시작됐지만, 현재는 다른 응용과 플랫폼으로 급속히 확산되고 있습니다. 보안과 응답성 등을 고려해 스마트폰, 컴퓨터, 자동차 등 단말단에서의 '온디바이스 AI(On-Device AI)' 구현이 필요한 상황입니다.

https://news.samsungsemiconductor.com/kr/%EA%B8%B0%EA%B3%A0%EB%AC%B8-ai-%EC%8B%9C%EB%8C%80-%EC%B5%9C%EC%A0%81-%EB%A9%94%EB%AA%A8%EB%A6%AC-%EC%86%94%EB%A3%A8%EC%85%98%EC%9C%BC%EB%A1%9C-%EB%AF%B8%EB%9E%98-%EA%B8%B0%EC%88%A0%EC%9D%84/

[기고문] AI 시대, 최적 메모리 솔루션으로 미래 기술을 그리다

 

 '온디바이스 AI' 란

휴대폰 또는 노트북과 같은 전자기기에 NPU(신경망 칩)을 설치하여 인터넷 연결을 하지 않아도 생성형 Ai를 구동할 수 있게 만드는 기술을 말합니다.

1) 클라우드로 데이터를 전송하지 않고 이용자가 소유한 기기 안에서 자체적으로 Ai연산을 처리하며, 인터넷 연결이 필요하지 않아서 통신 지연이 없어 속도가 빠를 뿐만 아니라, 개인정보 보호 및 비용 측면에서도 유리합니다. 단, 인터넷을 토대로 정보를 가져오는 것이 아닌 개인의 사진 및 데이터를 토대로 산출하기 때문에 결과물의 완성도면에서는 떨어질 수 있는 부분은 아직까지 해결해야 할 과제입니다.

2)  클라우드로 데이터를 전송하는 데 필요한 에너지 소모와 지연 시간을 감소시켜 에너지 효율을 높일 수 있습니다.
https://www.apple-economy.com/news/articleView.html?idxno=72432

“‘온디바이스AI’ 확산에 ‘LLW’ D램 수요 급증” - 애플경제

https://www.clunix.com/insight/it_trends.php?boardid=ittrend&mode=view&idx=755

클루닉스

 

 

• 온디바이스 AI의 성장은 메모리 반도체의 성장

 서버 AI가 복잡한 연산을 위해 클라우드를 거치는 반면 온디바이스 AI는 수억 개의 연산을 기기에서 곧바로 수행합니다. 전력을 많이 소모하지 않으면서 대용량 데이터를 고속으로 연산하려면 옆에서 연산을 보조하는 D램 역시 성능 고도화가 필수입니다.

https://www.sedaily.com/NewsView/29X8D49HRB

온디바이스 AI, 메모리 반도체 새 먹거리로…LLW D램 뜬다 [Biz-플러스]

 

• LPCAMM

 삼성전자의 LPCAMM은 So-DIMM 대비 탑재 면적을 최대 60% 이상 감소시킨 제품입니다. LPCAMM은 7.5Gbps(1초당 전송되는 기가비트 단위의 데이터) 처리속도를 지원하고, So-DIMM 대비 성능은 최대 50%, 전력효율은 최대 70%까지 향상시켰습니다.

 LPCAMM은 기존 노트북에 사용되던 DDR 기반 모듈 형태의 So-DIMM 보다 성능, 저전력 측면에서 우수해 메모리 혁신을 이뤘다고 평가받습니다. 무엇보다 LPCAMM는 So-DIMM 보다 60% 가량 적은 공간을 차지하기 때문에 가벼운 노트북 설계가 가능하고, 더 큰 배터리를 위한 공간을 확보할 수 있습니다. 즉, 노트북을 더 얇게 디자인할 수 있다는 의미입니다. AI용 PC는 수 많은 데이터를 온디바이스 AI로 처리해야 하므로 기존 PC 보다 2배 이상 D램 용량이 요구됩니다. 이에 LPCAMM는 AI PC 시장에서 수요가 높아질 것으로 기대됩니다. 더 나아가 LPCAMM는 노트북을 시작으로 인공지능, 서버, 데이터 센터, 엣지 컴퓨팅 등으로 적용 분야가 점차 확대될 전망입니다.

https://zdnet.co.kr/view/?no=20240126160638

AI 노트북 시대...삼성·SK·마이크론 차세대 D램 'LPCAMM' 3파전

• LLW D램

 LLW는 정보가 들어오고 나가는 통로인 입출구(I/O)를 늘려 기존 모바일 제품인 LPDDR 대비 대역폭을 높인 특수 D램입니다. 대역폭은 전송속도와 비례하기 때문에 기기에서 실시간으로 생성되는 데이터를 처리하는 데 훨씬 유리합니다.