Raspberry Pi 5에서 구현 가능한 생성형 AI

약 1년 전, 저희는 Hailo-8(26 TOPS 버전) 및 Hailo-8L(13 TOPS 버전) 신경망 가속기를 탑재한 Raspberry Pi 5용 애드온 보드인 Raspberry Pi AI HAT+를 출시했습니다 . 모든 AI 처리가 기기 자체에서 이루어지기 때문에 AI HAT+는 사용자에게 진정한 엣지 AI 기능을 제공하여 데이터 개인 정보 보호 및 보안을 보장하는 동시에 값비싼 클라우드 기반 AI 서비스 구독의 필요성을 없애줍니다.

 

AI HAT+는 객체 감지, 자세 추정, 장면 분할 등 비전 기반 신경망 모델에 최고 수준의 가속 성능을 제공하지만(작동 모습은 여기에서 확인하세요), 점점 인기를 얻고 있는 생성형 AI(GenAI) 모델을 실행할 수 있는 기능은 부족합니다. 오늘, 저희는 생성형 AI 분야의 공백을 메우기 위해 설계된 첫 번째 AI 제품인 Raspberry Pi AI HAT+ 2를 발표하게 되어 매우 기쁩니다.

 

 

 

라즈베리 파이 5에서 생성형 AI를 활용해 보세요

 

새로운 Hailo-10H 신경망 가속기를 탑재한 Raspberry Pi AI HAT+ 2는 40 TOPS(INT4)의 추론 성능을 제공하여 Raspberry Pi 5에서 생성형 AI 워크로드를 원활하게 실행할 수 있도록 합니다. 모든 AI 처리를 네트워크 연결 없이 로컬에서 수행하는 AI HAT+ 2는 안정적이고 지연 시간이 짧은 방식으로 작동하며, 기존 AI HAT+에서 도입했던 클라우드 없는 AI 컴퓨팅의 개인 정보 보호, 보안 및 비용 효율성을 유지합니다.

 

이전 모델과 달리 AI HAT+ 2는 8GB의 전용 온보드 RAM을 탑재하여 기존보다 훨씬 더 큰 모델을 효율적으로 처리할 수 있습니다. 이러한 특징과 업데이트된 하드웨어 아키텍처 덕분에 Hailo-10H 칩은 대규모 언어 모델(LLM), 비전-언어 모델(VLM) 및 기타 생성형 AI 애플리케이션의 속도를 향상시킬 수 있습니다.

 

Yolo 기반 객체 인식, 자세 추정, 장면 분할과 같은 비전 기반 모델의 경우, AI HAT+ 2의 컴퓨터 비전 성능은 내장 RAM 덕분에 26 TOPS급 이전 모델과 거의 동일합니다. 또한 기존 AI HAT+와 마찬가지로 당사의 카메라 소프트웨어 스택(libcamera, rpicam-apps, Picamera2)과의 긴밀한 통합을 제공합니다. 이미 AI HAT+ 소프트웨어를 사용하고 있는 사용자는 AI HAT+ 2로의 전환이 대부분 매끄럽고 자연스럽게 이루어집니다.

 

 

 

몇 가지 예시 응용 프로그램

 

다음 LLM은 출시와 동시에 설치할 수 있습니다.

 

모델	매개변수/크기
DeepSeek-R1-Distill	15억
라마3.2	10억
Qwen2.5-코더	15억
Qwen2.5-사용 설명서	15억
퀘인2	15억

 

 

더욱 다양하고 (더 큰) 모델들이 업데이트 준비를 마쳤으며, 출시 직후 설치 가능할 예정입니다.

 

이제 이러한 모델들이 실제로 어떻게 작동하는지 간단히 살펴보겠습니다. 다음 예제들은 Hailo 개발자 존 에서 제공되는 hailo-ollama LLM 백엔드 와 브라우저를 통해 친숙한 채팅 인터페이스를 제공하는 Open WebUI 프런트엔드를 사용합니다. 이 모든 예제는 Raspberry Pi 5에 연결된 Raspberry Pi AI HAT+ 2에서 완전히 로컬로 실행됩니다.

 

첫 번째 예시에서는 Qwen2 모델을 사용하여 몇 가지 간단한 질문에 답합니다. 

 

다음 예제에서는 Qwen2.5-Coder 모델을 사용하여 코딩 작업을 수행합니다.

 

이 예제는 Qwen2를 사용하여 간단한 프랑스어-영어 번역을 수행합니다.

 

마지막 예시는 카메라 스트림에서 가져온 장면을 묘사하는 VLM을 보여줍니다.

 

AI 모델을 미세 조정하세요

 

생성형 AI 모델의 가장 대표적인 예로는 ChatGPT와 Claude 같은 LLM(Learning Logging Model), Stable Diffusion과 DALL-E 같은 텍스트-이미지/비디오 변환 모델, 그리고 최근에는 비전 모델과 LLM의 기능을 결합한 VLM(Visual Logging Model)이 있습니다. 위 예시들은 현재 사용 가능한 AI 모델의 역량을 보여주지만, 그 한계점도 염두에 두어야 합니다. OpenAI, Meta, Anthropic 등의 클라우드 기반 LLM은 5천억에서 2조 개의 파라미터를 처리할 수 있으며, Raspberry Pi AI HAT+ 2와 같은 기기에서 실행되는 엣지 기반 LLM은 내장 RAM 용량에 맞춰 설계되어 일반적으로 10억에서 70억 개의 파라미터를 처리합니다. 이처럼 규모가 작은 LLM은 대형 모델이 보유한 방대한 지식 집합을 활용하도록 설계된 것이 아니라, 제한된 데이터셋 내에서 작동하도록 설계되었습니다.

 

이러한 한계는 특정 사용 사례에 맞게 AI 모델을 미세 조정함으로써 극복할 수 있습니다. 오리지널 Raspberry Pi AI HAT+에서는 Yolo와 같은 시각 모델을 HAT의 용도에 적합한 이미지 데이터셋을 사용하여 재학습시킬 수 있습니다. Raspberry Pi AI HAT+ 2에서도 마찬가지이며, Hailo Dataflow Compiler를 사용하여 이 작업을 수행할 수 있습니다 .

 

마찬가지로 AI HAT+ 2는 LoRA(Low-Rank Adaptation) 기반 언어 모델 미세 조정을 지원하여 기본 모델 매개변수의 대부분을 고정한 상태로 사전 학습된 LLM을 효율적으로 작업별로 맞춤 설정할 수 있습니다. 사용자는 Hailo Dataflow Compiler를 사용하여 특정 작업에 맞는 어댑터를 컴파일하고 Raspberry Pi AI HAT+ 2에서 수정된 모델을 실행할 수 있습니다.

 

지금 바로 구매 가능합니다

 

Raspberry Pi AI HAT+ 2는 현재 130달러에 판매 중입니다. 설정에 도움이 필요하시면 AI HAT 가이드를 참조하세요 .

 

Hailo의 GitHub 저장소는 VLM, 음성 비서, 음성 인식과 같은 비전 및 GenAI 기반 애플리케이션을 위한 다양한 예제, 데모 및 프레임워크를 제공합니다. 또한 Hailo 개발자 영역 에서 Dataflow 컴파일러와 hailo-ollama 서버에 대한 문서, 튜토리얼 및 다운로드를 찾을 수 있습니다 .

 

 

 

 

원문은 위 예제 링크를 참고하세요.