Arduino-UnoQ-최적화된 Llama-CLI

이 저장소는 Arduino Uno Q (Qualcomm QRB2210 + STM32U585) 용 고성능 LLM 추론 엔진과 "듀얼 브레인" 통합 기능을 제공합니다 . 

 

🚀 성능 (SmolLM2-135M)

Adreno 702 GPU 용 NVIDIA DGX Spark (Grace Blackwell) 에 최적화되었습니다 .

• 신속 처리 속도: 초당 약 60건
• 토큰 생성량: 초당 약 30개

🧠 듀얼 브레인 아키텍처

이 구현은 Uno Q의 고유한 하이브리드 설계를 활용합니다.

1. MCU(STM32): 실시간 센서 데이터 및 트리거를 처리합니다.
2. MPU(퀄컴): 최적화된 방식을 통해 복잡한 AI 추론 작업을 수행합니다 llama-cli.

📂 저장소 구조

• /mcu : STM32U585용 아두이노 스케치.
• /mpu : 최적화된 llama-cli바이너리 및 Python 오케스트레이터.
• /models : 양자화된 .gguf가중치를 위한 디렉토리입니다.

📥 모델 받기

최적화된 가중치 파일은 Hugging Face에서 다운로드할 수 있습니다: 👉 SmolLM2-135M-Instruct-ArduinoUnoQ-GGUF 다운로드

🛠️ 빠른 시작

1. 스케치를 /mcuUno Q에 플래시하세요.
2. /mpu해당 폴더를 보드의 Linux 영역으로 옮기세요 .
3. .gguf모델을 다음 위치에 다운로드하세요 /mpu/models.
4. 오케스트레이터를 실행하세요: bash python3 mpu/bridge_orchestrator.py  또는 간단히 실행하세요 ./llama-cli -m ~/models/unoq_optimized.gguf