Raspberry Pi에서 LLM 실행

 

Ollama는 인터넷이 아닌 Raspberry Pi 자체에서 대규모 언어 모델(LLM)을 실행하도록 설계된 오픈 소스 도구입니다.

 

다음 단계를 따라 Ollama를 사용하여 Raspberry Pi를 강력한 AI 비서로 탈바꿈시키세요. Ollama와 WebUI 인터페이스를 설치하고, 적합한 AI 모델을 가져온 후, Ollama와 상호작용하여 질문에 답하거나, 기사 작성을 돕거나, 지원을 제공하는 등 다양한 작업을 수행하게 됩니다.

 

이 설정을 사용하면 Raspberry Pi에서 직접 고급 생성 AI 기능을 탐색하고 사용할 수 있습니다.

 

필요한 것:

 

• 최소 32GB 저장 용량 의 마이크로 SD 카드가 있는 Raspberry Pi 4 또는 5
• Raspberry Pi를 위한 인터넷 연결

 

Raspberry Pi에 Ollama 설치

 

Raspberry Pi에서 터미널 창을 엽니다.

 

시작하려면 터미널에 접속해야 합니다. 터미널 아이콘을 클릭하거나 버튼을 눌러 접속할 수 있습니다 Ctrl + Alt + T.

 

 

올라마를 설치하세요.

 

다음 셸 스크립트를 사용하여 Ollama와 WebUI 인터페이스를 설치하세요.

 

curl -fsSL https://ollama.com/install.sh | sh

 

설치 과정에는 시간이 다소 걸릴 수 있습니다. 터미널 프롬프트가 다시 나타나면 설치가 완료된 것입니다.

 

Ollama에 대한 모델을 끌어와서 실행하세요

 

간단히 말해서, "모델을 끌어오는 것"은 Ollama가 작업을 수행하는 데 사용할 특정 AI 모델을 다운로드하는 것을 의미합니다.

 

ollama.com/library 에서 다양한 모델을 사용할 수 있습니다 . gemma:2b, phi, 또는 로 시작하는 것이 좋습니다 tinyllama. 매개변수가 50억 개를 초과하는 모델은 표준 Raspberry Pi에 너무 많은 부하를 줄 수 있으므로 주의하세요.

 

다음 명령을 실행하고, [model name here]을 사용하려는 모델 이름으로 바꾸세요.

 

ollama run [model name here]

 

진행률 표시줄이 채워지고 모델을 묻도록 요청받게 됩니다.

 

 

 

 

질문을 하거나, 시나 이야기를 쓰도록 요청하거나, 학습 보조 도구로 활용하는 등 모델과 상호 작용해 보세요.

 

>>> write a short funny poem about skibidi

Oh Skibidi, you're a sight to behold,
A sail that's made of clouds, so light and
bold.
Your laughter echoes through the air,
As you dance across the starry fair.
With a grin so wide, you fill the sky,
A twinkle that makes everyone sigh.
Skibidi, a joy we cannot deny,
A skibidi, a playful sigh.

 

Ctrl + D완료되면 LLM 프롬프트 프로세스를 종료하려면 누르세요 .

 

WebUI 사용

 

WebUI는 다른 챗봇 인터페이스와 동일하게 작동합니다. 프롬프트를 입력하면 모델이 생성하는 응답을 확인할 수 있습니다.

 

 

 

 

Docker와 WebUI 설치

 

터미널에 다음 명령을 입력하여 Docker를 설치하세요.

 

sudo apt install docker.io

 

Docker가 설치될 때까지 기다리세요. 터미널 프롬프트가 다시 나타나면 설치가 완료된 것입니다.

 

다음 명령을 터미널에 복사하여 붙여넣어 WebUI를 설치하세요.

 

sudo docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

 

sudo docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

 

 

WebUI가 설치될 때까지 기다리세요. 터미널 프롬프트가 다시 나타나면 설치가 완료된 것입니다.

 

https://localhost:3000/웹 브라우저에서 를 탐색하여 WebUI 인터페이스에 접속하세요.

 

 

 

 

WebUI를 통한 이미지 인식

 

Ollama를 사용하려면 사용할 모델을 다운로드해야 합니다. 이전에는 텍스트 전용 모델을 사용했지만 gemma:2b, 이번 단계에서는 이미지 분석 모델인 을 사용합니다 LLaVa.

 

LLaVA 모델을 다운로드하려면 WebUI에 접속하세요 https://localhost:3000.

 

Ollama WebUI에 가입하세요.

 

WebUI를 처음 사용할 때 이름, 이메일, 비밀번호를 입력하라는 메시지가 표시됩니다. 임의로 생성한 이메일 주소를 사용할 수 있으며, Raspberry Pi 로컬에서만 사용할 수 있습니다.

 

 

 

 

WebUI 상단의 드롭다운 메뉴에서 사용할 모델을 선택하세요. 같은 방식으로 새 모델을 검색하고 추가할 수도 있습니다. llava:latest검색창에 입력하고 을 선택하세요 Pull llava:latest from Ollama.com. 모델 다운로드가 시작됩니다.

 

 

 

 

모델이 다운로드되어 확인될 때까지 기다려 주세요. 시간이 다소 걸릴 수 있습니다.

 

LLaVa를 사용하여 이미지 분석

 

LLaVA 모델을 다운로드한 후, 사용 가능한 옵션에서 모델을 선택하여 새로운 채팅 세션을 시작하세요.

 

 

 

"이미지 업로드" 버튼을 사용하여 이미지를 업로드하세요.

 

 

 

 

업로드 후, 채팅창에 이미지에 대한 질문이나 메시지를 입력하세요. 를 누르세요 Enter.

 

 

 

LLaVA 모델에서 생성된 설명이나 분석을 검토하세요. 추가 질문을 하거나 이미지를 업로드할 수 있습니다.

 

이 이미지를 사용하여:

 

 

 

이미지는 눈길을 끄는 큰 눈과 주의 깊은 표정을 가진 집고양이의 클로즈업을 보여줍니다. 고양이는 주로 크림색과 흰색의 푹신한 털을 가지고 있으며 얼굴, 귀, 발에는 어두운 무늬가 있습니다. 고양이는 앞발을 보는 사람 쪽으로 약간 뻗은 채 앉아 있거나 누워 있는 것처럼 보입니다. 고양이의 꼬리는 몸에 붙어 있습니다. 고양이 뒤에는 라벤더 꽃다발이 있어 이미지에 색상과 질감을 더합니다. 사진 왼쪽에는 파란색 벽이나 배경을 암시하는 보라색 색조가 있습니다. 전경에는 테이블이나 카운터로 추정되는 나무 표면이 보이고 오른쪽 상단 모서리에 용기에 담긴 허브가 있습니다. 이미지의 전반적인 스타일은 고양이의 특징을 강조하는 세부 묘사와 얕은 피사계 심도에 초점을 맞춘 사실적입니다.

 

LLaVa가 다음과 같은 설명을 제공했습니다.

 

The image shows a close-up of a domestic shorthair cat with striking large eyes and an attentive expression. The cat has a fluffy fur coat, primarily in shades of cream and white, with darker markings on its face, ears, and paws. It appears to be sitting or laying down, with its front paws slightly extended towards the viewer. The cat's tail is coiled up against its body. Behind the cat is a bouquet of lavender flowers, adding a touch of color and texture to the image. On the left side of the photo, there is a purple hue, suggesting a blue wall or background. In the foreground, a wooden surface can be seen, possibly a table or a counter, with some herbs placed in a container on the top right corner. The overall style of the image is realistic with a focus on detail and a shallow depth of field that highlights the cat's features.

 

프로젝트가 완료되었습니다!