빅 데이터 처리는 데이터의 크기나 복잡도가 커서 기존의 전통적인 데이터 처리 기법으로는 다루기 힘든 데이터 처리를 의미한다. 싱글보드 컴퓨터를 포함하는 스마트 기기의 보급은 데이터를 처리하는 방법에 많은 영향을 미치고 있으며, 이러한 온보드 싱글 컴퓨터를 활용하여 데이터를 처리하는 기법에 대한 연구가 진행되고 있다.
본 교육 과정은 빅 데이터 처리에 필요한 분산처리 시스템을 고성능 데스크톱이나 웍스테이션 서버 환경에서 구축하기 어렵기 때문에 라즈베리파이를 활용하여 하둡 분산처리 환경을 구축하는 방법에 대한 교육과정이다.
빅 데이터에 대한 관심이 증가했음에도 관련된 교육을 받을 수 있는 기회는 부족한 편이다. 또한 분산처리 환경을 데스크톱 컴퓨터로 구축하기에는 많은 비용이 들기 때문에 라즈베리파이를 활용하여 저비용의 효율적인 빅 데이터 처리 학습 환경을 꾸미는 것은 꼭 필요한 일이다.
하둡(Hadoop)이란 대용량 데이터를 분산 처리 할 수 있도록 해주는 아파치 톱 레벨의 오픈 소스 프로젝트다. 하둡은 분산파일시스템(HDFS)과 분산처리시스템 (MapReduce)으로 구성되어 있다. 분산파일시스템이란 블록구조의 파일 시스템이며, 여러 개의 블록은 여러 서버에 나눠서 저장되기 때문에 로컬 서버의 하드 디스크 보다 큰 규모의 데이터를 저장할 수 있다.
하둡의 주요 환경 설정을 변경하면 노드로 일반 스마트 기기의 활용 도 가능하기에 사용되지 않는 유휴자원(대기 중인 스마 트 기기)들을 사용 가능하기에 스케일링(scaling)이 용이한 장점도 있다.
검색어: 빅 데이터, 스마트기기, 하둡, 라즈베리파이, 컴퓨팅 그리드
라즈베리파이 기반 빅 데이터 교육과정은 크게 두 부분으로 구성되며 1부는 라즈베리파이와 리눅스 운영체제에 대한 기본과정을 배우고, 2부에서는 빅 데이터 교육과정으로 하둡 시스템, 데이터 분석, 데이터 시각화에 대해 학습한다.
라즈베리파이 4 기반 BigData 개발 교육과정
1장 라즈베리파이4 소개 리눅스(Linux) 소개
2장 리눅스 linux 소개와 기본 명령어 실습
3장 리눅스 구조와 파일 시스템 실습
4장 파일 관리 및 편집기 실습
5장 사용자 관리 및 환경 설정 실습
6장 쉘 스크립트(Shell) Script 기초 실습
7장 프로세스 관리 실습
8장 네트워크 및 유틸리티
9장 시스템 환경 설정 실습 - 시스템 환경설정 파일 실습
10장 응용패키지 설치 실습 - samba, nfs, tftp 등
11장 웹서버 구축실습 - 아파치(Apache web server) 구축실습
12장 FTP서버 구축실습
13장 삼바(smabe)서버 구축실습
14장 데이터베이스 서버구축실습
15장 방화벽 설정 실습
16장 로그(Log) 분석 실습
빅데이터 교육과정
1부 빅데이터
1장 빅데이터 소개
2장 빅데이터 실습환경 구축
3장 빅데이터 활용
2부 하둡(Hadpp) 시스템
4장 빅데이터 분산처리시스템 소개
5장 빅데이터 분산처리시스템 실습
6장 빅데이터 분산처리 요소기술 실습
7장 빅데이터 플랫폼 구축 실습
3부 데이터베이스 & NoSQL
8장 NoSQL 데이터베이스 설치
9장 NoSQL 활용 기초 실습
10장 NoSQL을 이용한 빅데이터 실습
11장 하이브(Hive) 실습
12장 스파크(Spark) 실습
4부 데이터 분석과 시각화
13장 데이터 분석기법 소개
14장 데이터 분석 실습
'개발자 > 라즈베리파이4' 카테고리의 다른 글
| 라즈베리파이 화면캡쳐 방법 (0) | 2023.01.19 |
|---|---|
| Raspberry Pi 화면 캡쳐 방법 (0) | 2023.01.17 |
| 라즈베리파이 카메라 모듈 V3 요약 (0) | 2023.01.16 |
| giblib error: Can't open X display. 에러 해결 방법 (0) | 2023.01.13 |
| 라즈베리파이3 B+ libcamera 설치 (0) | 2023.01.11 |
| 라즈베리파이 카메라 모듈 v3 특징 (0) | 2023.01.10 |
| 라즈베리파이3 B+ libcamera 설치 문제 해결 (0) | 2023.01.09 |
| 라즈베리파이4 Window 삼바 연결 안될 때 (0) | 2023.01.05 |