기린

아파치 하둡이란 무엇인가요?

아파치 하둡이란 무엇인가요?IBM에 따르면 아파치 하둡은 당시 야후에서 근무하던 더글러스 커팅이 개발한 오픈 소스 소프트웨어 프레임워크로, 간단한 프로그래밍 모델을 사용하여 대규모 데이터 집합을 매우 안정적으로 분산 처리할 수 있는 기능을 제공합니다.     아파치 하둡 이전  소셜 미디어 플랫폼, 웹사이트, 사물인터넷 기기 등은 매일 대량의 데이터를 생산하고 있으며, 이러한 방대한 양의 비정형 데이터를 저장, 변환 또는 분석 작업을 수행하기 위해 처리하는 것이 어렵습니다. 데이터 저장 문제는 웹페이지를 다운로드하여 순위를 매기는 검색 엔진의 알고리즘을 개발할 때 나타납니다. 2002년 구글이 아파치 너치를 개발할 때 개발자들은 빅 데이터를 처리하는 데 어려움을 겪고 있었습니다.  2002년부터 2006..

우분투에 빅데이터 모듈을 설치하는 순서

우분투에 빅데이터 모듈을 설치하는 순서 내용 정리 출처 문서 https://stackoverflow.com/questions/72582293/order-of-installing-big-data-modules-on-ubuntu이것으로 시작하세요 https://www.digitalocean.com/community/tutorials/how-to-install-hadoop-in-stand-alone-mode-on-ubuntu-20-04 또는 https://phoenixnap.com/kb/install-hadoop-ubuntu PIG, Flume은 더 이상 관련이 없습니다. Hadoop 클러스터를 실행하는 경우 Zookeeper, 그 다음에는 Spark, 그 다음에는 Kafka. Mysql. 그러나 이 줄의 주..

라즈베리파이 클러스터를 구축하는 방법

물리적 클러스터를 구축하는 이유는 무엇인가요? 주의: 라즈베리파이 OS는 Bookworm 으로 업데이트되었습니다. 오늘날에는 Amazon이나 Digital Ocean 또는 다른 클라우드 제공업체에 가서 몇 초 만에 가상 머신을 가동할 수 있습니다. 하지만 클라우드는 다른 사람의 컴퓨터일 뿐입니다. 라즈베리파이 클러스터는 모든 종류의 클러스터 컴퓨팅 관련 기술에 사용할 수 있는 저비용의 다목적 시스템이며, 클러스터를 구성하는 머신을 완전히 제어할 수 있습니다. 처음부터 무언가를 직접 만들어 보면 다른 곳에서는 배울 수 없는 교훈을 얻을 수 있습니다. 참고 문서는 이 링크를 따라가세요.   우리가 구축할 것   단일 관리형 스위치에 연결된 8개의 노드 클러스터를 구성하겠습니다. 노드 중 하나는 소위 "헤드"..

라즈베리 파이 4 우분투 클러스터에 Hadoop HDFS 데이터 레이크 설치하기

소개몇 주 전에 저는 아파치 스파크에 기반한 실험적인 가정용 '빅 데이터' 시스템을 만들기로 했습니다. 이를 위한 첫 번째 단계는 아파치 스파크가 모든 것을 읽고 쓸 수 있는 분산 파일 시스템을 만드는 것입니다. 본 자료의 원문 기사는 이 링크를 따라가세요.HDFS는 오류 감지 및 복구, 대용량 데이터 세트, 데이터 하드웨어 등과 같은 기능을 제공하는 Hadoop 분산 파일 시스템으로, Hadoop 에코시스템의 일부이지만 Apache Spark의 데이터 분산 파일 시스템으로 훌륭하게 작동합니다. HDFS 파일시스템은 제 10개의 라즈베리파이 4 클러스터 중 8개의 RPI에 설치됩니다. 최소한의 스토리지 크기와 적절한 속도를 위해 SSD 8개 + USB3 어댑터 8개를 추가로 구입했습니다.    HDFS ..

삶을 위한 50가지 규칙 - 데일리 스토익

삶을 위한 50가지 규칙 - 데일리 스토익 삶을 위한 50가지 규칙 - Daily Stoic# 당신이 통제할 수 있는 것에 집중하라 - Epictitus일어나는 일에 어떻게 반응하는지는 당신이 통제할 수 있지만, 일어나는 일은 당신이 통제할 수 없다 - Epictitus스스로에게 물어보세요: 이것이 필수적인가? - 마커스 아릴리우스당신의 죽음에 대해 명상하십시오 - Marcus Areilius돈과 소유물보다 시간을 더 소중히 여기세요 - 세네쿠스당신은 습관의 산물이다 - 에픽티투스당신은 의견을 갖지 않을 힘이 있다 - 그것이 존재한다는 것을 몰랐다면 의견을 가질 필요가 없다 - 에픽티투스아침을 소유하라 - 좋은 하루 좋은 아침, 좋은 삶 좋은 하루를 보내라 - 마르쿠스 아우렐리우스하루를 검토하십시오 - ..

비즈니스 글쓰기를 '보통'에서 '훌륭함'으로 끌어올리는 방법

비즈니스 글쓰기를 '보통'에서 '훌륭함'으로 끌어올리는 방법by Elizabeth Danziger 요약. 이메일, 공식 문서, 소셜 게시물 또는 다른 형태의 서면 커뮤니케이션을 다루는 경우 간단한 세 가지 질문 프레임워크를 통해 글쓰기 프로세스를 빠르게 시작할 수 있습니다. 목적: 목적은 달성하고자 하는 결과, 즉 의도로 생각하세요. 간단한 이메일부터 방대한 양의 보고서에 이르기까지 비즈니스 문서의 가장 일반적인 목적은 정보 전달, 요청, 설득입니다. 목적을 미리 파악하면 전체 문서의 맥락이 만들어집니다. 사람: 독자가 메시지를 이해할 때까지는 문서가 어떤 결과물도 만들어지지 않습니다. 그들은 동의하거나 동의하지 않을 수도 있고, 좋아하거나 싫어할 수도 있지만, 그들이 이해하지 못하면 여러분의 노력은 헛..