본문 바로가기

2024/07

스파크 애플리케이션 기능 테스트를 위한 샘플 데이터 생성 방법 스파크 애플리케이션 기능 테스트를 위한 샘플 데이터 생성 방법  Spark 애플리케이션을 개발하는 동안 애플리케이션의 기능을 테스트하기 위해 샘플 데이터를 생성해야 하는 경우가 많습니다. 이 문서에서는 Spark 작업의 기능 및/또는 부하 테스트를 위해 spark-shell에서 샘플 데이터를 생성하는 간단하고 빠른 방법을 보여줍니다.  랜덤 함수 먼저 랜덤 데이터를 생성하는 함수가 필요합니다. 데이터 유형에 대한 요구 사항에 따라 랜덤 정수나 문자 등을 생성하는 여러 함수를 만들고 이를 조합하여 사용할 수 있습니다. 단순화를 위해 영숫자 문자열을 생성하는 Scala의 기본 제공 유틸리티를 사용하여 하나의 함수만 만들겠습니다. 사용자 지정 랜덤 문자열 생성기 함수를 작성하기로 결정할 수도 있습니다. 여기에..
Single Row Female PCB Board Pin Header Connector 1Set 40P 2.54mm Single Row Female PCB Board Pin Header Connector 6 Color Strip Pinheader 10PCS 2.54mm Single Row Female PCB Board Pin Header Connector Strip Pinheader 1x40 pin Colourful socket
빅 데이터 - 클러스터 환경: Raspberry Pi-4, Hadoop 및 Spark 기반 소개: 이 글에는 라즈베리 파이 - 4를 사용하여 저비용 고성능 빅데이터 클러스터를 만드는 자세한 지침이 포함되어 있습니다. 요즘 업계에서 유행하는 단어는 "빅데이터"이며, EPDT 프로그램에서 Saurabh 교수님의 지식 공유 세션에서 영감을 얻어 이 프로젝트를 시작하기로 결심했습니다. 이 프로젝트는 큰 시간이나 비용을 투자하지 않고도 하둡, 스파크, 클러스터 컴퓨팅에 익숙해지는 것을 목표로 합니다. 이 프로젝트는 라즈베리 파이 4를 사용하여 네트워크 스위치를 통해 서로 통신하는 3개의 노드로 구성된 네트워크 클러스터를 구축하고, HDFS를 설치하고, 전체 클러스터에서 YARN을 통해 분산 처리 작업으로 스파크가 실행되도록 할 것입니다. 이 글의 출처 문서를 따라가려면 이 링크를 클릭하세요. 이 글에서..
키아누 리브스를 아세요? 돈으로 살 수 없는 교훈입니다. 매트릭스 영화배우 키아누 리브스입니다. 그는 3살 때 아버지에게 버려져 3명의 다른 양아버지 밑에서 자랐습니다. 그는 난독증을 가지고 있습니다. 하키 선수가 되겠다는 그의 꿈은 심각한 사고로 산산조각이 났습니다. 그의 딸은 태어날 때 사망했습니다. 그의 아내는 교통사고로 사망했습니다. 그의 가장 친한 친구 리버 피닉스는 약물 과다 복용으로 사망했습니다. 그의 여동생은 백혈병과 싸웠습니다. 보디 가드도 없고 고급 주택도 없습니다. 키아누는 평범한 아파트에 살며 동네를 돌아다니는 것을 좋아하고 뉴욕에서 지하철을 타는 모습을 자주 볼 수 있습니다. 영화 '더 레이크 하우스'를 촬영하던 중 의상 보조원 두 명의 대화를 우연히 듣게 되었는데, 한 명이 2만 달러를 내지 않으면 집을 잃게 될 것이라는 말을 듣고, ..
나이테에 지구 자기장 역전 기록 담긴 고대 나무 나이테에 지구 자기장 역전 기록 담긴 고대 나무 https://blog.thespaceacademy.org/2023/04/ancient-tree-contains-record-of-earths.html?m=1 건설 노동자들이 우연히 40,000년 된 나무를 파헤쳐 과학자들에게 지구의 자기 극이 뒤집힐 때 어떤 일이 일어날지에 대한 통찰력을 제공할 수 있는 나무를 발견했습니다. 20만 년에서 30만 년마다 지구의 북극과 남극이 서로 바뀌는데, 이는 지구가 태양 복사에 개방되고 주요 멸종 사건과 일치하는 사건입니다. 지구는 78만 년 전에 마지막으로 극이 뒤바뀐 적이 있었기 때문에 이러한 모험을 할 시기가 한참 지났습니다. 올해 초 NASA는 자성 '북극'이 러시아를 향해 연간 30마일씩 이동하고 있으며, 이..
샤덴프로이데: 왜 우리는 다른 사람이 느끼는 고통에서 기쁨을 찾을까? 샤덴프로이데: 왜 우리는 다른 사람이 느끼는 고통에서 기쁨을 찾을까? Schadenfreude: why do we find joy in the pain felt by others? 샤덴프로이데의 간략한 역사 - 다른 사람의 불행을 즐기는 것 - 고대 중국에서 찰리 채플린까지 우리 대부분은 슬픈 사람을 보면 슬퍼합니다. 이를 공감이라고 하거나, 약간 변형해서 동정이라고 합니다. 하지만 대중 앞에서 - 또는 자신에게도 - 거의 인정하지 않는, 누군가의 실망, 괴로움, 심지어 고통에 대해 기쁠 때는 어떨까요? 여기서 저는 고통을 주는 것(사디즘)이나 다른 사람의 괴로움에 무관심한 것(사이코패스)을 생각하는 것이 아니라, 다른 사람의 문제를 보거나 알게 되었을 때 느끼는, 전형적으로 사적이지만 놀라울 정도로 널..
어려운 대화가 생각보다 잘 풀리는 이유 어려운 대화가 생각보다 잘 풀리는 이유 역효과가 날까 봐 민감한 문제를 제기하는 것을 미뤄왔다면 새로운 연구를 통해 자신감을 얻을 수 있습니다. 우리 대부분은 누군가에게 의미 있는 방식으로 문제를 제기하고 싶지만 그 주제가 너무 금기시되는 경우가 한 가지 이상은 있을 것입니다. 상대방의 약속을 어기는 습관, 상대방의 부정적인 발언이 마음에 걸렸던 일, 또는 서로 의견이 맞지 않는 뉴스 사건 등이 그 예가 될 수 있습니다. 이런 이야기를 꺼내는 것이 너무 긴장을 유발하거나 분노를 불러일으킬 것 같아서 고민할 가치가 없다고 생각할 수도 있습니다.  하지만 대화가 어떻게 진행될지에 대해 최악의 상황을 가정하는 것은 위험합니다. 피하고 싶었던 대화가 관계의 문제를 해결하거나 의견 차이가 있는 부분을 명확히 하는..
휴식을 통해 업무 성과를 높이는 방법, Alex Soojung-Kim Pang 휴식을 통해 업무 성과를 높이는 방법 How rest can make you better at your job - Alex Soojung-Kim Pang 세상은 우리에게 긴 근무 시간은 피할 수 없고 피할 수 없으며, 과로는 명예의 상징이고 휴식은 약점이라고 가르칩니다. 매우 성공적인 사람들은 일어나서 열심히 일하고, 항상 일하고 결코 멈추지 않습니다. 깊은 곳에서 우리는 이것이 건강에 해롭고 지속 불가능하다는 것을 알고 있습니다. 하지만 대안이 있을까요? 오늘날의 24시간 연중무휴 세계에서 휴식 시간은 매우 과소평가되지만 항상 이런 식은 아니었습니다. 사실상 모든 고대 사회는 일과 휴식의 균형을 이루는 것으로 좋은 삶을 정의했으며, 신경 과학과 심리학의 최근 연구에 따르면 휴식은 우리의 뇌를 강화하고,..

티스토리툴바