본문 바로가기

Bigdata Hadoop

비지도 학습 기반 빅데이터 라벨링 기술 동향 라벨링된 학습 데이터는 기계학습의 발전을 가속화하는 요인이자 때로는 저해 요인이 되기도 한다. 학습 세트 구축을 위해서 비용과 노력이 소요되기 때문이다. 학습 데이터 세트를 구축하여도 데이터의 보안성 때문에 외부로 반출하기 위해서는 대가를 지불해야 하는 경우도 많다. 이러한 문제를 해결하기 위해 최근 소규모의 라벨 데이터를 가공해서 전체 라벨을 확충하거나, 센서나 컴퓨터에서 수집되는 데이터를 프로그램 방식을 통해 전문가의 도움 없이 라벨링하는 기술이 제안되고 있다. 본 고에서는 약지도(weak supervision) 학습과 반지도(semi supervision) 학습 등 비지도 학습 방법에 기반한 데이터 라벨링 동향과 사례에 대해 살펴본다. 약지도 학습을 위한 대표적인 오픈소스인 스노클(Snorkel)을..
e-koreatech 인공지능 및 빅데이터 관련 과정 안내 e-koreatech 인공지능 및 빅데이터 관련 과정 안내 한국기술교육대학교 온라인평생교육원 e-koreatech 입니다. 디지털 대전환의 시대, 이미 현실에 가까이 와 있는 인공지능과 빅데이터에 대한 관심이 꾸준히 지속되고 있습니다! 관련하여 신규 개발된 과정 포함, 서비스 중인 인공지능 및 빅데이터 과정을 안내 드립니다. 과정 상세히 살펴보시고 많은 신청 부탁드립니다. No. 과정 명 회차 과정 요약 과정 상세정보 링크 지원기기 1 인공지능 기술 및 서비스 이해 8 인공지능에 대한 이해를 바탕으로 실 생활 속 적용 사례 학습 과정 상세정보 PC + 모바일 2 머신러닝 수학(미분학) 4 미적분 개념 학습을 통한 머신러닝의 이해 및 프로그램 설계 학습 과정 상세정보 PC + 모바일 3 머신러닝 수학(선형..
[K-ICT 빅데이터 센터] 파면 팔수록 쉽고 재미있는 딥러닝 빅데이터 센터에서 제공하는 딥러닝 강의 영상을 링크로 올려둔다. 사방으로 뻗어나오는 관심을 줄이고, 집중하는 길이 목적지에 가장 빨리 도착하는 방법이다. 기본이 되었다면 방법은 한마리 씩이 두번째고, 세번째는 끝까지다. 이건 공식이라서 외우고 몸으로 확인하는 수 밖에 없어. 파면 팔수록 쉽고 재미있는 딥러닝 - 예제코드 - 동영상 - 강의 PPT 파일 제공
빅데이터플랫폼 통합 데이터지도 서비스 개통 빅데이터플랫폼 통합 데이터지도 서비스 개통 재미있는 데이터를 대량으로 제공한다. 배달 호출데이터를 활용한 전국 배달 정보 현황, 전국 직장인 외식 소비 행태 분석, 왜 남자 암보험료가 더 높을까? 암진단비 보험 가입 연령 및 성별, 연령 및 성별로 확인하는 알코올 질환 분석 정보 등 신기한 내용이 많다. 많은 데이터가 유의미한 결과를 만든다. 심심하면 데이터나 보자. ^^ 사업 목표 빅데이터플랫폼 통합 데이터지도는 빅데이터 플랫폼 및 센터가 생산 유통한 공공‧민간 데이터를 쉽게 연계∙활용 할 수 있도록 합니다. 데이터를 친숙하게 이용하고 나아가 데이터 거래의 장을 구축하여 데이터 기반의 가치 창출 생태계 조성을 구성하며, 데이터경제에 이바지하는 것을 사업의 목표로 삼고 있습니다. 서비스 링크: 빅데이터플..
지식기반 빅데이터 및 공공오픈데이터 기술 및 정책정보 지식기반 빅데이터 및 공공오픈데이터 기술 및 정책정보 자료링크 : http://www.ndsl.kr/ndsl/search/detail/report/reportSearchResultDetail.do?cn=KOSEN000000000000423 에서 원문보기 링크로 가시면 KOSEN 운영 페이지 링크 - http://www.kosen21.org/info/kosenReport/reportView.do?articleSeq=REPORT_0000000000423 으로 연결되는데 결국은 로그인 하고 다운 받아야 됩니다. ㅠ.ㅠ 빅데이터(Big Data)의 개념과 의의 □ 빅데이터는 기존 데이터베이스 소프트웨어로는 수집, 저장, 관리, 분석하기 어려운 방대한 규모의 데이터2)로, 최근 민간은 물론 정부 및 공공부문에서도..
빅데이터 분석기술로 데이터의 숨겨진 의미를 추출해낼 수 있을까? 빅데이터 분석기술로 데이터의 숨겨진 의미를 추출해낼 수 있을까? Pentaho社에서 기업형 솔루션 담당임원인 Wael Elrifai씨는 최근 최고정보관리자들이 데이터셋을 탐험하게 만들어줄 수 있을 것으로 보이는 시각화 툴들에 의해 속지 말아야 할 것이라는 점을 강조한 것으로 나타나, 빅데이터 시대 데이터 분석기법에 대해 상세히 조사해보고자 한다. 지난 12월 9일 런던에서 열린 IT리더 정상회담에 참석한 Elrifai씨는 최고정보관리자들이 시각화 툴들의 가정에 흔들려서는 안된다는 의견을 내놓았는데, 지난 10년 대비 데이터의 양이 대폭 증가하여 이들로부터 가치 있는 인사이트를 뽑아내기가 어려워졌다는 의견을 피력한 것으로 알려졌다.[출처: http://www.computing.co.uk/ctg/news/2..
빅 데이터분석을 위한 파이썬 관련 즐겨찾기 원본 출처는 옆의 링크를 참고하세요. http://uincity.tistory.com/247 데이터분석을 위한 파이썬 관련 즐겨찾기아나콘다 설치 : https://www.continuum.io/downloads데이터관련 파이썬 교육 실습 노트북 깃허브 : https://github.com/lseongjoo/bigpy/파이썬 기초 실습 노트북 깃허브 : https://github.com/lseongjoo/pydata-bookPyData.org : http://pydata.org/pandas 패키지 공식 사이트 : http://pandas.pydata.org/pandas Documentation : http://pandas.pydata.org/pandas-docs/stable/SciPy Documentati..
실시간 빅데이터와 머신 데이터 실시간 빅데이터와 머신 데이터 실시간 빅데이터와 머신 데이터 from 김 한도 향후 빅데이터의 주된 소스는 머신데이터가 될 것이다. 머신데이터의 속성은 스트리밍, 실시간이라는 특징을 가진다. 향후 머신데이터는 실시간 빅데이터 솔루션을 통해 우리의 생활로 서서히 스며들 것이다. IoT와 같은 새로운 트렌드에 빅데이터가 어우러지기 위해서도 머신데이터 기반의 실시간 빅데이터 솔루션이 필요하며 이러한 연유로 더욱 각광을 받게 될 것이다. 상용 실시간 빅데이터 솔루션 중 최고의 성능을 자랑하는 로그프레소는 향후 실시간 빅데이터와 머신 데이터에 가장 적합한 솔루션이다. 이 슬라이드는 머신데이터와 로그프레소의 기술을 설명하고 있다.Published in: Data & AnalyticsLicense: CC Attrib..

티스토리툴바