반응형

개발자/인공지능과 인간 78

언어 모델용 합성 데이터에 대한 모범 사례 및 교훈

언어 모델용 합성 데이터에 대한 모범 사례 및 교훈 Best Practices and Lessons Learned on Synthetic Data for Language Models 논문 출처: https://arxiv.org/html/2404.07503v1 요약 AI 모델의 성공 여부는 크고 다양한 고품질 데이터 세트의 가용성에 달려 있는데, 데이터 부족, 개인정보 보호 문제, 높은 비용으로 인해 이를 확보하기가 어려울 수 있습니다. 합성 데이터는 실제 패턴을 모방한 인공 데이터를 생성함으로써 유망한 솔루션으로 떠오르고 있습니다. 이 백서에서는 합성 데이터 연구에 대한 개요를 제공하고, 합성 데이터의 응용, 과제, 향후 방향에 대해 논의합니다. 또한 선행 기술의 경험적 증거를 제시하여 그 효과를 입증하..

데이터 과학 교육은 대규모 언어 모델로 무엇을 해야 할까요?

논문 소개: 데이터 과학 교육은 대규모 언어 모델로 무엇을 해야 할까요? What Should Data Science Education Do with Large Language Models? LLM이 이제 데이터 정리, 모델 개발, 해석, 보고서 작성 등 데이터 분석 파이프라인의 거의 모든 일을 다 할 수 있게 되었기 때문에, 학생들은 AI가 수행하는 분석의 평가 및 관리로 초점을 옮겨야 한다. 전략적 계획, 자원 조정 및 전체 제품 수명 주기를 관리하고, AI가 수행한 분석을 평가하는 제품 관리자로써의 역할을 하는 쪽으로 바뀌고 있다. LLM 조기 교육에서 위험한 점은 학생들이 모델 결과의 정확성과 타당성을 판단할 수 있는 필수 기술을 개발하기 전에 LLM에 지나치게 의존하게 될 수 있다는 것인데 이제..

애플 UI를 이해하는 AI, Ferret-UI

애플은 UI를 이해하는 MLLM(Multimodal Large Language Model)인 Ferret-UI라는 모델에 대한 논문을 공개했습니다. 이 모델은 모바일 UI 화면을 이해하고, 사용자 지시에 따라 다양한 열린(특정한 작업에 한정되지 않은) 작업을 수행하는 모델입니다. GPT-4V 같은 기존의 이미지를 인식하는 MLLM의 경우, 앱 상의 요소들을 인식하는 능력은 다소 떨어지는데요. 이 성능을 높이기 위한 연구입니다. 아이콘 인식: 화면 상의 아이콘을 식별 텍스트 찾기: 인터페이스의 텍스트 인식 위젯 나열: 화면에서 사용 가능한 위젯 나열 자세한 설명: 보고있는 화면을 설명 인식/상호 작용 대화: 화면에 대한 인식을 바탕으로 대화 형태의 상호작용을 수행 애플의 최근 논문들은 역시 인터페이스, 사..

인공 지능과 인공 일반 지능의 차이점은 무엇인가요?

인공 일반 지능이란 무엇인가요? 인공 일반 지능(AGI)은 인간과 유사한 지능과 스스로 학습할 수 있는 능력을 갖춘 소프트웨어를 만들려는 이론적 AI 연구 분야입니다. 목표는 소프트웨어가 반드시 교육을 받거나 개발되지 않은 작업을 수행할 수 있도록 하는 것입니다. 현재의 인공 지능(AI) 기술은 모두 사전 결정된 매개 변수 집합 내에서 작동합니다. 예를 들어 이미지 인식 및 생성에 대해 학습한 AI 모델은 웹 사이트를 구축할 수 없습니다. AGI는 자율적 자제력, 합리적인 수준의 자기 이해, 새로운 기술 학습 능력을 갖춘 AI 시스템을 개발하기 위한 이론적 추구입니다. 제작 당시에는 학습하지 못했던 설정과 상황의 복잡한 문제를 해결할 수 있습니다. 인간의 능력을 갖춘 AGI는 이론적 개념이자 연구 목표로..

ChatGPT가 지은 한시를 감상

한자를 잘 몰라서 잘 지은 건지, 한자가 맞는지 모르겠지만 여러 가지 시키면 결과를 잘 준다. 얘 참 웃긴다. 스티븐 스필버그 감독의 2001년작 SF 영화 A.I. 에서 진짜 인간이 되고 싶은 데이빗과 애인 대행 로봇 조는 함께 모든 것을 다 안다는 만물박사에게 가서 '초록요정'이 어디 있느냐고 묻는다. 만물박사는 "세상 끝" 도시에 있다고 한다. 도시에 도착해 하비 박사를 만나고 우연히 테디와 함께 바닷속으로 들어간다. 바닷속에서 초록요정을 만난다. 데이빗은 초록요정에게 기도한다. 자신을 인간으로 만들어 엄마와 살 수 있도록.... 3000년 후 외계에서 온 우주인들이 인간을 연구하기 위해 발굴을 하는 중에 데이빗을 발견하고 그의 생각을 읽어낸다. 데이빗과 테디는 로봇이라서 다시 깨어난다. 우주인은 ..

일리야 수츠케버, AGI 이후의 미래에 대하여

ChatGPT를 발명한 오픈 AI 공동창립자이자, 알파고, Alexnet 등을 설계한 이 시대 최고의 인공지능 개발자인 일리야 수츠케버의 AGI 이후의 미래에 대한 통찰이 담긴 TED 인터뷰 영상입니다. 최근에 안트로픽의 클로드 3가 ChatGPT 4보다 높은 성능으로 평가받는 상황 속에서 OpenAI는 며칠 내로 GPT-5를 공개할 확률이 높습니다. 구글, 오픈 AI, 안트로픽, 마이크로소프트 등이 AGI를 개발하기 위해서 수조 원의 컴퓨팅 및 인적자원을 투입하고 있으며, 이로 인한 반사이익으로 인공지능 컴퓨팅에 필요한 GPU 산업을 독점 중인 엔비디아는 마이크로소프트, 애플 다음으로 세계 3위의 시가총액을 지니는 기업이 되었습니다. AGI 이후의 미래에 우리 인류는 어떤 세상을 맞이할까요? 저는 의료..

스탠퍼드 과학자들이 발견한 사실, ChatGPT가 점점 더 멍청해지고 있습니다

스탠퍼드 과학자들이 발견한 사실, ChatGPT가 점점 더 멍청해지고 있습니다. "모델에 대한 업데이트가 실제로 그 기능을 손상시키는지 여부를 아는 것이 중요합니다." 덤 앤 더머 경영진의 주장과는 상관없이, 연구원들은 이제 OpenAI의 대규모 언어 모델(LLM)이 점점 더 멍청해지고 있는 것으로 보인다고 말합니다. 스탠퍼드와 버클리의 연구원들은 아직 동료 검토를 거치지 않은 새로운 연구에서 몇 달 동안 GPT-3.5와 GPT-4 모두 응답의 정확도가 떨어지는 등 '행동'이 크게 바뀌었으며, 이는 출시 이후 몇 달 동안 최신 버전의 소프트웨어가 명백하게 저하되었다는 사용자 일화를 입증하는 것이라고 밝혔습니다. "연구자들은 논문 초록에서 "GPT-4(2023년 3월)는 소수를 식별하는 데 매우 능숙했지만..

빌 게이츠 인공지능의 시대가 시작되었습니다

인공 지능은 휴대폰과 인터넷만큼이나 혁신적인 기술입니다. 아래 기사의 출처는 빌 케이츠 블로그 사이트에 실린 The Age of AI has begun 기사를 번역한 것입니다. 제 일생 동안 혁명적이라고 생각한 기술 시연을 두 번이나 보았습니다. 첫 번째는 1980년에 Windows를 비롯한 모든 최신 운영 체제의 전신인 그래픽 사용자 인터페이스를 소개받았을 때였습니다. 데모를 보여준 찰스 시모니라는 뛰어난 프로그래머와 함께 앉아서 사용자 친화적인 컴퓨팅 접근 방식을 통해 할 수 있는 모든 일에 대해 즉시 브레인스토밍을 시작했죠. Charles는 결국 Microsoft에 입사했고, Windows는 Microsoft의 중추가 되었으며, 그 데모 이후 우리가 했던 생각은 향후 15년 동안 회사의 의제를 설정..

빌 게이츠는 1980년 이후 가장 중요한 기술 발전으로 OpenAI의 GPT

빌 게이츠는 1980년 이후 가장 중요한 기술 발전으로 OpenAI의 GPT를 꼽았습니다. ● Microsoft 창립자 빌 게이츠는 OpenAI의 GPT AI 모델이 1980년 최신 그래픽 데스크톱을 처음 본 이후 가장 혁신적인 기술 발전이라고 말합니다. ● "모든 경험이 놀라웠습니다."라고 게이츠는 썼습니다. "그래픽 사용자 인터페이스 이후 가장 중요한 기술 발전을 방금 보았다는 것을 알았습니다." Microsoft의 공동 창립자 빌 게이츠는 OpenAI의 GPT AI 모델이 1980년 현대 그래픽 데스크톱 환경(GUI)을 처음 본 이후 가장 혁신적인 기술 발전이라고 말합니다. 그 이전에는 사람들이 명령줄을 통해 컴퓨터를 사용했습니다. 게이츠는 "GUI" 기술을 기반으로 Windows를 개발하여 현대의..

빌 게이츠 "인공지능이 구글 검색과 아마존 죽인다"

빌 게이츠는 인공지능이 우리가 알고 있는 구글 검색과 아마존을 죽일 수 있다고 말합니다. ● 빌 게이츠는 골드만 삭스와 SV 엔젤이 주최한 인공지능 관련 행사에서 미래의 인공지능 개인 비서가 매우 심오해져 이를 최초로 개발하는 회사가 경쟁사보다 우위를 점하게 될 것이라고 말했습니다. ● 그는 이 기술이 사용자 행동을 근본적으로 변화시켜 사람들이 다시는 검색 웹사이트를 방문하거나 특정 생산성 도구를 사용하거나 아마존에서 쇼핑할 필요가 없어질 수 있다고 말했습니다. ● 게이츠는 이 강력한 미래형 디지털 에이전트가 주류로 사용될 준비가 되기까지는 다소 시간이 걸릴 것이라고 말했습니다. Microsoft의 공동 창립자 빌 게이츠는 미래의 인공지능 분야 최고 기업이 사람을 대신해 특정 작업을 수행할 수 있는 개인..

훌륭한 ChatGPT prompt를 작성하는 7단계 요약

ChatGPT에 효과적인 프롬프트를 작성하는 방법: 최상의 결과를 위한 7가지 필수 단계 ChatGPT를 효과적으로 프롬프트하는 방법을 모르면 실질적인 가치가 없는 신기한 도구로 남을 것입니다. 공유할 만한 가치가 있는 걸작이 아닌 일반적인 평범함을 만들게 될 것입니다. 절약하는 시간보다 낭비하는 시간이 더 많을 것입니다. 참신한 요소는 곧 사라지고 다시 수동 방식으로 비즈니스를 운영하게 될 것입니다. 대안은 무엇일까요? 효과적으로 프롬프트하는 방법을 알아보세요. LUCAS PIMENTEL은 AI 개발자이자 자칭 '프롬프트 중독자'로, 실제 비즈니스 문제를 해결하기 위해 인공지능으로 앱을 공개적으로 구축합니다. 그는 AI, 프롬프트, 개인 기업가 정신에 관한 트윗을 올리며 다른 사람들도 같은 일을 할 수..

학술 연구에 ChatGPT 대신 구글 Bard를 사용하세요.

학술 연구에 ChatGPT 대신 구글 Bard를 사용하세요. ChatGPT를 사용해 보셨다면, 항상 신뢰할 수 있는 정보를 제공하지는 않는다는 것을 알고 계실 것입니다. 대부분의 경우 이는 문제가 되지 않습니다. 하지만 학술적인 작업이 필요하다면 다른 도구를 사용하는 것이 좋습니다. 다행히도 구글은 몇 주 전에 ChatGPT의 경쟁자를 출시했습니다. 학술 연구에 ChatGPT 대신 Google Bard를 사용하는 이유는 무엇인가요? 바드에는 몇 가지 장점이 있습니다: 100% 무료, ChatGPT Plus는 월 $20입니다. 인터넷 및 최신 데이터에 대한 액세스 (ChatGPT Plus는 인터넷에 액세스할 수 있지만 무료 버전은 액세스 할 수 없음) ChatGPT보다 빠른 답변 제공 Bard의 유일한 약..

유용한 ChatGPT prompt 15가지

AI 시스템에서 "프롬프트"는 사용자가 AI 모델과 상호작용할 때 입력으로 제공하는 초기 텍스트 또는 지시문을 의미합니다. 이 초기 텍스트는 모델에게 원하는 작업이나 질문의 의도를 전달하고, 모델이 적절한 응답을 생성하도록 유도합니다. 프롬프트는 대화형 AI 모델을 사용할 때 매우 중요한 역할을 합니다. 올바르고 효과적인 프롬프트 설계는 모델의 동작과 출력을 조정하는 데 큰 영향을 미칩니다. 프롬프트는 일반적으로 사용자의 입력 질문이나 작업 명세를 나타내는 형식을 가지며, 모델은 이를 기반으로 응답을 생성합니다. ChatGPT는 세계에서 가장 강력한 도구입니다. 하지만 좋은 ChatGPT 프롬프트를 작성하는 경우에만 가능합니다. 몇 시간씩 걸리는 작업을 단 몇 초 만에 끝낼 수 있는 15가지 최고의 Ch..

ChatGPT 작동원리 5 - ChatGPT 훈련 2

공간의 의미와 운동의 의미론적 법칙 위에서 우리는 ChatGPT 내부에서 텍스트의 일부가 일종의 "언어적 특징 공간"에서 점의 좌표로 생각할 수 있는 숫자 배열로 효과적으로 표현된다고 논의했습니다. 따라서 ChatGPT가 텍스트 조각을 계속할 때 이것은 언어적 특징 공간에서 궤적을 추적하는 것과 같습니다. 그러나 이제 우리는 무엇이 이 궤적을 우리가 의미 있다고 생각하는 텍스트와 일치하게 만드는지 물을 수 있습니다. 그리고 언어적 특징 공간의 점이 "의미"를 유지하면서 이동할 수 있는 방법을 정의하거나 적어도 제한하는 일종의 "의미론적 운동 법칙"이 있을 수 있습니까? ChatGPT 작동 원리 1, 한 번에 한 단어씩 추가하기 ChatGPT 작동 원리 2 - 신경망 ChatGPT 작동 원리 3 기계학습과..

ChatGPT 작동원리 5 - ChatGPT 훈련 1

ChatGPT 훈련 이제 ChatGPT가 설정되면 작동하는 방식에 대한 개요를 제공했습니다. 그런데 어떻게 설정하게 되었나요? 신경망에 있는 1,750억 개의 가중치는 모두 어떻게 결정되었을까요? 기본적으로 그것들은 웹, 책 등에서 사람이 쓴 방대한 텍스트 모음을 기반으로 하는 매우 대규모 훈련의 결과입니다. 우리가 말했듯이, 모든 훈련 데이터가 주어지더라도 신경망이 "인간과 같은" 텍스트를 성공적으로 생성할 수 있는지는 분명하지 않습니다. 그리고 다시 한번, 이를 실현하는 데 필요한 세부적인 엔지니어링 부분이 있는 것 같습니다. 그러나 ChatGPT의 큰 놀라움과 발견은 이것이 가능하다는 것입니다. 그리고 사실상 1,750억 개의 가중치를 가진 신경망은 인간이 작성하는 텍스트의 "합리적인 모델"을 만들..

반응형