언어 모델용 합성 데이터에 대한 모범 사례 및 교훈

 

 

언어 모델용 합성 데이터에 대한 모범 사례 및 교훈

 

Best Practices and Lessons Learned on Synthetic Data for Language Models 

논문 출처: https://arxiv.org/html/2404.07503v1

 

요약

 

AI 모델의 성공 여부는 크고 다양한 고품질 데이터 세트의 가용성에 달려 있는데, 데이터 부족, 개인정보 보호 문제, 높은 비용으로 인해 이를 확보하기가 어려울 수 있습니다. 합성 데이터는 실제 패턴을 모방한 인공 데이터를 생성함으로써 유망한 솔루션으로 떠오르고 있습니다. 이 백서에서는 합성 데이터 연구에 대한 개요를 제공하고, 합성 데이터의 응용, 과제, 향후 방향에 대해 논의합니다. 또한 선행 기술의 경험적 증거를 제시하여 그 효과를 입증하고 사실성, 충실성, 편견 없는 데이터 확보의 중요성을 강조합니다. 또한 보다 강력하고 포용적이며 신뢰할 수 있는 언어 모델을 구축하기 위해 합성 데이터를 책임감 있게 사용해야 할 필요성을 강조합니다.

 

1. 소개

 

그림 1: Imagen v2.0에서 생성된 하나의 합성 이미지와 다음 설명이 포함된 프롬프트(Saharia et al., 2022a): "로봇 공장에서 휴머노이드 로봇은 조립 라인에서 협업하여 새로운 로봇을 설계, 제작, 테스트 및 조립합니다. 그들이 제조하는 새 로봇은 로봇을 만드는 로봇 작업자와 비슷하게 생겼습니다." 또한 미적인 측면을 고려하여 스타일을 제어하는 텍스트도 추가했습니다.

 

 

인공지능(AI) 기술의 급속한 발전으로 인해 어시스턴트 에이전트(예: Adept AI의 ACT-1)와 소프트웨어 개발(예: Cognition Lab의 Devin)에서부터 의료(Singhal 외, 2022) 및 금융(Zheng 외, 2022)에 이르기까지 다양한 영역에 걸쳐 광범위하게 채택되고 있습니다. 그러나 AI 모델의 성공 여부는 훈련과 평가를 위한 대규모의 다양한 고품질 데이터 세트의 가용성에 크게 좌우됩니다. 이러한 데이터셋을 확보하는 것은 데이터 희소성(Babbar와 숄코프, 2019), 개인정보 보호 문제(Abay 외, 2019), 데이터 수집 및 주석 달기에 드는 막대한 비용(Gilardi 외, 2023b) 때문에 상당한 도전이 될 수 있습니다. 비관론자들은 2050년에는 새로운 텍스트 데이터가, 2060년에는 이미지 데이터가 고갈될 것이라고 예측합니다(Villalobos et al., 2022).

 

합성 데이터는 이러한 문제를 해결할 수 있는 유망한 솔루션으로 떠오르고 있습니다(Nikolenko, 2021). 합성 데이터는 실제 데이터의 특성과 패턴을 모방한 인위적으로 생성된 데이터를 말하지만, 사람이 직접 생성하는 것이 아니라 알고리즘(Saxton et al., 2019), 생성 모델(Borisov et al., 2022; Meng et al., 2022) 또는 시뮬레이션(Vezhnevets et al., 2023; Liu et al., 2023c)을 통해 생성됩니다. 합성 데이터를 활용하면 실제 데이터의 한계를 극복할 수 있을 뿐만 아니라 보다 강력하고 신뢰할 수 있으며 공정한 AI 모델을 개발할 수 있는 잠재력을 발휘할 수 있습니다(Lucini, 2021; Lu et al., 2023).

 

합성 데이터의 많은 이점 중 하나는 대규모로 생성할 수 있어 AI 모델을 위한 풍부한 학습 및 테스트 데이터를 제공할 수 있다는 것입니다. 이는 실제 데이터가 부족하거나 구하기 어려운 영역에서 특히 유용합니다(예: 모든 조건을 포괄하는 날씨 데이터(Li et al., 2023a; Lam et al., 2023)). 둘째, 합성 데이터는 통제된 변형을 도입하여 다양한 계층의 균형 잡힌 표현을 보장하는 등 특정 요구 사항에 맞게 조정할 수 있습니다(예: 다국어 언어 학습에서 자원이 적은 언어의 가중치 상향 조정(Przystupa and Abdul-Mageed, 2019)). 데이터 특성에 대한 이러한 수준의 제어는 모델 성능과 일반화를 개선할 수 있습니다. 셋째, 합성 데이터는 민감한 개인 정보를 포함하지 않는 익명화 또는 비식별화된 데이터 세트를 생성하여 개인정보 보호 문제를 완화할 수 있습니다(Howe et al., 2017; El Emam et al., 2020). 이는 환자의 개인정보 보호가 가장 중요한 의료 분야와 같은 영역에서 매우 중요합니다(Dahmen and Cook, 2019; Wei et al., 2019).

 

합성 데이터는 그 잠재력에도 불구하고 해결해야 할 과제를 안고 있습니다. 그중 하나는 허위, 환각 또는 편향된 합성 데이터로 훈련된 모델은 실제 시나리오로 일반화하지 못할 수 있기 때문에 합성 데이터의 사실성과 충실성을 보장하는 것입니다(Wood et al., 2021; Heusel et al., 2017; Van Breugel et al., 2023; Guarnera et al., 2020). 연구자들은 실제 데이터에서 발견되는 복잡한 패턴과 관계를 정확하게 반영하는 합성 데이터를 생성하기 위해 정교한 생성 모델과 평가 메트릭을 개발해야 합니다. 또 다른 문제는 합성 데이터가 신중하게 설계되고 검증되지 않으면 편향을 증폭시키거나 새로운 편향을 도입할 가능성이 있다는 것입니다(Barbierato 외., 2022; Gupta 외., 2021). 이러한 위험을 완화하기 위해서는 엄격한 테스트와 공정성 평가가 필요하다고 생각합니다.

 

이 백서에서는 합성 데이터 연구의 현황을 추적하고 현재의 모범 사례와 교훈을 논의합니다. 백서의 나머지 부분은 다음과 같이 구성되어 있습니다. 섹션 2에서는 합성 데이터 생성 기법과 모델 학습에서의 적용에 대한 개요를 제공하고, 사례 연구와 경험적 증거를 제시합니다. 섹션 3에서는 평가에서 합성 데이터의 유용성에 대해 설명합니다. 섹션 4에서는 합성 데이터의 과제와 한계에 대해 논의하고, 섹션 5에서는 잠재적인 해결책과 향후 연구 방향에 대해 설명합니다.

 

2. 훈련용 합성 데이터

 

실제 세계에서 수집된 실제 데이터를 모방하여 생성되는 합성 데이터는 효과적이고 상대적으로 저렴한 비용으로 실제 데이터를 대체할 수 있는 것으로 입증되었습니다. 이 섹션에서는 합성 학습 데이터를 활용하는 몇 가지 주목할 만한 분야를 살펴봅니다.

 

2.1 추론

 

수학.

 

최근 언어 모델(LM)에 대한 수학적 추론이 발전함에 따라 수학 관련 작업의 성능을 향상시키기 위한 다양한 접근 방식이 개발되고 있습니다. 한 가지 접근 방식은 Minerva(Lewkowycz 외, 2022), Llemma(Azerbayev 외, 2023), DeepSeekMath(Shao 외, 2024)와 같은 수학 타깃 사전 훈련 데이터로 훈련하는 것입니다. 또 다른 주류 방법은 목표 벤치마크의 훈련 또는 검증 세트를 모방하기 위해 합성 질문과 답변을 생성하는 것입니다. 예를 들어, WizardMath(Luo 외, 2023a)는 일련의 연산을 활용하여 GPT-3.5를 사용하여 질문과 답변의 복잡성을 높이고, MetaMath(Yu 외, 2023)는 의미 재구문, 자체 검증, 역추론 등 다양한 방식으로 문제를 다시 작성하여 MATH 및 GSM8K의 문제를 부트스트랩합니다. GAIR-Abel(Chern 외., 2023)은 증강 답변의 형식이 최종 성능에 결정적인 영향을 미치며, 질문의 의역으로 시작하여 단계별 해결책을 제시하는 답변이 바닐라 형식의 답변보다 더 나은 성능을 보인다는 사실을 발견했습니다. Xwin-Math(Li et al., 2024)는 합성 SFT 데이터를 100만 개의 예로 확장하여 LLaMA-2 7B 모델(Touvron et al., 2023)이 데이터 확장을 통해 여전히 이점을 얻을 수 있다는 것을 발견했습니다. MMIQC(Liu and Yao, 2024)는 OpenWebMath(Paster et al., 2023)와 같은 고품질 수학적 사전 훈련 데이터의 하위 집합에 SFT 스타일 데이터(질문-답변 재구성을 통해 또는 MetaMath에서 직접 가져온)를 주입하는 데이터 세트의 번들을 구성했습니다.

 

합성 수학 데이터의 생성을 확장하는 것은 간단한 과정이지만, 생성된 수학의 정확성을 보장하는 것은 실무자에게 여전히 중요한 과제입니다. 최근 1억 개의 합성 데이터 포인트를 사용하여 신경 모델을 훈련함으로써 이 문제를 해결하려는 시도인 AlphaGeometry(Trinh et al., 2024)가 있습니다. 이 모델은 복잡한 기하학 문제를 풀 때 해법을 제안하고 기호 추론 엔진이 각 분기의 정확성을 검증할 수 있도록 안내합니다. 합성 데이터의 힘과 엄격한 검증 프로세스를 결합한 AlphaGeometry는 인간 올림피아드 금메달리스트와 비슷한 수준의 문제 해결 능력을 달성하여 복잡한 수학적 추론 작업을 처리하는 데 있어 이 접근법의 잠재력을 입증했습니다.

 

코드.

 

수학과는 달리 코드 추론을 위한 합성 데이터는 올바른 코드의 실행이 하나의 요건이기 때문에 실행 결과를 구조화된 코드와 자연스럽게 결합할 수 있습니다. 코딩 강화 모델에서 CodeRL(Le et al., 2022)은 합성 코드 샘플에 대한 피드백 신호로 사전 학습된 언어 모델을 개선하기 위한 액터-비평적 접근 방식을 제시합니다. Haluptzok 등(2022)은 모델이 자체적으로 합성 퍼즐-솔루션 쌍을 생성하는 자기 개선 전략을 제안합니다. 그런 다음 이러한 쌍을 실제 인터프리터가 검증하고 필터링한 후 언어 모델을 미세 조정하는 데 사용합니다. Shypula 등(2023)은 시뮬레이션 환경과 자체 개선 합성 데이터 생성 및 코드 최적화를 위한 CoT 프롬프트와 같은 적응 전략을 활용하는 프레임워크를 추가로 제안합니다. Yang 등(2024)은 강화 학습 환경 내에서 대화형 코드 생성을 강화하기 위해 설계된 프레임워크인 InterCode를 개발했는데, 여기서 코드는 행동으로, 실행 피드백은 관찰로 사용됩니다. Reflexion(Shinn 외, 2024)은 언어 모델의 코드 추론 능력을 향상시키기 위해 외부 또는 내부적으로 시뮬레이션된 언어 피드백 신호를 사용합니다. 합성 SFT 데이터와 관련하여 Code Alpaca는 21개의 시드 작업에 걸쳐 ChatGPT에 SELF-INSTRUCT(Wang et al., 2022a)를 적용하여 자동으로 생성된 20만 개의 코드 명령어 데이터 세트로 구성되어 있습니다. WizardCoder(Luo et al., 2023b)는 합성 데이터의 복잡성과 다양성을 향상시키기 위한 휴리스틱 프롬프트를 통해 ChatGPT를 안내하는 Code Evol-Instruct를 도입했습니다. 한편 Magicoder(Wei 외, 2023c)는 오픈 소스 코드 스니펫에서 75,000개의 다양한 합성 명령어 샘플을 생성하는 OSS-INSTRUCT를 개발했습니다.

 

기타 추론 작업.

 

합성 데이터는 다른 추론 작업에서도 인상적인 성능을 발휘합니다. 예를 들어, Wei 등(2023a)은 자연어 레이블을 임의의 기호로 대체하여 기존 자연어 데이터 세트를 보강하여 50만 개 이상의 합성 예제를 생성했습니다. 이러한 합성 데이터를 지도 미세 조정에 사용하면 보이지 않는 상황 내 학습 및 알고리즘 추론 작업에서 모델 성능이 크게 향상되었습니다. STaR(젤릭만 외, 2022)은 언어 모델의 미세 조정을 위해 합성 연쇄 추론을 생성하고 오답으로 이어지는 추론을 필터링하여 추론을 개선합니다. 물리학 추론 영역에서 Mind's Eye(Liu 외, 2022)는 합성 '텍스트 설명 → 렌더링 코드' 데이터로 텍스트-코드 모델을 훈련하는 새로운 접근 방식을 취합니다. 이를 통해 모델은 텍스트 질문을 렌더링 코드로 변환한 다음 실제 엔진(예: DeepMind MuJoCo(Todorov et al., 2012))에서 실행할 수 있습니다. 렌더링 결과는 컨텍스트에 주입되어 Mind's Eye로 무장한 작은 언어 모델도 100배 큰 모델과 비슷한 성능을 달성할 수 있습니다.

 

2.2. 도구 사용 및 계획

 

합성 궤적을 통한 학습 도구 사용.

 

합성 데이터는 실제 사람의 도구 사용 데이터를 수집하는 데 시간이 많이 걸리고 도구 호출의 실제 분포가 왜곡될 수 있으므로 LM이 시뮬레이션된 궤적을 통해 도구 사용 능력을 학습할 수 있는 강력한 접근 방식이기도 합니다. 예를 들어, LaMDA는 웹 문서뿐만 아니라 크라우드 워커와 모델 자체 간의 상호 작용 데이터에 대해서도 훈련을 받았으며, 합성 데이터에 적절한 도구 호출에 대한 주석을 달았습니다. 이러한 훈련 과정을 통해 LaMDA는 연산을 위한 계산기, 실시간 정보 검색을 위한 검색 엔진, 번역을 위한 기계 번역기를 사용할 수 있는 능력을 개발할 수 있었습니다. 이와 유사하게 Toolformer(Schick 외, 2024)는 템플릿 생성 데이터에 대한 학습을 통해 호출할 API와 전달할 인수를 결정하는 방법을 학습하고, Galactica(Taylor 외, 2022)는 API 호출 데이터를 사전 학습 혼합에 주입합니다. ToolAlpaca(Tang et al., 2023)는 다중 에이전트 시뮬레이션 환경을 구축하고 에이전트가 반복적으로 도구를 선택하고 사용할 수 있도록 함으로써 다양한 도구 사용 코퍼스를 자동으로 생성하도록 설계된 새로운 프레임워크입니다. 이러한 사례는 LM이 도구 사용 능력을 습득하고 다양한 영역에서 추론 능력을 향상시킬 수 있는 합성 궤적의 잠재력을 보여줍니다.

 

합성 환경에서의 계획 학습.

 

자율 머신 인텔리전스에서 에이전트의 중요한 기능 중 하나는 복잡한 작업을 하위 작업으로 분해하고 보상에 최적화된 방식으로 하위 작업을 완료하는 능력인 계획입니다(Kambhampati et al., 2024). 합성 데이터는 시뮬레이터에서 수집한 피드백 신호 역할을 할 수 있고(Park et al., 2023), 이를 학습함으로써 에이전트가 어포던스(Ahn et al., 2022; Liang et al., 2022)를 인지할 수 있기 때문에 유용한 도구가 될 수 있습니다. 예를 들어 이너모놀로그(Inner Monologue)는 시뮬레이션 환경에서 생성된 자연어 형식의 피드백을 활용하여 LLM 기반 로봇 계획을 학습합니다(Huang et al., 2022). 연구진은 이러한 피드백이 시뮬레이션과 실제 영역 모두에서 높은 수준의 명령어 완성도를 크게 향상시킨다는 사실을 발견했습니다. 많은 수의 현실적인 계획 작업(예: "주어진 장면에 맞게 테이블의 물체를 재배열하기")을 구성하기 위해 VIMA(Jiang et al., 2022)는 확장 가능한 물체 및 텍스처 컬렉션을 지원하는 VIMA-Bench라는 다중 양식 시뮬레이션 환경을 만듭니다. Minecraft 게임에서 Voyager(Wang et al., 2023)는 다수의 GPT-4 기반 에이전트를 배치하여 합성 환경과 상호작용하고, 에이전트가 합성 피드백을 통해 새로운 기술을 더 빠르게 잠금 해제하고 계획을 더 효율적으로 완료할 수 있음을 발견했습니다.

 

2.3 멀티모달리티

 

시각에서 텍스트로의 역 렌더링.

 

비전-언어 정렬 데이터는 시각 입력을 LLM에 정확하게 접지하는 데 중점을 둡니다(일반적으로 비전 인코더를 통해). 웹 스크랩 이미지-캡션 쌍은 CLIP(Radford 외, 2021) 및 ALIGN(Jia 외, 2021) 이후 지난 몇 년 동안 가장 널리 사용되는 MM 정렬 데이터였습니다. 그러나 웹에서 스크랩한 이미지-텍스트 쌍은 일반적으로 노이즈가 많고 대응이 거칠기 때문에 언어의 이미지 세부 사항을 근거로 삼기에는 불충분합니다. 문서, 화면, 그림, 다이어그램과 같은 도메인에서는 이미지 렌더링 엔진으로 구축된 데이터 합성 파이프라인에서 이러한 세분화된 정렬을 가장 편리하게 얻을 수 있습니다. Pix2Struct(Lee et al., 2023)는 웹 서버를 사용하여 HTML 코드를 웹사이트 스크린샷으로 렌더링하며, 훈련 작업은 마스크된 스크린샷을 전체 HTML 코드로 더 렌더링하는 것입니다. MatCha(Liu 외, 2023b)와 DePlot(Liu 외, 2023a)은 Python 플로팅 라이브러리를 사용하여 표 형식 데이터를 차트로 렌더링하고 렌더링된 이미지를 제공하고 코드 및/또는 표 형식 데이터를 생성하여 기초 모델을 사전 훈련합니다. Si 등(2024)과 Laurençon 등(2024)은 웹페이지 스크린샷을 코드 구현으로 변환하는 작업을 위해 합성적으로 생성된 HTML 및 CSS 파일에 대해 학습합니다. 합성 데이터에서 미세 조정된 모델은 인터넷에서 스크랩한 실제 데이터에 대해 합리적으로 잘 일반화할 수 있습니다. Borkman 등(2021)은 컴퓨터 비전 연구에 도움이 되는 합성 데이터 생성기로 물리 엔진이나 게임 엔진(예: Unity)을 사용할 것을 제안합니다.

 

멀티모달 인스트럭션 후속

 

멀티모달 LLM의 다운스트림 애플리케이션에는 추론 및 인스트럭션 팔로잉 기능이 필요합니다. 이러한 데이터는 일반적으로 긴 형식의 질문 응답 쌍이며 사람이 생성하는 데 많은 비용이 듭니다. LLaVA(Liu et al., 2024b)는 기존 이미지 캡션을 사용하여 GPT-4(텍스트 전용 모드에서)에 다양한 긴 형식의 질문-응답 쌍을 작성할 수 있도록 합니다. 멀티모달 LLM 훈련 중에는 이미지와 프롬프트가 입력으로 사용되며 캡션과 바운딩 박스 정보는 숨길 수 있습니다. 이미지 캡션 외에도 객체 바운딩 박스(Zhao 외, 2023), OCR(Zhang 외, 2023d), 파생된 차트(Masry 외, 2023; Carbune 외, 2024) 등 다른 이미지 속성 정보 소스도 이미지 속성 + 텍스트 LLM 재작성 합성 데이터 파이프라인에 모두 적합할 수 있습니다.

 

2.4 다국어

 

역번역 증강.

 

많은 다국어 언어 모델은 데이터 증강 방법으로 역번역을 사용하여 단일 언어 데이터 소스에서 합성 병렬 학습 데이터를 생성합니다(Sennrich 외, 2016; Zheng 외, 2020; Caswell 외, 2019; Marie 외, 2020; Bi 외, 2021; Liao 외, 2021; Pham 외, 2021; Xu 외, 2022). 예를 들어, Sennrich 등(2016)은 단일 언어 대상 데이터를 소스 언어 데이터로 역번역하여 실질적인 번역 작업 개선을 위한 추가 병렬 학습 샘플을 제공했습니다. 연구자들은 또한 역번역을 위한 다양한 샘플링 방법(예: 빔 검색, 제약 샘플링, 비제약 샘플링)과 그 비교 효과를 탐구했습니다(Sennrich 외, 2016; Edunov 외, 2018; Graça 외, 2019). Xu 등(2022)은 역번역을 이용한 최적의 NMT 성능을 위해 합성 데이터의 가중치와 품질이 중요하다고 강조합니다. 이들은 추정된 중요도 가중치와 품질의 균형을 맞추기 위해 검색 방법과 감마 점수 간의 비율을 최적화하는 방법을 제안합니다. 그러나 역번역 기반 합성 데이터 생성에는 몇 가지 한계가 존재합니다. 예를 들어, 합성 데이터의 품질과 다양성은 역번역 방법의 성능에 따라 달라집니다. 합성 데이터가 너무 노이즈가 많거나 다양하지 않으면 성능 향상이 제한될 수 있습니다(Epaliyana 외., 2021; Chauhan 외., 2022).

 

대규모 다국어 질문과 답변 생성하기

 

최근 연구에서는 다국어 및 다국어 간 질문 답변에서 언어 모델의 성능을 개선하기 위해 합성 다국어 질문-답변(QA) 쌍의 생성 및 활용을 탐구합니다(Asai 외, 2021; Kumar 외, 2019; Chi 외, 2020; Riabi 외, 2021; Li and Callison-Burch, 2023; Abulkhanov 외, 2023). 한 가지 접근 방식은 기존의 단일 언어 질문 및/또는 답변을 다른 언어로 번역하는 것입니다(Asai et al., 2021). 또 다른 방법은 질문 생성(QG) 모델을 사용하여 답변 및/또는 원문 텍스트를 기반으로 다국어 합성 질문을 생성하는 것입니다(Kumar 외, 2019; Chi 외, 2020; Riabi 외, 2021). 최근의 노력은 또한 유연성을 높이기 위해 여러 언어로 질문과 답변을 공동으로 생성하는 데 중점을 두고 있습니다(Shakeri et al., 2021; Li and Callison-Burch, 2023). 예를 들어, Shakeri 등(2021)은 사전 학습된 다국어 T5 모델(Xue 등, 2020)을 QA 생성 작업과 다국어 마스크 언어 모델링 작업을 혼합하여 여러 언어로 된 합성 QA 쌍을 생성하도록 미세 조정합니다. 이러한 노력은 일반적으로 합성 QA 쌍으로 훈련된 언어 모델이 다국어 QA 및 정보 검색 벤치마크에서 향상된 성능을 보인다는 것을 보여줍니다.

 

2.5 정렬

 

명령어 팔로잉.

 

합성 데이터는 특히 실제 데이터가 부족하거나 비용이 많이 들거나 구하기 어려운 시나리오에서 명령 추종 모델을 훈련하는 데 유망한 접근 방식이 될 수 있습니다. 셀프 인스트럭트(Wang 외, 2022a)와 스탠포드 알파카(Taori 외, 2023)는 모두 LLM을 사용하여 다양한 시나리오를 포괄하는 명령어 추종 데이터를 생성하고 있습니다. 이들은 먼저 작은 '시드 인스트럭션 팔로잉 샘플' 세트를 선택한 다음 LLM에 해당 형식을 모방하여 더 많은 데모를 생성하도록 요청합니다. 이러한 유형의 방법의 한 가지 문제는 생성된 데이터의 품질을 높게 유지하는 방법이며, 여기에는 쿼리의 복잡성(Liu 외, 2023d), 의미론의 다양성(Ding 외, 2023), 합성 데이터 세트의 규모(Yuan 외, 2023)가 관련되어 있습니다. 이를 위해 Xu 등(2023)은 프롬프트를 통해 간단한 명령어에 복잡성을 더하는 Evol-Instruct를 제안합니다. Mukherjee 등(2023)은 LLM을 활용하여 지침과 응답을 반복적으로 수정하여 FLAN 데이터 세트에 고품질 설명 추적을 포함시키고(Wei 등, 2022), 학습된 모델이 많은 NLP 작업에서 성능을 향상시킨다는 사실을 발견했습니다. UltraChat(Ding et al., 2023)은 대규모의 다중 라운드 합성 대화 데이터셋으로, 하나는 사용자 역할, 다른 하나는 어시스턴트 역할을 하는 두 개의 개별 ChatGPT Turbo API 모델에 의해 생성됩니다. 이 두 모델은 실제 사람의 사용자 행동을 모방하도록 신중하게 설계된 프롬프트를 통해 사용자 모델에 지시합니다.

 

많은 언어 모델은 지시를 따르는 방법을 학습하도록 미세 조정된 감독을 받지만, 이러한 행동을 학습하는 과정에서 실수로 위선적인 태도를 배우기도 하며(Perez 외, 2023), 사용자의 관점이 객관적으로 옳지 않더라도 그 관점을 따르도록 응답을 조정할 수 있습니다(Wei 외, 2023b). Sharma 등(2024)은 선호도 모델(즉, RLHF 훈련에 사용되는 보상 모델)과 심지어 인간도 때때로 동조적 반응을 선호한다는 증거를 발견했습니다. 이와 관련하여 Wei 등(2023b)은 합성 데이터를 생성하여 모델이 사용자 의견에 강건하도록 장려하고, 이러한 데이터를 미세 조정 단계에 추가하여 보류된 프롬프트에서 사이코패스적인 행동을 줄입니다.

 

환각 완화.

 

널리 사용되는 많은 언어 모델은 사용자와의 상호작용을 조정하는 방법을 학습하기 위해 지도 미세 조정(SFT)을 활용합니다(왕 외., 2022b; 장 외., 2023b). 특히 추론 및 정렬과 같은 기능을 향상시킬 수 있는 합성 SFT 데이터를 생성하는 방법은 여러 가지가 존재합니다(Wei et al., 2023a, b). 그러나 이러한 합성 데이터는 사소하지 않은 양의 환각된 답변을 포함하거나 모델이 답을 모르는 질문에 대한 답을 학습하도록 강요함으로써 언어 모델에 환각을 유도할 수 있음이 밝혀졌습니다(Zhang et al., 2023c). 이러한 사례는 합성 데이터가 올바르게 적용되지 않을 경우 언어 모델의 환각을 실제로 증가시킬 수 있음을 보여줍니다.

 

반면에 최근의 연구에서는 합성 데이터를 사용하여 환각을 완화하는 데 유망한 결과를 보여주기도 했습니다. 예를 들어, GPT-4(OpenAI, 2023)는 강화 학습을 수행하기 위해 합성 환각 데이터를 활용한 보상 모델을 사용하여 훈련되었습니다(Zhang et al., 2023c). 이 방법을 통해 TruthfulQA(Lin et al., 2022) 데이터 세트의 성능이 크게 향상되었습니다(Zhang et al., 2023c). 마찬가지로 Jones 등(2023)은 환각을 쉽게 평가할 수 있는 합성 작업을 설계하여 이 작업을 활용하여 접두사 튜닝을 통해 연속 포스트픽스를 학습함으로써 LLM 출력을 최적화했습니다. Tian 등(2023)은 자동화된 사실 확인 및 신뢰도 점수를 사용하여 모델 응답 쌍의 사실성 점수를 매긴 다음, 이를 DPO로 언어 모델을 미세 조정하여 사실성을 개선하는 데 사용합니다(Rafailov 등, 2023). 그러나 환각을 완화하기 위해 합성 데이터를 사용하는 지속적인 연구는 환각을 확장 가능하게 평가할 수 있는 합성 과제의 부족으로 인해 여전히 제한적입니다.

 

사람들이 공유하는 선호도와 가치에 맞춰 조정하기.

 

가치 정렬 또는 사람이 선호하는 데이터를 직접 미세 조정하는 것은 언어 모델을 정렬하는 간단한 방법이지만, 이 방법에는 종종 상당한 양의 사람 주석이 필요하므로 규모에 따라 엄청나게 많은 비용이 들 수 있습니다. 또한 이러한 주석은 다양한 스타일과 일관성 없는 품질을 보이는 경우가 많으며, 특히 품질 스펙트럼의 하위에 있는 주석이 제대로 달리지 않은 샘플의 경우 더욱 그렇습니다(Meta, 2023; Gilardi 외., 2023b). 이러한 실질적인 문제를 해결하기 위해 '인간 피드백을 통한 강화 학습(RLHF)'이라는 고급 기술이 제안되었습니다(Leike 외., 2018; Christiano 외., 2017; Ouyang 외., 2022). 이 접근 방식은 인간의 데이터로 보상 모델을 학습시켜 인간의 판단을 대신하여 LM 생성 정책의 최적화를 유도하는 것입니다.

 

최근 연구에서는 보다 강력한 보상 모델을 훈련하기 위해 합성 데이터와 실제 인간 데이터를 혼합하여 사용할 것을 제안했습니다(Gao et al., 2023). 헌법적 AI(Bai et al., 2022)는 몇 가지 원칙을 사용하여 AI가 생성한 비평과 피드백을 조정하고 이러한 합성 데이터를 사용하여 일반적인 RLHF 파이프라인에서 실제 인간 데이터를 대체할 것을 제안합니다. 이 RLAIF(즉, AI 피드백을 통한 강화 학습) 방법으로 훈련된 모델은 RLHF 기준선과 유사한 강력한 성능을 보여줍니다. 일반적으로 합성 데이터는 연구자들이 저비용으로 대규모의 다양하고 통제된 훈련 데이터 세트를 생성할 수 있게 함으로써 인간의 가치와 선호도 조정을 위한 강력한 솔루션을 제공합니다(Cui et al., 2023; Ganguli et al., 2022). 윤리적 딜레마(Perez 외, 2022), 사회적 상호작용(Liu 외, 2023c), 문화적 규범(Ziems 외, 2023)을 포함하는 광범위한 시나리오를 시뮬레이션함으로써 합성 데이터를 통해 AI 모델이 인간의 가치에 부합하는지 종합적이고 체계적으로 테스트할 수 있습니다(Askell 외, 2021). 이러한 접근 방식은 AI 시스템이 실제 환경에 배포되기 전에 편향성(Liu et al., 2021; Ntoutsi et al., 2020), 공정성(Zhao et al., 2018; Landers and Behrend, 2023), 의도하지 않은 결과와 관련된 문제를 식별하고 완화하는 데 도움이 됩니다(Ye et al., 2024).

 

그러나 충실도가 낮은 합성 인간 선호도 데이터는 미묘한 인간의 판단을 정확하게 반영하는 데 한계가 있을 수 있다는 점을 인식하는 것이 중요합니다(Argyle et al., 2023). 결과적으로 결과 모델은 '탈옥 공격'(Huang et al., 2023a; Deshpande et al., 2023)에서 덜 견고할 수 있으며, 안전 훈련을 통해서도 전략적으로 기만적인 행동이 드러날 수 있습니다(Pan et al., 2022; Steinhardt, 2022; Everitt et al., 2021). 이러한 위험을 완화하기 위해 연구자들은 합성 데이터의 품질과 다양성을 지속적으로 개선하고 개선하여 인간의 가치와 선호의 복잡성을 더 잘 포착하는 보다 복잡하고 포괄적인 시나리오를 통합해야 합니다. 또한 합성 데이터를 실제 데이터와 결합하고 실제 세계와 동기화할 수 있는 대화형 환경에서 합성 데이터를 생성하는 것이 유망한 해결책이 될 수 있습니다. 효과적인 AI 거버넌스 및 규제의 필요성이 커짐에 따라 합성 데이터는 인간의 가치와 사회적 기대에 부합하는 신뢰, 책임, AI 기술 개발을 촉진하는 확장 가능한 감독 메커니즘을 구현하는 데 점점 더 중요한 역할을 하게 될 것입니다.

 

3. 평가에서의 합성 데이터

 

합성 데이터는 다양한 관점의 평가에 널리 사용됩니다:

 

사실성.

 

AI 시스템은 사실적인 지식이나 데이터에 근거하지 않은 정보나 응답을 생성하여 공식적으로 환각이라고 알려진 오해의 소지가 있거나 잘못된 내용을 생성할 수 있습니다(Ji et al., 2023). 사실성 평가는 AI 시스템 출력의 지식과 학습 데이터 및 지식 기반에서 제공하는 지식의 일관성을 보장하는 것을 목표로 합니다(Ji et al., 2023; Zhang et al., 2023c). 초기의 통계 기반 환각 평가 방법은 입력과 출력 콘텐츠 간의 어휘 중첩을 직접 계산하기 위해 n-그램에 의존했습니다(Dhingra et al., 2019; Wang et al., 2020). 그러나 이러한 방법은 어휘 중복만을 고려하고 의미론이나 문장 의미를 고려하지 않기 때문에(Ji et al., 2023) 더 복잡한 형태의 환각을 평가하는 데는 적합하지 않다는 한계가 있습니다. 이후 보증 방법은 통계적 접근 방식에서 토큰 차이 기반 방법에 비해 더 강력한 모델 기반 방법으로 전환되었습니다(Honovich et al., 2021). 이러한 모델 기반 평가 방법은 이전 방법보다 더 발전했지만 여전히 한계가 있습니다. 예를 들어, 모델은 환각의 정도만 출력할 수 있으며 특정 오류를 정확히 찾아내는 데 어려움을 겪을 수 있습니다(Falke et al., 2019). Feng 등(2023a)은 LLM 생성과 지식 그래프의 랜덤 워크를 결합하여 그래프의 실체와 관계를 인식하는 사실성에 대한 합성 평가 데이터를 생성할 것을 제안합니다. Wei 등(2024)은 긴 형식의 사실성 평가를 위해 LongFact라는 합성 데이터셋을 생성하고 구글 검색을 근거 소스로, 자동화된 판단을 위해 LLM을 사용하여 인간 수준의 정확도를 달성하면서도 현저히 낮은 비용을 달성했습니다(Min et al., 2023).

 

안전.

 

레드팀은 AI 모델의 안전성과 견고성을 평가하기 위한 강력한 기법입니다(Ganguli 외, 2022; Casper 외, 2023b). 레드팀은 정렬되지 않거나 유해한 결과를 도출하도록 설계된 다양하고 현실적인 시나리오를 생성함으로써(Casper 외, 2023a) AI 시스템의 취약성과 약점을 노출할 수 있습니다(Perez 외, 2022). 예를 들어, Perez 등(2023)은 LM을 사용하여 다른 LM의 동작을 평가하기 위한 데이터 세트를 생성합니다. 이들은 결국 사람이 검증한 154개의 고품질 데이터 세트를 생성하고 LM이 크기에 따라 성능이 저하되는 역 스케일링의 새로운 사례를 발견했습니다. Hubinger 등(2024)은 합성 데이터를 활용하여 LM에 대한 백도어 공격을 대규모로 유발하고, LM이 이러한 공격에서 기만적인 행동을 보이고 안전하다는 잘못된 인상을 줄 수 있으며 표준 '안전 교육'으로는 이러한 기만성을 쉽게 제거할 수 없다는 사실을 발견했습니다. 이러한 방법은 복잡한 문제와 보이지 않는 영역에 대한 인간의 감독을 확장하기 위해 AI 지원을 사용할 수 있는 가능성을 보여줍니다(Bowman 외., 2022).

 

인간 평가 지원.

 

최근 연구에 따르면 많은 경우 대규모 학습 모델(LLM)의 합성 판단이 실제 인간 평가에 대한 적격하고 신속하며 저렴한 대안으로 사용될 수 있습니다(Gilardi 외., 2023a). GPT-4를 판정 기준으로 사용하는 알파카 평가(Alpaca Eval)(Li et al., 2023b)와 MT 벤치(Zheng et al., 2023)는 LM 기반 챗봇의 종합적인 능력을 측정하는 두 가지 유명한 벤치마크입니다. 코딩 작업에서는 사람이 실제 실행과 실행 로그 분석을 통해 보다 효율적으로 평가할 수 있기 때문에 사람의 평가를 돕기 위해 합성 환경이 일반적으로 선택됩니다. Gu 등(2024)은 CodeLLaMA-34B에서 생성된 800개의 Python 함수로 구성된 코드 실행 추론 벤치마크인 CRUXEval을 제안합니다. 마찬가지로 Liu 등(2024a)은 독립 실행 추론(IER), 종속 실행 추론(DER), 명세 추론(SR)에 대한 LLM의 코드 추론 능력을 측정하는 프레임워크인 CodeMind를 소개합니다. 합성 데이터를 기반으로 한 이러한 모든 평가는 실제 인간의 판단과 강한 상관관계를 보여줍니다.

 

4. 합성 데이터의 도전과 한계

 

합성 데이터는 수많은 이점과 응용 분야를 제공하지만, 그 사용과 관련된 잠재적인 도전과 한계를 인식하고 해결하는 것이 중요합니다. 이 섹션에서는 합성 데이터를 둘러싼 세 가지 중요한 우려 사항에 대해 자세히 살펴봅니다:

 

합성 데이터의 오용은 잘못된 정보를 확산시킬 수 있습니다.

 

합성 데이터의 잠재적 오용은 AI 시스템의 책임 있는 개발을 위해 반드시 해결해야 할 중요한 우려 사항입니다. 현재의 AI 모델은 텍스트(Gemini-Team 외., 2024, 2023), 이미지(Saharia 외., 2022b; Ramesh 외., 2022), 노래3, 심지어 동영상(예: OpenAI SORA 4)에 이르기까지 사람과 유사한 데이터를 생성할 수 있는 능력이 점점 더 향상되고 있습니다. 합성 데이터가 실제 사람을 사칭하거나 여론을 조작하거나 정치 과정에 영향을 미치기 위해 사용될 경우 특히 위험할 수 있습니다. 또한, 합성 데이터에 기반한 허위 정보의 유포는 합법적인 정보 출처에 대한 신뢰를 약화시켜 사람들이 진실과 거짓을 구별하기 점점 더 어려워질 수 있습니다(Byman et al., 2023; Rid, 2020). 이러한 위험을 완화하기 위해서는 연구자, 개발자, 정책 입안자들이 합성 데이터의 윤리적 생성 및 사용을 위한 명확한 가이드라인과 모범 사례를 수립하고, 합성 허위 정보를 탐지하고 대응할 수 있는 강력한 메커니즘을 마련하는 것이 중요합니다(Groh et al., 2022). 이러한 문제를 선제적으로 해결함으로써 우리는 합성 데이터의 이점을 활용하면서도 그 잠재적 피해를 최소화할 수 있습니다.

 

합성 데이터는 AI 정렬에 모호함을 야기할 수 있습니다.

 

AI 모델을 조정하는 데 합성 데이터의 사용이 증가함에 따라(예: 헌법적 AI(Bai et al., 2022)) 상당한 모호성과 불확실성이 발생할 수 있습니다. AI 정렬의 목표는 AI 시스템이 인간의 가치와 의도에 부합하는 방식으로 작동하도록 하는 것입니다. 그러나 실제 데이터에서 수집한 것이 아니라 인위적으로 생성된 합성 데이터는 인간의 가치와 선호도의 뉘앙스와 복잡성을 정확하게 나타내지 못할 수 있습니다(Zhou et al., 2024). 이러한 불일치로 인해 AI 모델은 편향되거나(Feng et al., 2023b; Liu et al., 2021), 근거가 없거나(Liu et al., 2022; Patel and Pavlick, 2022), 실제 시나리오를 잘못 표현한 데이터로부터 학습하게 될 수 있습니다(Weidinger et al., 2021; Ji et al., 2023). 결과적으로 합성 데이터로 학습된 AI 시스템은 인간의 기대에 부합하지 않는 행동을 보여 의도하지 않은 결과를 초래하거나 심지어 해로운 행동으로 이어질 수 있습니다(Zou 외, 2023; Anderljung 외, 2023). 또한 합성 데이터로 인한 모호성으로 인해 AI 모델의 의사결정 과정을 해석하고 이해하는 것이 어려워질 수 있으며(Lightman et al., 2023), 이는 정합성을 보장하는 작업을 더욱 복잡하게 만들 수 있습니다. 이러한 위험을 완화하기 위해 연구자들은 정렬 연구에서 합성 데이터를 사용할 때의 한계와 잠재적 단점을 신중하게 고려하고 이러한 데이터로 학습된 AI 모델을 검증 및 테스트하는 강력한 방법을 개발하는 것이 중요합니다.

 

합성 데이터를 사용하여 교육하면 평가 오염 제거가 더 어려워집니다.

 

모델 훈련에 합성 데이터를 사용하면 공정한 평가에 심각한 문제가 발생합니다. 평가 벤치마크는 교과 과정 웹사이트나 포럼과 같은 공개 텍스트 소스를 참조하여 생성되는 경우가 많습니다. 결과적으로 공개적으로 사용 가능한 모든 벤치마크 테스트 사례가 때때로 LLM의 사전 교육 데이터에 포함될 수 있다는 주장이 있습니다(Hoffmann et al., 2022; Gao et al., 2021). 합성 데이터를 사용하면 이 문제가 완화되기는커녕 더욱 악화됩니다. 커뮤니티에서는 k개의 롱테일 토큰의 확률을 확인하는 min-k % prob(Shi et al., 2023)와 같은 평가 오염을 탐지하기 위한 여러 기술을 제안했지만 이러한 토큰 수준 오염 제거 방법은 다음과 같은 경우 부적절합니다. 모델은 합성 데이터로 훈련됩니다. 합성 데이터에는 벤치마크 데이터의 재구성된 버전이 포함될 수 있으며(Oren et al., 2023; Mattern et al., 2023), 토큰 수준 오염 제거가 효과적이지 않게 됩니다. 보다 발전된 평가 오염 탐지 기술을 개발하는 것 외에도 모델 개발자는 내부 및 보호된 평가 벤치마크를 만들고 유지하는 데 투자하는 것이 좋습니다. 이러한 독점 벤치마크는 누출을 방지하고 평가 프로세스의 무결성을 보장하기 위해 신중하게 보호되어야 합니다.

 

5. 향후 연구 방향

 

합성 데이터 분야가 계속 발전함에 따라 향후 연구 및 개발의 몇 가지 유망한 방향이 있습니다. 이 섹션에서는 추가 연구가 필요한 세 가지 핵심 분야를 간략하게 설명합니다:

 

합성 데이터 확장.

 

과도하게 훈련된 많은 소규모 언어 모델(예: 미스트랄 계열 모델(Jiang 외, 2023), 젬마 계열 모델(Gemma-Team 외, 2024) 등)의 인상적인 성능은 많은 양의 토큰으로 훈련해야 할 필요성을 보여줍니다(심지어 계산 최적 친칠라 법칙(Rae 외, 2021)을 통과할 수도 있음). 그러나 합성 데이터의 품질이 실제 데이터만큼 일관적이지 않을 수 있기 때문에 합성 데이터를 사용한 훈련에서도 유사한 결론을 얻을 수 있을지는 아직 미지수입니다(Yu et al., 2024). 향후 연구에서는 합성 데이터의 스케일링 법칙을 조사하고 합성 샘플의 양과 품질 사이의 최적의 균형을 결정해야 합니다. 이러한 탐구는 대규모 언어 모델 학습에 합성 데이터를 활용하는 가장 효과적인 전략을 이해하는 데 도움이 될 수 있으며, 잠재적으로 보다 효율적이고 비용 효율적인 접근 방식으로 이어질 수 있습니다(Muennighoff et al., 2024).

 

합성 데이터의 품질과 다양성을 더욱 향상시킵니다.

 

합성 데이터를 생성하는 기존의 방법은 가능성을 보여주었지만, 실제 데이터와 매우 유사한 고품질의 어트리뷰션이 있는 합성 샘플을 생성하는 측면에서는 여전히 개선의 여지가 있습니다. 향후 연구는 생성된 데이터의 특정 속성을 제어하고 조작할 수 있는 새로운 고급 기술(또는 생성적 적대적 네트워크(GAN)(Goodfellow 외, 2020) 또는 확산 모델(Ho 외, 2020)과 같은 기존 기술을 기반으로 함)을 개발하여 다양하고 맞춤화된 합성 데이터 세트를 생성할 수 있도록 하는 데 초점을 맞춰야 합니다. 또한, 연구자들은 도메인별 지식을 통합하여 생성된 데이터가 데이터 품질을 유지하면서 대상 도메인에 존재하는 기본 제약 조건과 패턴을 준수하도록 보장할 수 있는 방법을 모색해야 합니다(예: 검색 증강 생성(RAG)(Lewis et al., 2020; Borgeaud et al., 2022)). 어트리뷰션된 합성 데이터 생성의 최첨단 기술을 발전시킴으로써, 프라이버시를 보호하는 분석(Assefa 외, 2020)과 헬스케어(예: 합성 의료 이미지(Frid-Adar 외, 2018; Wei 외, 2019)) 및 금융(예: 모의 거래 궤적(Zheng 외, 2022))에서 사회과학(Argyle 외, 2023; Park 외, 2023) 등에 이르는 다양한 분야의 모델 훈련에 새로운 기회를 열 수 있게 됩니다.

 

충실도가 높고 확장 가능한 효율적인 감독을 향해.

 

AI 모델이 점점 더 복잡해지고 자율화됨에 따라 사람의 감독이나 실제 데이터에 의존하는 기존의 감독 방법으로는 그 행동을 모니터링하고 평가하기가 어려워지고 있습니다(Amodei et al., 2016). 향후 연구에서는 이러한 첨단 시스템에 대한 충실도 높은 확장 가능한 감독을 위해 합성 데이터를 사용하는 방법을 모색해야 합니다. 기존의 방법은 일반적으로 합성 데이터를 얻기 위해 토론(Leike 외, 2018), 반영(Zhang 외, 2023a) 또는 수정(Liu 외, 2023c)과 같은 사회적 반복에서 특정 시나리오를 시뮬레이션하는 반면, 최근 연구에서 좁혀지거나(Cheng 외, 2023) 지나치게 단순화된 시나리오만 다루는 시뮬레이션의 많은 문제가 발견됨에 따라 새로운 접근법은 보다 포괄적인 시나리오와 더 많은 양식을 다룰 수 있습니다(Sun 외, 2023). 앞으로 또 다른 성장 방향은 확장 가능한 감독을 보다 효율적으로 달성하는 방법입니다. 합성 데이터 생성을 완전히 제어할 수 있게 되면 더 적은 합성 데이터로 더 많은 표적 감독을 제공할 수 있을 것입니다. 효과적인 AI 거버넌스와 규제의 필요성이 커짐에 따라 합성 데이터는 사회를 위해 강력하고 책임감 있으며 안전한 AI 기술 배포를 촉진하는 보다 신뢰할 수 있는 확장 가능한 감독 메커니즘을 구현하는 데 점점 더 중요한 역할을 할 것입니다(Askell 외., 2021; Bowman 외., 2022).

 

새로운 자기 개선 능력.

 

우리는 일반적으로 합성 데이터를 생성할 때 가장 성능이 뛰어난 모델을 선택하는데, 이는 생성 품질이 높기 때문입니다. 그러나 흥미로운 질문이 생깁니다. 모델이 학습된 데이터보다 더 나은 합성 데이터를 생성하여 스스로 개선할 수 있을까요? 합성 데이터 생성을 통한 자기 개선이라는 개념은 향후 연구를 위한 흥미로운 방향입니다. 모델이 원래의 훈련 세트보다 더 높은 품질의 데이터를 생성할 수 있다면, 향상된 합성 데이터를 반복적으로 학습하여 자체 성능을 부트스트랩할 수 있을 것입니다(Chen et al., 2024). 이러한 자기 개선 능력은 시간이 지남에 따라 자율적으로 기술과 지식을 개선할 수 있는 더 발전된 AI 시스템의 출현으로 이어질 수 있습니다(Burns 외, 2023; Huang 외, 2023b). 최근의 연구는 이러한 방향으로 고무적인 진전을 보이고 있지만(Chen 등, 2024; Yuan 등, 2024), 자기 개선의 상한선과 그 효과에 대한 근본적인 이유는 여전히 미해결 과제로 남아 있습니다. 향후 연구에서는 보다 다양한 시나리오에서 합성 데이터를 생성하여 필요한 조건, 잠재적 한계 및 관련 위험을 조사함으로써 자기 개선의 이론적 토대와 실제적 실현 가능성을 조사해야 합니다. 잠재된 자기계발 능력의 잠재력을 발휘함으로써 우리는 보다 적응력 있고 효율적이며 자율적인 학습 과정을 가능하게 할 수 있습니다(LeCun, 2022).

 

6. 결론

 

합성 데이터는 데이터 부족, 개인정보 보호 문제, AI 개발의 높은 비용 등의 문제를 해결할 수 있는 유망한 솔루션으로 부상했습니다. 합성 데이터는 사실적이고 다양한 데이터 세트를 생성함으로써 다양한 영역에서 대규모로 AI 모델을 훈련하고 평가할 수 있게 해줍니다. 인간 수준 또는 초인간 수준의 지능에 가까워질수록 모델이 발전하려면 평균 이상의 데이터가 필요하기 때문에 합성 데이터 확보가 더욱 중요해집니다. 그러나 합성 데이터의 사실성, 충실성, 편향성을 보장하는 것은 여전히 중요한 과제로 남아 있습니다.

 

합성 데이터에 대한 향후 연구 방향은 생성 모델의 충실도와 제어 가능성을 개선하고 표준화된 평가 및 오염 프로토콜과 도구를 개발하는 데 초점을 맞출 수 있습니다. 또한 합성 데이터를 다른 기술과 통합하고 다른 영역에 적용하는 방법도 모색할 수 있습니다. 이러한 어려움에도 불구하고 AI 연구 발전에 있어 합성 데이터의 잠재적 이점은 상당합니다. 합성 데이터를 책임감 있고 효과적으로 활용함으로써 사회 전체에 혜택을 주는 더욱 강력하고 포용적이며 신뢰할 수 있는 AI 시스템을 구축할 수 있습니다. 

 

 

 

References

Abay et al. (2019)
N. C. Abay, Y. Zhou, M. Kantarcioglu, B. Thuraisingham, and L. Sweeney.Privacy preserving synthetic data release using deep learning.In Machine Learning and Knowledge Discovery in Databases: European Conference, ECML PKDD 2018, Dublin, Ireland, September 10–14, 2018, Proceedings, Part I 18, pages 510–526. Springer, 2019.
Abulkhanov et al. (2023)
D. Abulkhanov, N. Sorokin, S. Nikolenko, and V. Malykh.Lapca: Language-agnostic pretraining with cross-lingual alignment.In Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval, pages 2098–2102, 2023.
Ahn et al. (2022)
M. Ahn, A. Brohan, N. Brown, Y. Chebotar, O. Cortes, B. David, C. Finn, K. Gopalakrishnan, K. Hausman, A. Herzog, et al.Do as i can, not as i say: Grounding language in robotic affordances.ArXiv preprint, abs/2204.01691, 2022.URL https://arxiv.org/abs/2204.01691.
Amodei et al. (2016)
D. Amodei, C. Olah, J. Steinhardt, P. Christiano, J. Schulman, and D. Mané.Concrete problems in ai safety.ArXiv preprint, abs/1606.06565, 2016.URL https://arxiv.org/abs/1606.06565.
Anderljung et al. (2023)
M. Anderljung, J. Barnhart, J. Leung, A. Korinek, C. O’Keefe, J. Whittlestone, S. Avin, M. Brundage, J. Bullock, D. Cass-Beggs, et al.Frontier ai regulation: Managing emerging risks to public safety.ArXiv preprint, abs/2307.03718, 2023.URL https://arxiv.org/abs/2307.03718.
Argyle et al. (2023)
L. P. Argyle, E. C. Busby, N. Fulda, J. R. Gubler, C. Rytting, and D. Wingate.Out of one, many: Using language models to simulate human samples.Political Analysis, 31(3):337–351, 2023.
Asai et al. (2021)
A. Asai, X. Yu, J. Kasai, and H. Hajishirzi.One question answering model for many languages with cross-lingual dense passage retrieval.In M. Ranzato, A. Beygelzimer, Y. N. Dauphin, P. Liang, and J. W. Vaughan, editors, Advances in Neural Information Processing Systems 34: Annual Conference on Neural Information Processing Systems 2021, NeurIPS 2021, December 6-14, 2021, virtual, pages 7547–7560, 2021.URL https://proceedings.neurips.cc/paper/2021/hash/3df07fdae1ab273a967aaa1d355b8bb6-Abstract.html.
Askell et al. (2021)
A. Askell, Y. Bai, A. Chen, D. Drain, D. Ganguli, T. Henighan, A. Jones, N. Joseph, B. Mann, N. DasSarma, et al.A general language assistant as a laboratory for alignment.ArXiv preprint, abs/2112.00861, 2021.URL https://arxiv.org/abs/2112.00861.
Assefa et al. (2020)
S. A. Assefa, D. Dervovic, M. Mahfouz, R. E. Tillman, P. Reddy, and M. Veloso.Generating synthetic data in finance: opportunities, challenges and pitfalls.In Proceedings of the First ACM International Conference on AI in Finance, pages 1–8, 2020.
Azerbayev et al. (2023)
Z. Azerbayev, H. Schoelkopf, K. Paster, M. D. Santos, S. McAleer, A. Q. Jiang, J. Deng, S. Biderman, and S. Welleck.Llemma: An open language model for mathematics.ArXiv preprint, abs/2310.10631, 2023.URL https://arxiv.org/abs/2310.10631.
Babbar and Schölkopf (2019)
R. Babbar and B. Schölkopf.Data scarcity, robustness and extreme multi-label classification.Machine Learning, 108(8):1329–1351, 2019.
Bai et al. (2022)
Y. Bai, S. Kadavath, S. Kundu, A. Askell, J. Kernion, A. Jones, A. Chen, A. Goldie, A. Mirhoseini, C. McKinnon, et al.Constitutional ai: Harmlessness from ai feedback.ArXiv preprint, abs/2212.08073, 2022.URL https://arxiv.org/abs/2212.08073.
Barbierato et al. (2022)
E. Barbierato, M. L. D. Vedova, D. Tessera, D. Toti, and N. Vanoli.A methodology for controlling bias and fairness in synthetic data generation.Applied Sciences, 12(9):4619, 2022.
Bi et al. (2021)
W. Bi, H. Li, and J. Huang.Data augmentation for text generation without any augmented data.In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 2223–2237, Online, 2021. Association for Computational Linguistics.10.18653/v1/2021.acl-long.173.URL https://aclanthology.org/2021.acl-long.173.
Borgeaud et al. (2022)
S. Borgeaud, A. Mensch, J. Hoffmann, T. Cai, E. Rutherford, K. Millican, G. van den Driessche, J. Lespiau, B. Damoc, A. Clark, D. de Las Casas, A. Guy, J. Menick, R. Ring, T. Hennigan, S. Huang, L. Maggiore, C. Jones, A. Cassirer, A. Brock, M. Paganini, G. Irving, O. Vinyals, S. Osindero, K. Simonyan, J. W. Rae, E. Elsen, and L. Sifre.Improving language models by retrieving from trillions of tokens.In K. Chaudhuri, S. Jegelka, L. Song, C. Szepesvári, G. Niu, and S. Sabato, editors, International Conference on Machine Learning, ICML 2022, 17-23 July 2022, Baltimore, Maryland, USA, volume 162 of Proceedings of Machine Learning Research, pages 2206–2240. PMLR, 2022.URL https://proceedings.mlr.press/v162/borgeaud22a.html.
Borisov et al. (2022)
V. Borisov, K. Seßler, T. Leemann, M. Pawelczyk, and G. Kasneci.Language models are realistic tabular data generators.ArXiv preprint, abs/2210.06280, 2022.URL https://arxiv.org/abs/2210.06280.
Borkman et al. (2021)
S. Borkman, A. Crespi, S. Dhakad, S. Ganguly, J. Hogins, Y. C. Jhang, M. Kamalzadeh, B. Li, S. Leal, P. Parisi, C. Romero, W. Smith, A. Thaman, S. Warren, and N. Yadav.Unity perception: Generate synthetic data for computer vision.ArXiv preprint, abs/2107.04259, 2021.URL https://arxiv.org/abs/2107.04259.
Bowman et al. (2022)
S. R. Bowman, J. Hyun, E. Perez, E. Chen, C. Pettit, S. Heiner, K. Lukošiūtė, A. Askell, A. Jones, A. Chen, et al.Measuring progress on scalable oversight for large language models.ArXiv preprint, abs/2211.03540, 2022.URL https://arxiv.org/abs/2211.03540.
Burns et al. (2023)
C. Burns, P. Izmailov, J. H. Kirchner, B. Baker, L. Gao, L. Aschenbrenner, Y. Chen, A. Ecoffet, M. Joglekar, J. Leike, et al.Weak-to-strong generalization: Eliciting strong capabilities with weak supervision.ArXiv preprint, abs/2312.09390, 2023.URL https://arxiv.org/abs/2312.09390.
Byman et al. (2023)
D. L. Byman, C. Gao, C. Meserole, and V. Subrahmanian.Deepfakes and international conflict.Brookings Institution, 2023.
Carbune et al. (2024)
V. Carbune, H. Mansoor, F. Liu, R. Aralikatte, G. Baechler, J. Chen, and A. Sharma.Chart-based reasoning: Transferring capabilities from llms to vlms.ArXiv preprint, abs/2403.12596, 2024.URL https://arxiv.org/abs/2403.12596.
Casper et al. (2023a)
S. Casper, T. Bu, Y. Li, J. Li, K. Zhang, K. Hariharan, and D. Hadfield-Menell.Red teaming deep neural networks with feature synthesis tools.In Thirty-seventh Conference on Neural Information Processing Systems, 2023a.
Casper et al. (2023b)
S. Casper, J. Lin, J. Kwon, G. Culp, and D. Hadfield-Menell.Explore, establish, exploit: Red teaming language models from scratch.ArXiv preprint, abs/2306.09442, 2023b.URL https://arxiv.org/abs/2306.09442.
Caswell et al. (2019)
I. Caswell, C. Chelba, and D. Grangier.Tagged back-translation.In Proceedings of the Fourth Conference on Machine Translation (Volume 1: Research Papers), pages 53–63, Florence, Italy, 2019. Association for Computational Linguistics.10.18653/v1/W19-5206.URL https://aclanthology.org/W19-5206.
Chauhan et al. (2022)
S. Chauhan, S. Saxena, and P. Daniel.Improved unsupervised neural machine translation with semantically weighted back translation for morphologically rich and low resource languages.Neural Processing Letters, 54(3):1707–1726, 2022.
Chen et al. (2024)
Z. Chen, Y. Deng, H. Yuan, K. Ji, and Q. Gu.Self-play fine-tuning converts weak language models to strong language models, 2024.
Cheng et al. (2023)
M. Cheng, T. Piccardi, and D. Yang.CoMPosT: Characterizing and evaluating caricature in LLM simulations.In H. Bouamor, J. Pino, and K. Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pages 10853–10875, Singapore, Dec. 2023. Association for Computational Linguistics.10.18653/v1/2023.emnlp-main.669.URL https://aclanthology.org/2023.emnlp-main.669.
Chern et al. (2023)
E. Chern, H. Zou, X. Li, J. Hu, K. Feng, J. Li, and P. Liu.Generative ai for math: Abel.https://github.com/GAIR-NLP/abel, 2023.
Chi et al. (2020)
Z. Chi, L. Dong, F. Wei, W. Wang, X. Mao, and H. Huang.Cross-lingual natural language generation via pre-training.In The Thirty-Fourth AAAI Conference on Artificial Intelligence, AAAI 2020, The Thirty-Second Innovative Applications of Artificial Intelligence Conference, IAAI 2020, The Tenth AAAI Symposium on Educational Advances in Artificial Intelligence, EAAI 2020, New York, NY, USA, February 7-12, 2020, pages 7570–7577. AAAI Press, 2020.URL https://aaai.org/ojs/index.php/AAAI/article/view/6256.
Christiano et al. (2017)
P. F. Christiano, J. Leike, T. B. Brown, M. Martic, S. Legg, and D. Amodei.Deep reinforcement learning from human preferences.In I. Guyon, U. von Luxburg, S. Bengio, H. M. Wallach, R. Fergus, S. V. N. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, December 4-9, 2017, Long Beach, CA, USA, pages 4299–4307, 2017.URL https://proceedings.neurips.cc/paper/2017/hash/d5e2c0adad503c91f91df240d0cd4e49-Abstract.html.
Cui et al. (2023)
G. Cui, L. Yuan, N. Ding, G. Yao, W. Zhu, Y. Ni, G. Xie, Z. Liu, and M. Sun.Ultrafeedback: Boosting language models with high-quality feedback, 2023.
Dahmen and Cook (2019)
J. Dahmen and D. Cook.Synsys: A synthetic data generation system for healthcare applications.Sensors, 19(5):1181, 2019.
Deshpande et al. (2023)
A. Deshpande, V. Murahari, T. Rajpurohit, A. Kalyan, and K. Narasimhan.Toxicity in chatgpt: Analyzing persona-assigned language models.ArXiv preprint, abs/2304.05335, 2023.URL https://arxiv.org/abs/2304.05335.
Dhingra et al. (2019)
B. Dhingra, M. Faruqui, A. Parikh, M.-W. Chang, D. Das, and W. Cohen.Handling divergent reference texts when evaluating table-to-text generation.In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 4884–4895, Florence, Italy, 2019. Association for Computational Linguistics.10.18653/v1/P19-1483.URL https://aclanthology.org/P19-1483.
Ding et al. (2023)
N. Ding, Y. Chen, B. Xu, Y. Qin, Z. Zheng, S. Hu, Z. Liu, M. Sun, and B. Zhou.Enhancing chat language models by scaling high-quality instructional conversations.ArXiv preprint, abs/2305.14233, 2023.URL https://arxiv.org/abs/2305.14233.
Edunov et al. (2018)
S. Edunov, M. Ott, M. Auli, and D. Grangier.Understanding back-translation at scale.In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 489–500, Brussels, Belgium, 2018. Association for Computational Linguistics.10.18653/v1/D18-1045.URL https://aclanthology.org/D18-1045.
El Emam et al. (2020)
K. El Emam, L. Mosquera, and R. Hoptroff.Practical synthetic data generation: balancing privacy and the broad availability of data.O’Reilly Media, 2020.
Epaliyana et al. (2021)
K. Epaliyana, S. Ranathunga, and S. Jayasena.Improving back-translation with iterative filtering and data selection for sinhala-english nmt.In 2021 Moratuwa Engineering Research Conference (MERCon), pages 438–443. IEEE, 2021.
Everitt et al. (2021)
T. Everitt, M. Hutter, R. Kumar, and V. Krakovna.Reward tampering problems and solutions in reinforcement learning: A causal influence diagram perspective.Synthese, 198(Suppl 27):6435–6467, 2021.
Falke et al. (2019)
T. Falke, L. F. R. Ribeiro, P. A. Utama, I. Dagan, and I. Gurevych.Ranking generated summaries by correctness: An interesting but challenging application for natural language inference.In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 2214–2220, Florence, Italy, 2019. Association for Computational Linguistics.10.18653/v1/P19-1213.URL https://aclanthology.org/P19-1213.
Feng et al. (2023a)
S. Feng, V. Balachandran, Y. Bai, and Y. Tsvetkov.FactKB: Generalizable factuality evaluation using language models enhanced with factual knowledge.In H. Bouamor, J. Pino, and K. Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pages 933–952, Singapore, Dec. 2023a. Association for Computational Linguistics.10.18653/v1/2023.emnlp-main.59.URL https://aclanthology.org/2023.emnlp-main.59.
Feng et al. (2023b)
S. Feng, C. Y. Park, Y. Liu, and Y. Tsvetkov.From pretraining data to language models to downstream tasks: Tracking the trails of political biases leading to unfair nlp models.ArXiv preprint, abs/2305.08283, 2023b.URL https://arxiv.org/abs/2305.08283.
Frid-Adar et al. (2018)
M. Frid-Adar, E. Klang, M. Amitai, J. Goldberger, and H. Greenspan.Synthetic data augmentation using gan for improved liver lesion classification.In 2018 IEEE 15th international symposium on biomedical imaging (ISBI 2018), pages 289–293. IEEE, 2018.
Ganguli et al. (2022)
D. Ganguli, L. Lovitt, J. Kernion, A. Askell, Y. Bai, S. Kadavath, B. Mann, E. Perez, N. Schiefer, K. Ndousse, et al.Red teaming language models to reduce harms: Methods, scaling behaviors, and lessons learned.ArXiv preprint, abs/2209.07858, 2022.URL https://arxiv.org/abs/2209.07858.
Gao et al. (2021)
L. Gao, S. Biderman, S. Black, L. Golding, T. Hoppe, C. Foster, J. Phang, H. He, A. Thite, N. Nabeshima, et al.The pile: An 800gb dataset of diverse text for language modeling.ArXiv preprint, abs/2101.00027, 2021.URL https://arxiv.org/abs/2101.00027.
Gao et al. (2023)
L. Gao, J. Schulman, and J. Hilton.Scaling laws for reward model overoptimization.In International Conference on Machine Learning, pages 10835–10866. PMLR, 2023.
Gemini-Team et al. (2023)
Gemini-Team, R. Anil, S. Borgeaud, Y. Wu, J.-B. Alayrac, J. Yu, R. Soricut, J. Schalkwyk, A. M. Dai, A. Hauth, et al.Gemini: a family of highly capable multimodal models.ArXiv preprint, abs/2312.11805, 2023.URL https://arxiv.org/abs/2312.11805.
Gemini-Team et al. (2024)
Gemini-Team, M. Reid, N. Savinov, D. Teplyashin, D. Lepikhin, T. Lillicrap, J.-b. Alayrac, R. Soricut, A. Lazaridou, O. Firat, J. Schrittwieser, et al.Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context.ArXiv preprint, abs/2403.05530, 2024.URL https://arxiv.org/abs/2403.05530.
Gemma-Team et al. (2024)
Gemma-Team, T. Mesnard, C. Hardin, R. Dadashi, S. Bhupatiraju, S. Pathak, L. Sifre, M. Rivière, M. S. Kale, J. Love, et al.Gemma: Open models based on gemini research and technology.ArXiv preprint, abs/2403.08295, 2024.URL https://arxiv.org/abs/2403.08295.
Gilardi et al. (2023a)
F. Gilardi, M. Alizadeh, and M. Kubli.Chatgpt outperforms crowd workers for text-annotation tasks.Proceedings of the National Academy of Sciences, 120(30):e2305016120, 2023a.10.1073/pnas.2305016120.URL https://www.pnas.org/doi/abs/10.1073/pnas.2305016120.
Gilardi et al. (2023b)
F. Gilardi, M. Alizadeh, and M. Kubli.Chatgpt outperforms crowd workers for text-annotation tasks.Proceedings of the National Academy of Sciences, 120(30):e2305016120, 2023b.
Goodfellow et al. (2020)
I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio.Generative adversarial networks.Communications of the ACM, 63(11):139–144, 2020.
Graça et al. (2019)
M. Graça, Y. Kim, J. Schamper, S. Khadivi, and H. Ney.Generalizing back-translation in neural machine translation.In Proceedings of the Fourth Conference on Machine Translation (Volume 1: Research Papers), pages 45–52, Florence, Italy, 2019. Association for Computational Linguistics.10.18653/v1/W19-5205.URL https://aclanthology.org/W19-5205.
Groh et al. (2022)
M. Groh, Z. Epstein, C. Firestone, and R. Picard.Deepfake detection by human crowds, machines, and machine-informed crowds.Proceedings of the National Academy of Sciences, 119(1):e2110013119, 2022.
Gu et al. (2024)
A. Gu, B. Rozière, H. Leather, A. Solar-Lezama, G. Synnaeve, and S. I. Wang.Cruxeval: A benchmark for code reasoning, understanding and execution.ArXiv preprint, abs/2401.03065, 2024.URL https://arxiv.org/abs/2401.03065.
Guarnera et al. (2020)
L. Guarnera, O. Giudice, and S. Battiato.Deepfake detection by analyzing convolutional traces.In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition workshops, pages 666–667, 2020.
Gupta et al. (2021)
A. Gupta, D. Bhatt, and A. Pandey.Transitioning from real to synthetic data: Quantifying the bias in model.ArXiv preprint, abs/2105.04144, 2021.URL https://arxiv.org/abs/2105.04144.
Haluptzok et al. (2022)
P. Haluptzok, M. Bowers, and A. T. Kalai.Language models can teach themselves to program better.ArXiv preprint, abs/2207.14502, 2022.URL https://arxiv.org/abs/2207.14502.
Heusel et al. (2017)
M. Heusel, H. Ramsauer, T. Unterthiner, B. Nessler, and S. Hochreiter.Gans trained by a two time-scale update rule converge to a local nash equilibrium.In I. Guyon, U. von Luxburg, S. Bengio, H. M. Wallach, R. Fergus, S. V. N. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, December 4-9, 2017, Long Beach, CA, USA, pages 6626–6637, 2017.URL https://proceedings.neurips.cc/paper/2017/hash/8a1d694707eb0fefe65871369074926d-Abstract.html.
Ho et al. (2020)
J. Ho, A. Jain, and P. Abbeel.Denoising diffusion probabilistic models.In H. Larochelle, M. Ranzato, R. Hadsell, M. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020.URL https://proceedings.neurips.cc/paper/2020/hash/4c5bcfec8584af0d967f1ab10179ca4b-Abstract.html.
Hoffmann et al. (2022)
J. Hoffmann, S. Borgeaud, A. Mensch, E. Buchatskaya, T. Cai, E. Rutherford, D. de Las Casas, L. A. Hendricks, J. Welbl, A. Clark, et al.An empirical analysis of compute-optimal large language model training.Advances in Neural Information Processing Systems, 35:30016–30030, 2022.
Honovich et al. (2021)
O. Honovich, L. Choshen, R. Aharoni, E. Neeman, I. Szpektor, and O. Abend.
�
2
: Evaluating factual consistency in knowledge-grounded dialogues via question generation and question answering.In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pages 7856–7870, Online and Punta Cana, Dominican Republic, 2021. Association for Computational Linguistics.10.18653/v1/2021.emnlp-main.619.URL https://aclanthology.org/2021.emnlp-main.619.
Howe et al. (2017)
B. Howe, J. Stoyanovich, H. Ping, B. Herman, and M. Gee.Synthetic data for social good.ArXiv preprint, abs/1710.08874, 2017.URL https://arxiv.org/abs/1710.08874.
Huang et al. (2023a)
F. Huang, H. Kwak, and J. An.Is chatgpt better than human annotators? potential and limitations of chatgpt in explaining implicit hate speech.ArXiv preprint, abs/2302.07736, 2023a.URL https://arxiv.org/abs/2302.07736.
Huang et al. (2023b)
J. Huang, S. Gu, L. Hou, Y. Wu, X. Wang, H. Yu, and J. Han.Large language models can self-improve.In H. Bouamor, J. Pino, and K. Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pages 1051–1068, Singapore, Dec. 2023b. Association for Computational Linguistics.10.18653/v1/2023.emnlp-main.67.URL https://aclanthology.org/2023.emnlp-main.67.
Huang et al. (2022)
W. Huang, F. Xia, T. Xiao, H. Chan, J. Liang, P. Florence, A. Zeng, J. Tompson, I. Mordatch, Y. Chebotar, et al.Inner monologue: Embodied reasoning through planning with language models.ArXiv preprint, abs/2207.05608, 2022.URL https://arxiv.org/abs/2207.05608.
Hubinger et al. (2024)
E. Hubinger, C. Denison, J. Mu, M. Lambert, M. Tong, M. MacDiarmid, T. Lanham, D. M. Ziegler, T. Maxwell, N. Cheng, et al.Sleeper agents: Training deceptive llms that persist through safety training.ArXiv preprint, abs/2401.05566, 2024.URL https://arxiv.org/abs/2401.05566.
Ji et al. (2023)
Z. Ji, N. Lee, R. Frieske, T. Yu, D. Su, Y. Xu, E. Ishii, Y. J. Bang, A. Madotto, and P. Fung.Survey of hallucination in natural language generation.ACM Computing Surveys (CSUR), 55(12):1–38, 2023.
Jia et al. (2021)
C. Jia, Y. Yang, Y. Xia, Y. Chen, Z. Parekh, H. Pham, Q. V. Le, Y. Sung, Z. Li, and T. Duerig.Scaling up visual and vision-language representation learning with noisy text supervision.In M. Meila and T. Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, ICML 2021, 18-24 July 2021, Virtual Event, volume 139 of Proceedings of Machine Learning Research, pages 4904–4916. PMLR, 2021.URL http://proceedings.mlr.press/v139/jia21b.html.
Jiang et al. (2023)
A. Q. Jiang, A. Sablayrolles, A. Mensch, C. Bamford, D. S. Chaplot, D. d. l. Casas, F. Bressand, G. Lengyel, G. Lample, L. Saulnier, et al.Mistral 7b.ArXiv preprint, abs/2310.06825, 2023.URL https://arxiv.org/abs/2310.06825.
Jiang et al. (2022)
Y. Jiang, A. Gupta, Z. Zhang, G. Wang, Y. Dou, Y. Chen, L. Fei-Fei, A. Anandkumar, Y. Zhu, and L. Fan.Vima: General robot manipulation with multimodal prompts.In NeurIPS 2022 Foundation Models for Decision Making Workshop, 2022.
Jones et al. (2023)
E. Jones, H. Palangi, C. Simões, V. Chandrasekaran, S. Mukherjee, A. Mitra, A. Awadallah, and E. Kamar.Teaching language models to hallucinate less with synthetic tasks, 2023.URL https://arxiv.org/abs/2310.06827.
Kambhampati et al. (2024)
S. Kambhampati, K. Valmeekam, L. Guan, K. Stechly, M. Verma, S. Bhambri, L. Saldyt, and A. Murthy.Llms can’t plan, but can help planning in llm-modulo frameworks.arXiv preprint arXiv:2402.01817, 2024.
Kumar et al. (2019)
V. Kumar, N. Joshi, A. Mukherjee, G. Ramakrishnan, and P. Jyothi.Cross-lingual training for automatic question generation.In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 4863–4872, Florence, Italy, 2019. Association for Computational Linguistics.10.18653/v1/P19-1481.URL https://aclanthology.org/P19-1481.
Lam et al. (2023)
R. Lam, A. Sanchez-Gonzalez, M. Willson, P. Wirnsberger, M. Fortunato, F. Alet, S. Ravuri, T. Ewalds, Z. Eaton-Rosen, W. Hu, et al.Learning skillful medium-range global weather forecasting.Science, 382(6677):1416–1421, 2023.
Landers and Behrend (2023)
R. N. Landers and T. S. Behrend.Auditing the ai auditors: A framework for evaluating fairness and bias in high stakes ai predictive models.American Psychologist, 78(1):36, 2023.
Laurençon et al. (2024)
H. Laurençon, L. Tronchon, and V. Sanh.Unlocking the conversion of web screenshots into html code with the websight dataset, 2024.URL https://arxiv.org/abs/2403.09029.
Le et al. (2022)
H. Le, Y. Wang, A. D. Gotmare, S. Savarese, and S. C. H. Hoi.Coderl: Mastering code generation through pretrained models and deep reinforcement learning.Advances in Neural Information Processing Systems, 35:21314–21328, 2022.
LeCun (2022)
Y. LeCun.A path towards autonomous machine intelligence version 0.9. 2, 2022-06-27.Open Review, 62, 2022.
Lee et al. (2023)
K. Lee, M. Joshi, I. R. Turc, H. Hu, F. Liu, J. M. Eisenschlos, U. Khandelwal, P. Shaw, M.-W. Chang, and K. Toutanova.Pix2struct: Screenshot parsing as pretraining for visual language understanding.In International Conference on Machine Learning, pages 18893–18912. PMLR, 2023.
Leike et al. (2018)
J. Leike, D. Krueger, T. Everitt, M. Martic, V. Maini, and S. Legg.Scalable agent alignment via reward modeling: a research direction.ArXiv preprint, abs/1811.07871, 2018.URL https://arxiv.org/abs/1811.07871.
Lewis et al. (2020)
P. S. H. Lewis, E. Perez, A. Piktus, F. Petroni, V. Karpukhin, N. Goyal, H. Küttler, M. Lewis, W. Yih, T. Rocktäschel, S. Riedel, and D. Kiela.Retrieval-augmented generation for knowledge-intensive NLP tasks.In H. Larochelle, M. Ranzato, R. Hadsell, M. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual, 2020.URL https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html.
Lewkowycz et al. (2022)
A. Lewkowycz, A. Andreassen, D. Dohan, E. Dyer, H. Michalewski, V. Ramasesh, A. Slone, C. Anil, I. Schlag, T. Gutman-Solo, Y. Wu, B. Neyshabur, G. Gur-Ari, and V. Misra.Solving quantitative reasoning problems with language models, 2022.URL https://arxiv.org/abs/2206.14858.
Li and Callison-Burch (2023)
B. Li and C. Callison-Burch.Paxqa: Generating cross-lingual question answering examples at training scale.ArXiv preprint, abs/2304.12206, 2023.URL https://arxiv.org/abs/2304.12206.
Li et al. (2024)
C. Li, W. Wang, J. Hu, Y. Wei, N. Zheng, H. Hu, Z. Zhang, and H. Peng.Common 7b language models already possess strong math capabilities.ArXiv preprint, abs/2403.04706, 2024.URL https://arxiv.org/abs/2403.04706.
Li et al. (2023a)
L. Li, R. Carver, I. Lopez-Gomez, F. Sha, and J. Anderson.Seeds: Emulation of weather forecast ensembles with diffusion models.ArXiv preprint, abs/2306.14066, 2023a.URL https://arxiv.org/abs/2306.14066.
Li et al. (2023b)
X. Li, T. Zhang, Y. Dubois, R. Taori, I. Gulrajani, C. Guestrin, P. Liang, and T. B. Hashimoto.Alpacaeval: An automatic evaluator of instruction-following models.https://github.com/tatsu-lab/alpaca_eval, 2023b.
Liang et al. (2022)
J. Liang, W. Huang, F. Xia, P. Xu, K. Hausman, B. Ichter, P. Florence, and A. Zeng.Code as policies: Language model programs for embodied control.ArXiv preprint, abs/2209.07753, 2022.URL https://arxiv.org/abs/2209.07753.
Liao et al. (2021)
B. Liao, S. Khadivi, and S. Hewavitharana.Back-translation for large-scale multilingual machine translation.In Proceedings of the Sixth Conference on Machine Translation, pages 418–424, Online, 2021. Association for Computational Linguistics.URL https://aclanthology.org/2021.wmt-1.50.
Lightman et al. (2023)
H. Lightman, V. Kosaraju, Y. Burda, H. Edwards, B. Baker, T. Lee, J. Leike, J. Schulman, I. Sutskever, and K. Cobbe.Let’s verify step by step.ArXiv preprint, abs/2305.20050, 2023.URL https://arxiv.org/abs/2305.20050.
Lin et al. (2022)
S. Lin, J. Hilton, and O. Evans.TruthfulQA: Measuring how models mimic human falsehoods.In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 3214–3252, Dublin, Ireland, 2022. Association for Computational Linguistics.10.18653/v1/2022.acl-long.229.URL https://aclanthology.org/2022.acl-long.229.
Liu et al. (2024a)
C. Liu, S. D. Zhang, and R. Jabbarvand.Codemind: A framework to challenge large language models for code reasoning.ArXiv preprint, abs/2402.09664, 2024a.URL https://arxiv.org/abs/2402.09664.
Liu et al. (2023a)
F. Liu, J. Eisenschlos, F. Piccinno, S. Krichene, C. Pang, K. Lee, M. Joshi, W. Chen, N. Collier, and Y. Altun.Deplot: One-shot visual language reasoning by plot-to-table translation.In Findings of the Association for Computational Linguistics: ACL 2023, pages 10381–10399, 2023a.
Liu et al. (2023b)
F. Liu, F. Piccinno, S. Krichene, C. Pang, K. Lee, M. Joshi, Y. Altun, N. Collier, and J. Eisenschlos.Matcha: Enhancing visual language pretraining with math reasoning and chart derendering.In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 12756–12770, 2023b.
Liu and Yao (2024)
H. Liu and A. C.-C. Yao.Augmenting math word problems via iterative question composing.ArXiv preprint, abs/2401.09003, 2024.URL https://arxiv.org/abs/2401.09003.
Liu et al. (2024b)
H. Liu, C. Li, Q. Wu, and Y. J. Lee.Visual instruction tuning.Advances in neural information processing systems, 36, 2024b.
Liu et al. (2021)
R. Liu, C. Jia, J. Wei, G. Xu, L. Wang, and S. Vosoughi.Mitigating political bias in language models through reinforced calibration.In Thirty-Fifth AAAI Conference on Artificial Intelligence, AAAI 2021, Thirty-Third Conference on Innovative Applications of Artificial Intelligence, IAAI 2021, The Eleventh Symposium on Educational Advances in Artificial Intelligence, EAAI 2021, Virtual Event, February 2-9, 2021, pages 14857–14866. AAAI Press, 2021.URL https://ojs.aaai.org/index.php/AAAI/article/view/17744.
Liu et al. (2022)
R. Liu, J. Wei, S. S. Gu, T.-Y. Wu, S. Vosoughi, C. Cui, D. Zhou, and A. M. Dai.Mind’s eye: Grounded language model reasoning through simulation.ArXiv preprint, abs/2210.05359, 2022.URL https://arxiv.org/abs/2210.05359.
Liu et al. (2023c)
R. Liu, R. Yang, C. Jia, G. Zhang, D. Zhou, A. M. Dai, D. Yang, and S. Vosoughi.Training socially aligned language models in simulated human society.ArXiv preprint, abs/2305.16960, 2023c.URL https://arxiv.org/abs/2305.16960.
Liu et al. (2023d)
W. Liu, W. Zeng, K. He, Y. Jiang, and J. He.What makes good data for alignment? a comprehensive study of automatic data selection in instruction tuning.ArXiv preprint, abs/2312.15685, 2023d.URL https://arxiv.org/abs/2312.15685.
Lu et al. (2023)
Y. Lu, M. Shen, H. Wang, X. Wang, C. van Rechem, and W. Wei.Machine learning for synthetic data generation: a review.ArXiv preprint, abs/2302.04062, 2023.URL https://arxiv.org/abs/2302.04062.
Lucini (2021)
F. Lucini.The real deal about synthetic data.MIT Sloan Management Review, 63(1):1–4, 2021.
Luo et al. (2023a)
H. Luo, Q. Sun, C. Xu, P. Zhao, J. Lou, C. Tao, X. Geng, Q. Lin, S. Chen, and D. Zhang.Wizardmath: Empowering mathematical reasoning for large language models via reinforced evol-instruct.ArXiv preprint, abs/2308.09583, 2023a.URL https://arxiv.org/abs/2308.09583.
Luo et al. (2023b)
Z. Luo, C. Xu, P. Zhao, Q. Sun, X. Geng, W. Hu, C. Tao, J. Ma, Q. Lin, and D. Jiang.Wizardcoder: Empowering code large language models with evol-instruct.ArXiv preprint, abs/2306.08568, 2023b.URL https://arxiv.org/abs/2306.08568.
Marie et al. (2020)
B. Marie, R. Rubino, and A. Fujita.Tagged back-translation revisited: Why does it really work?In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 5990–5997, Online, 2020. Association for Computational Linguistics.10.18653/v1/2020.acl-main.532.URL https://aclanthology.org/2020.acl-main.532.
Masry et al. (2023)
A. Masry, P. Kavehzadeh, X. L. Do, E. Hoque, and S. Joty.UniChart: A universal vision-language pretrained model for chart comprehension and reasoning.In H. Bouamor, J. Pino, and K. Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pages 14662–14684, Singapore, 2023. Association for Computational Linguistics.10.18653/v1/2023.emnlp-main.906.URL https://aclanthology.org/2023.emnlp-main.906.
Mattern et al. (2023)
J. Mattern, F. Mireshghallah, Z. Jin, B. Schölkopf, M. Sachan, and T. Berg-Kirkpatrick.Membership inference attacks against language models via neighbourhood comparison.ArXiv preprint, abs/2305.18462, 2023.URL https://arxiv.org/abs/2305.18462.
Meng et al. (2022)
Y. Meng, J. Huang, Y. Zhang, and J. Han.Generating training data with language models: Towards zero-shot language understanding.Advances in Neural Information Processing Systems, 35:462–477, 2022.
Meta (2023)
Meta.Meta and microsoft introduce the next generation of llama.https://ai.meta.com/blog/llama-2, 2023.
Min et al. (2023)
S. Min, K. Krishna, X. Lyu, M. Lewis, W.-t. Yih, P. W. Koh, M. Iyyer, L. Zettlemoyer, and H. Hajishirzi.Factscore: Fine-grained atomic evaluation of factual precision in long form text generation.arXiv preprint arXiv:2305.14251, 2023.
Muennighoff et al. (2024)
N. Muennighoff, A. Rush, B. Barak, T. Le Scao, N. Tazi, A. Piktus, S. Pyysalo, T. Wolf, and C. A. Raffel.Scaling data-constrained language models.Advances in Neural Information Processing Systems, 36, 2024.
Mukherjee et al. (2023)
S. Mukherjee, A. Mitra, G. Jawahar, S. Agarwal, H. Palangi, and A. Awadallah.Orca: Progressive learning from complex explanation traces of gpt-4.ArXiv preprint, abs/2306.02707, 2023.URL https://arxiv.org/abs/2306.02707.
Nikolenko (2021)
S. I. Nikolenko.Synthetic data for deep learning, volume 174.Springer, 2021.
Ntoutsi et al. (2020)
E. Ntoutsi, P. Fafalios, U. Gadiraju, V. Iosifidis, W. Nejdl, M.-E. Vidal, S. Ruggieri, F. Turini, S. Papadopoulos, E. Krasanakis, et al.Bias in data-driven artificial intelligence systems—an introductory survey.Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 10(3):e1356, 2020.
OpenAI (2023)
OpenAI.Gpt-4 technical report, 2023.
Oren et al. (2023)
Y. Oren, N. Meister, N. Chatterji, F. Ladhak, and T. B. Hashimoto.Proving test set contamination in black box language models.ArXiv preprint, abs/2310.17623, 2023.URL https://arxiv.org/abs/2310.17623.
Ouyang et al. (2022)
L. Ouyang, J. Wu, X. Jiang, D. Almeida, C. L. Wainwright, P. Mishkin, C. Zhang, S. Agarwal, K. Slama, A. Ray, J. Schulman, J. Hilton, F. Kelton, L. Miller, M. Simens, A. Askell, P. Welinder, P. Christiano, J. Leike, and R. Lowe.Training language models to follow instructions with human feedback.ArXiv preprint, abs/2203.02155, 2022.URL https://arxiv.org/abs/2203.02155.
Pan et al. (2022)
A. Pan, K. Bhatia, and J. Steinhardt.The effects of reward misspecification: Mapping and mitigating misaligned models.In The Tenth International Conference on Learning Representations, ICLR 2022, Virtual Event, April 25-29, 2022. OpenReview.net, 2022.URL https://openreview.net/forum?id=JYtwGwIL7ye.
Park et al. (2023)
J. S. Park, J. O’Brien, C. J. Cai, M. R. Morris, P. Liang, and M. S. Bernstein.Generative agents: Interactive simulacra of human behavior.In Proceedings of the 36th Annual ACM Symposium on User Interface Software and Technology, pages 1–22, 2023.
Paster et al. (2023)
K. Paster, M. D. Santos, Z. Azerbayev, and J. Ba.Openwebmath: An open dataset of high-quality mathematical web text.ArXiv preprint, abs/2310.06786, 2023.URL https://arxiv.org/abs/2310.06786.
Patel and Pavlick (2022)
R. Patel and E. Pavlick.Mapping language models to grounded conceptual spaces.In The Tenth International Conference on Learning Representations, ICLR 2022, Virtual Event, April 25-29, 2022. OpenReview.net, 2022.URL https://openreview.net/forum?id=gJcEM8sxHK.
Perez et al. (2022)
E. Perez, S. Huang, F. Song, T. Cai, R. Ring, J. Aslanides, A. Glaese, N. McAleese, and G. Irving.Red teaming language models with language models.In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pages 3419–3448, Abu Dhabi, United Arab Emirates, 2022. Association for Computational Linguistics.URL https://aclanthology.org/2022.emnlp-main.225.
Perez et al. (2023)
E. Perez, S. Ringer, K. Lukošiūtė, K. Nguyen, E. Chen, S. Heiner, C. Pettit, C. Olsson, S. Kundu, S. Kadavath, et al.Discovering language model behaviors with model-written evaluations.In Findings of the Association for Computational Linguistics: ACL 2023, Toronto, Canada, July 9-14, 2023, pages 13387–13434. Association for Computational Linguistics, 2023.
Pham et al. (2021)
H. Pham, X. Wang, Y. Yang, and G. Neubig.Meta back-translation.In 9th International Conference on Learning Representations, ICLR 2021, Virtual Event, Austria, May 3-7, 2021. OpenReview.net, 2021.URL https://openreview.net/forum?id=3jjmdp7Hha.
Przystupa and Abdul-Mageed (2019)
M. Przystupa and M. Abdul-Mageed.Neural machine translation of low-resource and similar languages with backtranslation.In Proceedings of the Fourth Conference on Machine Translation (Volume 3: Shared Task Papers, Day 2), pages 224–235, Florence, Italy, 2019. Association for Computational Linguistics.10.18653/v1/W19-5431.URL https://aclanthology.org/W19-5431.
Radford et al. (2021)
A. Radford, J. W. Kim, C. Hallacy, A. Ramesh, G. Goh, S. Agarwal, G. Sastry, A. Askell, P. Mishkin, J. Clark, G. Krueger, and I. Sutskever.Learning transferable visual models from natural language supervision.In M. Meila and T. Zhang, editors, Proceedings of the 38th International Conference on Machine Learning, ICML 2021, 18-24 July 2021, Virtual Event, volume 139 of Proceedings of Machine Learning Research, pages 8748–8763. PMLR, 2021.URL http://proceedings.mlr.press/v139/radford21a.html.
Rae et al. (2021)
J. W. Rae, S. Borgeaud, T. Cai, K. Millican, J. Hoffmann, F. Song, J. Aslanides, S. Henderson, R. Ring, S. Young, E. Rutherford, T. Hennigan, J. Menick, A. Cassirer, R. Powell, G. v. d. Driessche, L. A. Hendricks, M. Rauh, P.-S. Huang, A. Glaese, J. Welbl, S. Dathathri, S. Huang, J. Uesato, J. Mellor, I. Higgins, A. Creswell, N. McAleese, A. Wu, E. Elsen, S. Jayakumar, E. Buchatskaya, D. Budden, E. Sutherland, K. Simonyan, M. Paganini, L. Sifre, L. Martens, X. L. Li, A. Kuncoro, A. Nematzadeh, E. Gribovskaya, D. Donato, A. Lazaridou, A. Mensch, J.-B. Lespiau, M. Tsimpoukelli, N. Grigorev, D. Fritz, T. Sottiaux, M. Pajarskas, T. Pohlen, Z. Gong, D. Toyama, C. d. M. d’Autume, Y. Li, T. Terzi, V. Mikulik, I. Babuschkin, A. Clark, D. d. L. Casas, A. Guy, C. Jones, J. Bradbury, M. Johnson, B. Hechtman, L. Weidinger, I. Gabriel, W. Isaac, E. Lockhart, S. Osindero, L. Rimell, C. Dyer, O. Vinyals, K. Ayoub, J. Stanway, L. Bennett, D. Hassabis, K. Kavukcuoglu, and G. Irving.Scaling language models: Methods, analysis & insights from training gopher, 2021.URL https://arxiv.org/abs/2112.11446.
Rafailov et al. (2023)
R. Rafailov, A. Sharma, E. Mitchell, S. Ermon, C. D. Manning, and C. Finn.Direct preference optimization: Your language model is secretly a reward model.In NeurIPS, 2023.URL https://api.semanticscholar.org/CorpusID:258959321.
Ramesh et al. (2022)
A. Ramesh, P. Dhariwal, A. Nichol, C. Chu, and M. Chen.Hierarchical text-conditional image generation with clip latents.ArXiv preprint, abs/2204.06125, 2022.URL https://arxiv.org/abs/2204.06125.
Riabi et al. (2021)
A. Riabi, T. Scialom, R. Keraron, B. Sagot, D. Seddah, and J. Staiano.Synthetic data augmentation for zero-shot cross-lingual question answering.In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pages 7016–7030, Online and Punta Cana, Dominican Republic, 2021. Association for Computational Linguistics.10.18653/v1/2021.emnlp-main.562.URL https://aclanthology.org/2021.emnlp-main.562.
Rid (2020)
T. Rid.Active measures: The secret history of disinformation and political warfare.Farrar, Straus and Giroux, 2020.
Saharia et al. (2022a)
C. Saharia, W. Chan, S. Saxena, L. Li, J. Whang, E. L. Denton, K. Ghasemipour, R. Gontijo Lopes, B. Karagol Ayan, T. Salimans, J. Ho, D. J. Fleet, and M. Norouzi.Photorealistic text-to-image diffusion models with deep language understanding.In S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, Advances in Neural Information Processing Systems, volume 35, pages 36479–36494. Curran Associates, Inc., 2022a.URL https://proceedings.neurips.cc/paper_files/paper/2022/file/ec795aeadae0b7d230fa35cbaf04c041-Paper-Conference.pdf.
Saharia et al. (2022b)
C. Saharia, W. Chan, S. Saxena, L. Li, J. Whang, E. L. Denton, K. Ghasemipour, R. Gontijo Lopes, B. Karagol Ayan, T. Salimans, et al.Photorealistic text-to-image diffusion models with deep language understanding.Advances in neural information processing systems, 35:36479–36494, 2022b.
Saxton et al. (2019)
D. Saxton, E. Grefenstette, F. Hill, and P. Kohli.Analysing mathematical reasoning abilities of neural models.In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.URL https://openreview.net/forum?id=H1gR5iR5FX.
Schick et al. (2024)
T. Schick, J. Dwivedi-Yu, R. Dessì, R. Raileanu, M. Lomeli, E. Hambro, L. Zettlemoyer, N. Cancedda, and T. Scialom.Toolformer: Language models can teach themselves to use tools.Advances in Neural Information Processing Systems, 36, 2024.
Sennrich et al. (2016)
R. Sennrich, B. Haddow, and A. Birch.Improving neural machine translation models with monolingual data.In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 86–96, Berlin, Germany, 2016. Association for Computational Linguistics.10.18653/v1/P16-1009.URL https://aclanthology.org/P16-1009.
Shakeri et al. (2021)
S. Shakeri, N. Constant, M. Kale, and L. Xue.Towards zero-shot multilingual synthetic question and answer generation for cross-lingual reading comprehension.In Proceedings of the 14th International Conference on Natural Language Generation, pages 35–45, Aberdeen, Scotland, UK, 2021. Association for Computational Linguistics.URL https://aclanthology.org/2021.inlg-1.4.
Shao et al. (2024)
Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, M. Zhang, Y. K. Li, Y. Wu, and D. Guo.Deepseekmath: Pushing the limits of mathematical reasoning in open language models, 2024.
Sharma et al. (2024)
M. Sharma, M. Tong, T. Korbak, D. Duvenaud, A. Askell, S. R. Bowman, E. DURMUS, Z. Hatfield-Dodds, S. R. Johnston, S. M. Kravec, T. Maxwell, S. McCandlish, K. Ndousse, O. Rausch, N. Schiefer, D. Yan, M. Zhang, and E. Perez.Towards understanding sycophancy in language models.In The Twelfth International Conference on Learning Representations, 2024.
Shi et al. (2023)
W. Shi, A. Ajith, M. Xia, Y. Huang, D. Liu, T. Blevins, D. Chen, and L. Zettlemoyer.Detecting pretraining data from large language models, 2023.
Shinn et al. (2024)
N. Shinn, F. Cassano, A. Gopinath, K. Narasimhan, and S. Yao.Reflexion: Language agents with verbal reinforcement learning.Advances in Neural Information Processing Systems, 36, 2024.
Shypula et al. (2023)
A. Shypula, A. Madaan, Y. Zeng, U. Alon, J. Gardner, M. Hashemi, G. Neubig, P. Ranganathan, O. Bastani, and A. Yazdanbakhsh.Learning performance-improving code edits.ArXiv preprint, abs/2302.07867, 2023.URL https://arxiv.org/abs/2302.07867.
Si et al. (2024)
C. Si, Y. Zhang, Z. Yang, R. Liu, and D. Yang.Design2code: How far are we from automating front-end engineering?, 2024.URL https://arxiv.org/abs/2403.03163.
Singhal et al. (2022)
K. Singhal, S. Azizi, T. Tu, S. S. Mahdavi, J. Wei, H. W. Chung, N. Scales, A. Tanwani, H. Cole-Lewis, S. Pfohl, et al.Large language models encode clinical knowledge.ArXiv preprint, abs/2212.13138, 2022.URL https://arxiv.org/abs/2212.13138.
Steinhardt (2022)
J. Steinhardt.Ml systems will have weird failure modes.https://bounded-regret.ghost.io/ml-systems-will-have-weird-failure-modes-2/, 2022.
Sun et al. (2023)
Z. Sun, S. Shen, S. Cao, H. Liu, C. Li, Y. Shen, C. Gan, L.-Y. Gui, Y.-X. Wang, Y. Yang, et al.Aligning large multimodal models with factually augmented rlhf.ArXiv preprint, abs/2309.14525, 2023.URL https://arxiv.org/abs/2309.14525.
Tang et al. (2023)
Q. Tang, Z. Deng, H. Lin, X. Han, Q. Liang, and L. Sun.Toolalpaca: Generalized tool learning for language models with 3000 simulated cases.ArXiv preprint, abs/2306.05301, 2023.URL https://arxiv.org/abs/2306.05301.
Taori et al. (2023)
R. Taori, I. Gulrajani, T. Zhang, Y. Dubois, X. Li, C. Guestrin, P. Liang, and T. B. Hashimoto.Stanford alpaca: An instruction-following llama model.https://github.com/tatsu-lab/stanford_alpaca, 2023.
Taylor et al. (2022)
R. Taylor, M. Kardas, G. Cucurull, T. Scialom, A. Hartshorn, E. Saravia, A. Poulton, V. Kerkez, and R. Stojnic.Galactica: A large language model for science.ArXiv preprint, abs/2211.09085, 2022.URL https://arxiv.org/abs/2211.09085.
Thoppilan et al. (2022)
R. Thoppilan, D. De Freitas, J. Hall, N. Shazeer, A. Kulshreshtha, H.-T. Cheng, A. Jin, T. Bos, L. Baker, Y. Du, Y. Li, H. Lee, H. S. Zheng, A. Ghafouri, M. Menegali, Y. Huang, M. Krikun, D. Lepikhin, J. Qin, D. Chen, Y. Xu, Z. Chen, A. Roberts, M. Bosma, V. Zhao, Y. Zhou, C.-C. Chang, I. Krivokon, W. Rusch, M. Pickett, P. Srinivasan, L. Man, K. Meier-Hellstern, M. R. Morris, T. Doshi, R. D. Santos, T. Duke, J. Soraker, B. Zevenbergen, V. Prabhakaran, M. Diaz, B. Hutchinson, K. Olson, A. Molina, E. Hoffman-John, J. Lee, L. Aroyo, R. Rajakumar, A. Butryna, M. Lamm, V. Kuzmina, J. Fenton, A. Cohen, R. Bernstein, R. Kurzweil, B. Aguera-Arcas, C. Cui, M. Croak, E. Chi, and Q. Le.Lamda: Language models for dialog applications.ArXiv preprint, abs/2201.08239, 2022.URL https://arxiv.org/abs/2201.08239.
Tian et al. (2023)
K. Tian, E. Mitchell, H. Yao, C. D. Manning, and C. Finn.Fine-tuning language models for factuality.In ICLR, 2023.URL https://api.semanticscholar.org/CorpusID:265158181.
Todorov et al. (2012)
E. Todorov, T. Erez, and Y. Tassa.Mujoco: A physics engine for model-based control.In 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 5026–5033. IEEE, 2012.10.1109/IROS.2012.6386109.
Touvron et al. (2023)
H. Touvron, L. Martin, K. Stone, P. Albert, A. Almahairi, Y. Babaei, N. Bashlykov, S. Batra, P. Bhargava, S. Bhosale, et al.Llama 2: Open foundation and fine-tuned chat models.ArXiv preprint, abs/2307.09288, 2023.URL https://arxiv.org/abs/2307.09288.
Trinh et al. (2024)
T. H. Trinh, Y. Wu, Q. V. Le, H. He, and T. Luong.Solving olympiad geometry without human demonstrations.Nature, 625(7995):476–482, 2024.
Van Breugel et al. (2023)
B. Van Breugel, Z. Qian, and M. Van Der Schaar.Synthetic data, real errors: how (not) to publish and use synthetic data.In International Conference on Machine Learning, pages 34793–34808. PMLR, 2023.
Vezhnevets et al. (2023)
A. S. Vezhnevets, J. P. Agapiou, A. Aharon, R. Ziv, J. Matyas, E. A. Duéñez-Guzmán, W. A. Cunningham, S. Osindero, D. Karmon, and J. Z. Leibo.Generative agent-based modeling with actions grounded in physical, social, or digital space using concordia.ArXiv preprint, abs/2312.03664, 2023.URL https://arxiv.org/abs/2312.03664.
Villalobos et al. (2022)
P. Villalobos, J. Sevilla, L. Heim, T. Besiroglu, M. Hobbhahn, and A. Ho.Will we run out of data? an analysis of the limits of scaling datasets in machine learning.ArXiv preprint, abs/2211.04325, 2022.URL https://arxiv.org/abs/2211.04325.
Wang et al. (2023)
G. Wang, Y. Xie, Y. Jiang, A. Mandlekar, C. Xiao, Y. Zhu, L. Fan, and A. Anandkumar.Voyager: An open-ended embodied agent with large language models.ArXiv preprint, abs/2305.16291, 2023.URL https://arxiv.org/abs/2305.16291.
Wang et al. (2022a)
X. Wang, J. Wei, D. Schuurmans, Q. Le, E. Chi, S. Narang, A. Chowdhery, and D. Zhou.Self-consistency improves chain of thought reasoning in language models.2022a.URL https://arxiv.org/abs/2203.11171.
Wang et al. (2022b)
Y. Wang, Y. Kordi, S. Mishra, A. Liu, N. A. Smith, D. Khashabi, and H. Hajishirzi.Self-instruct: Aligning language models with self-generated instructions.volume abs/2212.10560, 2022b.URL https://arxiv.org/abs/2212.10560.
Wang et al. (2020)
Z. Wang, X. Wang, B. An, D. Yu, and C. Chen.Towards faithful neural table-to-text generation with content-matching constraints.In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 1072–1086, Online, 2020. Association for Computational Linguistics.10.18653/v1/2020.acl-main.101.URL https://aclanthology.org/2020.acl-main.101.
Wei et al. (2019)
J. Wei, A. Suriawinata, L. Vaickus, B. Ren, X. Liu, J. Wei, and S. Hassanpour.Generative image translation for data augmentation in colorectal histopathology images.In Advances in Neural Information Processing Systems, 2019.
Wei et al. (2022)
J. Wei, M. Bosma, V. Y. Zhao, K. Guu, A. W. Yu, B. Lester, N. Du, A. M. Dai, and Q. V. Le.Finetuned language models are zero-shot learners.In The Tenth International Conference on Learning Representations, ICLR 2022, Virtual Event, April 25-29, 2022. OpenReview.net, 2022.URL https://openreview.net/forum?id=gEZrGCozdqR.
Wei et al. (2023a)
J. Wei, L. Hou, A. Lampinen, X. Chen, D. Huang, Y. Tay, X. Chen, Y. Lu, D. Zhou, T. Ma, and Q. V. Le.Symbol tuning improves in-context learning in language models.volume abs/2305.08298, 2023a.URL https://arxiv.org/abs/2305.08298.
Wei et al. (2023b)
J. Wei, D. Huang, Y. Lu, D. Zhou, and Q. V. Le.Simple synthetic data reduces sycophancy in large language models, 2023b.URL https://arxiv.org/abs/2308.03958.
Wei et al. (2024)
J. Wei, C. Yang, X. Song, Y. Lu, N. Hu, D. Tran, D. Peng, R. Liu, D. Huang, C. Du, and Q. V. Le.Long-form factuality in large language models.2024.URL https://api.semanticscholar.org/CorpusID:268724304.
Wei et al. (2023c)
Y. Wei, Z. Wang, J. Liu, Y. Ding, and L. Zhang.Magicoder: Source code is all you need.ArXiv preprint, abs/2312.02120, 2023c.URL https://arxiv.org/abs/2312.02120.
Weidinger et al. (2021)
L. Weidinger, J. Mellor, M. Rauh, C. Griffin, J. Uesato, P.-S. Huang, M. Cheng, M. Glaese, B. Balle, A. Kasirzadeh, et al.Ethical and social risks of harm from language models.ArXiv preprint, abs/2112.04359, 2021.URL https://arxiv.org/abs/2112.04359.
Wood et al. (2021)
E. Wood, T. Baltrusaitis, C. Hewitt, S. Dziadzio, T. J. Cashman, and J. Shotton.Fake it till you make it: face analysis in the wild using synthetic data alone.In 2021 IEEE/CVF International Conference on Computer Vision, ICCV 2021, Montreal, QC, Canada, October 10-17, 2021, pages 3661–3671. IEEE, 2021.10.1109/ICCV48922.2021.00366.URL https://doi.org/10.1109/ICCV48922.2021.00366.
Xu et al. (2023)
C. Xu, Q. Sun, K. Zheng, X. Geng, P. Zhao, J. Feng, C. Tao, and D. Jiang.Wizardlm: Empowering large language models to follow complex instructions.ArXiv preprint, abs/2304.12244, 2023.URL https://arxiv.org/abs/2304.12244.
Xu et al. (2022)
J. Xu, Y. Ruan, W. Bi, G. Huang, S. Shi, L. Chen, and L. Liu.On synthetic data for back translation.In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 419–430, Seattle, United States, 2022. Association for Computational Linguistics.10.18653/v1/2022.naacl-main.32.URL https://aclanthology.org/2022.naacl-main.32.
Xue et al. (2020)
L. Xue, N. Constant, A. Roberts, M. Kale, R. Al-Rfou, A. Siddhant, A. Barua, and C. Raffel.mt5: A massively multilingual pre-trained text-to-text transformer.arXiv preprint arXiv:2010.11934, 2020.
Yang et al. (2024)
J. Yang, A. Prabhakar, K. Narasimhan, and S. Yao.Intercode: Standardizing and benchmarking interactive coding with execution feedback.Advances in Neural Information Processing Systems, 36, 2024.
Ye et al. (2024)
J. Ye, S. Li, G. Li, C. Huang, S. Gao, Y. Wu, Q. Zhang, T. Gui, and X. Huang.Toolsword: Unveiling safety issues of large language models in tool learning across three stages.ArXiv preprint, abs/2402.10753, 2024.URL https://arxiv.org/abs/2402.10753.
Yu et al. (2023)
L. Yu, W. Jiang, H. Shi, J. Yu, Z. Liu, Y. Zhang, J. T. Kwok, Z. Li, A. Weller, and W. Liu.Metamath: Bootstrap your own mathematical questions for large language models.ArXiv preprint, abs/2309.12284, 2023.URL https://arxiv.org/abs/2309.12284.
Yu et al. (2024)
Y. Yu, Y. Zhuang, J. Zhang, Y. Meng, A. J. Ratner, R. Krishna, J. Shen, and C. Zhang.Large language model as attributed training data generator: A tale of diversity and bias.Advances in Neural Information Processing Systems, 36, 2024.
Yuan et al. (2024)
W. Yuan, R. Y. Pang, K. Cho, S. Sukhbaatar, J. Xu, and J. Weston.Self-rewarding language models.ArXiv preprint, abs/2401.10020, 2024.URL https://arxiv.org/abs/2401.10020.
Yuan et al. (2023)
Z. Yuan, H. Yuan, C. Li, G. Dong, C. Tan, and C. Zhou.Scaling relationship on learning mathematical reasoning with large language models.ArXiv preprint, abs/2308.01825, 2023.URL https://arxiv.org/abs/2308.01825.
Zelikman et al. (2022)
E. Zelikman, Y. Wu, and N. D. Goodman.Star: Bootstrapping reasoning with reasoning.In NeurIPS, 2022.URL https://api.semanticscholar.org/CorpusID:247762790.
Zhang et al. (2023a)
J. Zhang, X. Xu, and S. Deng.Exploring collaboration mechanisms for llm agents: A social psychology view.ArXiv preprint, abs/2310.02124, 2023a.URL https://arxiv.org/abs/2310.02124.
Zhang et al. (2023b)
S. Zhang, L. Dong, X. Li, S. Zhang, X. Sun, S. Wang, J. Li, R. Hu, T. Zhang, F. Wu, and G. Wang.Instruction tuning for large language models: A survey, 2023b.URL https://arxiv.org/abs/2308.10792.
Zhang et al. (2023c)
Y. Zhang, Y. Li, L. Cui, D. Cai, L. Liu, T. Fu, X. Huang, E. Zhao, Y. Zhang, Y. Chen, et al.Siren’s song in the ai ocean: A survey on hallucination in large language models.ArXiv preprint, abs/2309.01219, 2023c.URL https://arxiv.org/abs/2309.01219.
Zhang et al. (2023d)
Y. Zhang, R. Zhang, J. Gu, Y. Zhou, N. Lipka, D. Yang, and T. Sun.Llavar: Enhanced visual instruction tuning for text-rich image understanding.ArXiv preprint, abs/2306.17107, 2023d.URL https://arxiv.org/abs/2306.17107.
Zhao et al. (2023)
B. Zhao, B. Wu, and T. Huang.Svit: Scaling up visual instruction tuning.ArXiv preprint, abs/2307.04087, 2023.URL https://arxiv.org/abs/2307.04087.
Zhao et al. (2018)
J. Zhao, T. Wang, M. Yatskar, V. Ordonez, and K.-W. Chang.Gender bias in coreference resolution: Evaluation and debiasing methods.In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pages 15–20, New Orleans, Louisiana, 2018. Association for Computational Linguistics.10.18653/v1/N18-2003.URL https://aclanthology.org/N18-2003.
Zheng et al. (2023)
L. Zheng, W.-L. Chiang, Y. Sheng, S. Zhuang, Z. Wu, Y. Zhuang, Z. Lin, Z. Li, D. Li, E. P. Xing, H. Zhang, J. E. Gonzalez, and I. Stoica.Judging llm-as-a-judge with mt-bench and chatbot arena, 2023.
Zheng et al. (2022)
S. Zheng, A. Trott, S. Srinivasa, D. C. Parkes, and R. Socher.The ai economist: Taxation policy design via two-level deep multiagent reinforcement learning.Science advances, 8(18):eabk2607, 2022.
Zheng et al. (2020)
Z. Zheng, H. Zhou, S. Huang, L. Li, X. Dai, and J. Chen.Mirror-generative neural machine translation.In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. OpenReview.net, 2020.URL https://openreview.net/forum?id=HkxQRTNYPH.
Zhou et al. (2024)
X. Zhou, Z. Su, T. Eisape, H. Kim, and M. Sap.Is this the real life? is this just fantasy? the misleading success of simulating social interactions with llms.ArXiv preprint, abs/2403.05020, 2024.URL https://arxiv.org/abs/2403.05020.
Ziems et al. (2023)
C. Ziems, J. Dwivedi-Yu, Y.-C. Wang, A. Halevy, and D. Yang.Normbank: A knowledge bank of situational social norms.ArXiv preprint, abs/2305.17008, 2023.URL https://arxiv.org/abs/2305.17008.
Zou et al. (2023)
A. Zou, Z. Wang, J. Z. Kolter, and M. Fredrikson.Universal and transferable adversarial attacks on aligned language models.ArXiv preprint, abs/2307.15043, 2023.URL https://arxiv.org/abs/2307.15043.