ChatGPT 용어집, 프롬프트 용어집 2

 

 

ChatGPT 및 GPT 용어집 [꼭 알아야 할 용어]

 

다음은 AI 애호가라면 반드시 알아야 할 ChatGPT와 Generative Pre-trained Transformer에 가장 많이 사용되는 용어집입니다!

 

ChatGPT: 사용자 입력에 대해 사람과 유사한 응답을 생성할 수 있는 OpenAI에서 개발한 대화형 AI 모델입니다.

 

GPT-3: 1,750억 개의 매개 변수가 포함된 OpenAI의 생성형 사전 학습 트랜스포머 언어 모델의 세 번째 반복.

 

언어 모델: 대규모 예제 데이터 세트에서 학습한 패턴을 기반으로 텍스트를 생성할 수 있는 일종의 머신 러닝 모델입니다.

 

사전 학습: 대규모 데이터 세트에서 언어 모델을 훈련하여 자연어 패턴을 학습하는 과정입니다.

 

미세 조정: 사전 학습된 언어 모델을 특정 작업이나 도메인에 맞게 조정하는 프로세스입니다.

 

자연어 처리(NLP): 컴퓨터와 인간의 언어 간의 상호 작용을 다루는 컴퓨터 과학 분야.

 

API: 소프트웨어 애플리케이션이 서로 통신할 수 있도록 하는 애플리케이션 프로그래밍 인터페이스.

 

텍스트 생성: 주어진 프롬프트 또는 컨텍스트에 따라 새 텍스트를 생성하는 프로세스입니다.

 

감정 분석: 텍스트의 감정 어조를 결정하는 프로세스.

 

명명된 엔티티 인식(NER): 사람, 장소, 조직과 같은 명명된 엔티티를 텍스트에서 식별하고 추출하는 프로세스입니다.

 

텍스트 분류: 텍스트를 스팸과 비스팸 등 미리 정의된 카테고리로 분류하는 프로세스입니다.

 

대화형 AI: 인간과 자연스럽게 대화할 수 있는 AI 시스템을 만드는 것을 다루는 AI 분야입니다.

 

트랜스포머 아키텍처: 언어 처리 작업에 특히 적합한 신경망 아키텍처의 한 유형입니다.

 

인코더: 입력 텍스트를 숨겨진 표현 집합으로 인코딩하는 트랜스포머 아키텍처의 구성 요소입니다.

 

디코더: 숨겨진 표현을 출력 텍스트로 디코딩하는 Transformer 아키텍처의 구성 요소입니다.

 

주의 메커니즘: 모델이 입력 텍스트의 여러 부분에 집중할 수 있도록 하는 Transformer 아키텍처의 구성 요소입니다.

 

다중 헤드 주의: 모델이 입력 텍스트의 여러 부분에 동시에 주의를 기울일 수 있도록 하는 주의 메커니즘의 변형입니다.

 

토큰: 토큰: 언어 모델에 의해 처리되는 텍스트 단위로, 일반적으로 단어 또는 하위 단어입니다.

 

BERT: Google에서 개발한 언어 모델인 트랜스포머의 양방향 인코더 표현.

 

LSTM: 언어 처리 작업에 일반적으로 사용되는 순환 신경망 아키텍처의 일종인 장단기 메모리.

 

RNN: 순환 신경망: 텍스트와 같은 데이터 시퀀스를 처리하기 위해 설계된 신경망 아키텍처의 한 유형입니다.

 

Seq2seq: 기계 번역 및 기타 시퀀스 처리 작업에 일반적으로 사용되는 신경망 아키텍처의 일종으로, 시퀀스 대 시퀀스입니다.

 

BLEU 점수: 기계 번역 시스템의 품질을 평가하는 데 사용되는 메트릭인 이중 언어 평가 언더스터디 점수입니다.

 

난해성: 언어 모델이 단어 시퀀스를 얼마나 잘 예측할 수 있는지를 측정하는 척도.

 

탑-k 샘플링: 모델이 각 단계에서 가장 가능성이 높은 상위 k개의 단어를 선택하는 텍스트 생성 기법입니다.

 

빔 검색: 모델이 가능한 여러 단어 시퀀스를 생성하고 가장 가능성이 높은 단어를 선택하는 텍스트 생성 기법입니다.

 

무조건 텍스트 생성: 입력 프롬프트나 컨텍스트 없이 텍스트를 생성합니다.

 

조건부 텍스트 생성: 주어진 입력 프롬프트 또는 컨텍스트가 있는 텍스트 생성.

 

프롬프트 엔지니어링: 특정 작업이나 도메인에 맞게 조정된 입력 프롬프트를 만드는 프로세스입니다.

 

프롬프트 및 프롬프트: 사용자가 대화를 시작하거나 질문을 하기 위해 제공하는 입력 텍스트. 이는 ChatGPT가 학습을 기반으로 응답을 생성하기 위한 시작점입니다. 프롬프트는 ChatGPT가 관련성 있고 일관된 응답을 생성하기 위한 컨텍스트 또는 단서 역할을 합니다.

 

제로 샷 학습: 언어 모델이 해당 작업에 대해 명시적으로 학습하지 않고도 작업을 수행할 수 있는 능력.

 

소수 샷 학습: 언어 모델이 소량의 학습 데이터만으로 작업을 수행할 수 있는 능력.

 

메타 학습: 언어 모델이 학습하는 능력

 

역전파: 최적화를 통해 네트워크의 파라미터를 업데이트하기 위해 손실 함수에 대한 신경망 파라미터의 기울기를 계산하는 프로세스입니다.

 

그라디언트 하강: 머신 러닝에서 일반적으로 사용되는 최적화 알고리즘으로, 손실 함수가 가장 가파르게 하강하는 방향으로 모델 매개변수를 반복적으로 조정합니다.

 

학습 속도: 최적화 중 매개변수 업데이트의 단계 크기를 제어하는 하이퍼파라미터입니다.

 

과적합: 머신 러닝에서 모델이 일반화 가능한 패턴을 학습하는 대신 학습 데이터를 암기하여 학습 데이터에서는 잘 작동하지만 테스트 데이터에서는 제대로 작동하지 않는 현상입니다.

 

정규화: L1/L2 정규화, 드롭아웃, 조기 중지 등 과적합을 방지하는 데 사용되는 일련의 기술입니다.

 

미세 조정 데이터 집합: 특정 작업 또는 도메인에서 언어 모델을 미세 조정하는 데 사용되는 데이터 세트입니다.

 

추론: 추론: 입력 프롬프트나 컨텍스트가 주어졌을 때 학습된 언어 모델을 사용하여 텍스트를 생성하는 프로세스입니다.

 

다국어: 여러 언어로 텍스트를 처리하고 생성할 수 있는 언어 모델입니다.

 

Transformer-XL: 긴 텍스트 시퀀스를 처리하도록 설계된 Transformer 아키텍처의 변형입니다.

 

T5: Google에서 개발한 언어 모델로, 다양한 자연어 작업에 대해 학습되어 텍스트에서 텍스트로의 변환을 수행할 수 있습니다.

 

RoBERTa: 더 큰 데이터 세트와 더 긴 훈련 시간을 사용하여 훈련되고 여러 자연어 처리 작업에서 최첨단 성능을 달성하는 BERT의 변형입니다.

 

GPT-2: 15억 개의 파라미터가 포함된 OpenAI의 생성적 사전 학습 트랜스포머 언어 모델의 두 번째 반복.

 

GPT-1: 1억 1,700만 개의 파라미터가 포함된 OpenAI의 생성형 사전 학습 트랜스포머 언어 모델의 첫 번째 반복.

 

인간과 동등한 수준: 작업에서 언어 모델의 성능이 인간의 성능에 도달하거나 이를 뛰어넘는 것을 의미합니다.

 

전이 학습: 목표 작업 또는 도메인에서 성능을 개선하기 위해 한 작업 또는 도메인에서 학습한 지식을 다른 작업 또는 도메인으로 이전하는 프로세스입니다.

 

다중 작업 학습: 보다 일반화된 표현을 학습하기 위해 여러 작업을 동시에 수행하도록 언어 모델을 훈련하는 과정.

 

N-gram: 언어 모델링에 일반적으로 사용되는 텍스트에서 연속된 단어 n개의 시퀀스입니다.

 

임베딩: 학습 중에 언어 모델에 의해 학습된 단어 또는 하위 단어의 벡터 표현으로, 학습 데이터 내에서 단어의 의미와 문맥을 포착합니다.

 

바이트 쌍 인코딩(BPE): 토큰화에 사용되는 기술로, 말뭉치에서 단어의 빈도에 따라 단어를 하위 단어 단위로 나눕니다.

 

교차 검증: 데이터를 학습 및 검증 세트로 분할하고 데이터의 여러 하위 집합에서 모델을 테스트하여 모델의 성능을 평가하는 기법입니다.

 

도메인 적응: 한 도메인에서 학습된 언어 모델을 다른 도메인(예: 뉴스 기사 대 과학 논문)에서 잘 수행하도록 조정하는 프로세스입니다.

 

앙상블: 여러 모델을 결합하여 성능을 개선하고 분산을 줄이는 프로세스입니다.

 

휴먼 인 더 루프(HITL): 모델의 성능과 정확도를 개선하기 위해 사람의 입력과 피드백을 포함하는 AI 모델 학습 접근 방식입니다.

 

지식 그래프: 엔티티와 그 관계에 대한 구조화된 정보를 저장하는 데이터베이스 유형으로, 언어 모델에 컨텍스트 및 배경 정보를 제공하는 데 자주 사용됩니다.

 

원샷 학습: 새로운 작업의 단일 예제에 대해 모델을 학습하고 해당 작업의 새로운 예제로 일반화할 수 있는 학습 유형입니다.

 

전이 가능성: 언어 모델이 한 도메인이나 작업에서 다른 도메인이나 작업으로 지식을 이전하는 능력으로, 종종 다운스트림 작업에서의 성능으로 측정됩니다.

 

AI 작성 도구: 인공 지능(AI)을 사용하여 자동으로 콘텐츠를 생성하는 소프트웨어 애플리케이션입니다. 이러한 도구는 일반적으로 자연어 처리(NLP), 머신 러닝(ML), 딥 러닝(DL) 알고리즘을 사용하여 텍스트 입력의 문맥과 의도를 분석 및 이해하고 관련성 있고 일관되며 문법적으로 올바른 응답을 생성합니다.

 

AI 콘텐츠 감지: 머신 러닝 및 자연어 처리와 같은 인공 지능 기술을 사용하여 디지털 미디어에서 다양한 유형의 콘텐츠를 자동으로 식별하고 분류합니다. 여기에는 스팸 식별 및 필터링, 가짜 뉴스 또는 잘못된 정보 탐지, 부적절하거나 불쾌한 콘텐츠 플래그 지정, 주제 또는 키워드에 따른 콘텐츠 분류 등이 포함될 수 있습니다.  

 

 

ChatGPT and GPT Glossary Terms [Must Know]

 

Below are the most used glossary terms for ChatGPT and Generative Pre-trained Transformer that all of the AI enthusiasts must know about!

 

ChatGPT: A conversational AI model developed by OpenAI that can generate human-like responses to user inputs.

 

GPT-3: The third iteration of OpenAI’s Generative Pre-trained Transformer language model, with 175 billion parameters.

 

Language model: A type of machine learning model that can generate text based on the patterns it has learned from a large dataset of examples.

 

Pre-training: The process of training a language model on a large dataset to learn the patterns of natural language.

 

Fine-tuning: The process of adapting a pre-trained language model to a specific task or domain.

 

Natural language processing (NLP): The field of computer science that deals with the interactions between computers and human language.

 

API: Application Programming Interface, which allows software applications to communicate with each other.

 

Text generation: The process of generating new text based on a given prompt or context.

 

Sentiment analysis: The process of determining the emotional tone of a piece of text.

 

Named entity recognition (NER): The process of identifying and extracting named entities from text, such as people, places, and organizations.

 

Text classification: The process of categorizing text into predefined categories, such as spam vs. non-spam.

 

Conversational AI: The field of AI that deals with creating AI systems that can converse with humans in a natural way.

 

Transformer architecture: A type of neural network architecture that is particularly well-suited for language processing tasks.

 

Encoder: A component of the Transformer architecture that encodes input text into a set of hidden representations.

 

Decoder: A component of the Transformer architecture that decodes the hidden representations into output text.

 

Attention mechanism: A component of the Transformer architecture that allows the model to focus on different parts of the input text.

 

Multi-head attention: A variant of the attention mechanism that allows the model to attend to different parts of the input text simultaneously.

 

Token: A unit of text that is processed by a language model, typically a word or a subword.

 

BERT: Bidirectional Encoder Representations from Transformers, a language model developed by Google.

 

LSTM: Long Short-Term Memory, a type of recurrent neural network architecture commonly used in language processing tasks.

 

RNN: Recurrent Neural Network, a type of neural network architecture that is designed for processing sequences of data, such as text.

 

Seq2seq: Sequence-to-sequence, a type of neural network architecture that is commonly used for machine translation and other sequence processing tasks.

 

BLEU score: Bilingual Evaluation Understudy score, a metric used to evaluate the quality of machine translation systems.

 

Perplexity: A measure of how well a language model can predict a sequence of words.

 

Top-k sampling: A text generation technique where the model selects the top-k most likely words at each step.

 

Beam search: A text generation technique where the model generates several possible sequences of words and selects the most likely one.

 

Unconditional text generation: Text generation without any input prompt or context.

 

Conditional text generation: Text generation with a given input prompt or context.

 

Prompt engineering: The process of creating an input prompt that is tailored to a specific task or domain.

 

Prompt and prompting: Input text provided by a user to initiate a conversation or to ask a question. It is the starting point for ChatGPT to generate a response based on its training. The prompt serves as a context or cue for ChatGPT to generate a relevant and coherent reply.

 

Zero-shot learning: The ability of a language model to perform a task without being explicitly trained on that task.

 

Few-shot learning: The ability of a language model to perform a task with only a small amount of training data.

 

Meta-learning: The ability of a language model to learn

 

Backpropagation: The process of calculating the gradients of a neural network’s parameters with respect to a loss function, in order to update the network’s parameters through optimization.

 

Gradient descent: A commonly used optimization algorithm in machine learning, which iteratively adjusts the model parameters in the direction of the steepest descent of the loss function.

 

Learning rate: A hyperparameter that controls the step size of the parameter updates during optimization.

 

Overfitting: A phenomenon in machine learning where a model performs well on the training data, but poorly on the test data, due to memorizing the training data instead of learning generalizable patterns.

 

Regularization: A set of techniques used to prevent overfitting, such as L1/L2 regularization, dropout, and early stopping.

 

Fine-tuning dataset: A dataset used for fine-tuning a language model on a specific task or domain.

 

Inference: The process of using a trained language model to generate text, given an input prompt or context.

 

Multi-lingual: A language model that can process and generate text in multiple languages.

 

Transformer-XL: A variant of the Transformer architecture that is designed to handle longer sequences of text.

 

T5: A language model developed by Google that is trained on a wide range of natural language tasks, and can perform text-to-text transformations.

 

RoBERTa: A variant of BERT that is trained using a larger dataset and longer training time, and achieves state-of-the-art performance on several natural language processing tasks.

 

GPT-2: The second iteration of OpenAI’s Generative Pre-trained Transformer language model, with 1.5 billion parameters.

 

GPT-1: The first iteration of OpenAI’s Generative Pre-trained Transformer language model, with 117 million parameters.

 

Human parity: The achievement of a language model’s performance on a task reaching or exceeding human performance.

 

Transfer learning: The process of transferring knowledge learned from one task or domain to another, in order to improve performance on the target task or domain.

 

Multi-task learning: The process of training a language model to perform multiple tasks simultaneously, in order to learn more generalized representations.

 

N-gram: A sequence of n consecutive words in a piece of text, commonly used in language modeling.

 

Embedding: A vector representation of a word or subword, learned by a language model during training, which captures the meaning and context of the word within the training data.

 

Byte Pair Encoding (BPE): A technique used in tokenization that breaks words into subword units based on their frequency in a corpus.

 

Cross-Validation: A technique for evaluating the performance of a model by splitting the data into training and validation sets and testing the model on multiple subsets of the data.

 

Domain Adaptation: The process of adapting a language model trained on one domain to perform well on a different domain, such as news articles versus scientific papers.

 

Ensembling: The process of combining multiple models to improve performance and reduce variance.

 

Human-in-the-Loop (HITL): An approach to training AI models that involves human input and feedback to improve model performance and accuracy.

 

Knowledge Graph: A type of database that stores structured information about entities and their relationships, often used to provide context and background information for language models.

 

One-Shot Learning: A type of learning where the model is trained on a single example of a new task and can generalize to new examples of that task.

 

Transferability: The ability of a language model to transfer its knowledge from one domain or task to another, often measured by the performance on downstream tasks.

 

AI writing tools: Software applications that use artificial intelligence (AI) to generate written content automatically. These tools typically use natural language processing (NLP), machine learning (ML), and deep learning (DL) algorithms to analyze and understand the context and intent of text inputs, and generate responses that are relevant, coherent, and grammatically correct

 

AI content detection: The use of artificial intelligence technologies, such as machine learning and natural language processing, to automatically identify and classify different types of content in digital media. This can include identifying and filtering out spam, detecting fake news or misinformation, flagging inappropriate or offensive content, and categorizing content based on topics or keywords. 

 

출처: ChatGPT and GPT Glossary Terms [Must Know] 

 

 

여기도 참고할 것: Comprehensive Glossary: Understanding ChatGPT and Artificial Intelligence Terminology