ChatGPT 용어집, 프롬프트 용어집 1

 

 

 

ChatGPT 용어집

 

비즈니스를 위한 ChatGPT 기반 챗봇 출시에 관심이 있으시다면 아래 양식을 통해 문의해 주세요. 일주일 이내에 봇을 배포하고 위틀링고 플랫폼에서 호스팅할 수 있습니다. 챗봇이 질문에 답변하기를 원하는 콘텐츠에 대한 액세스 권한만 있으면 됩니다.

 

적대적 훈련: 언어 모델에 도전하도록 특별히 설계된 예제에 노출시켜 모델이 더 강력한 표현을 학습하도록 함으로써 언어 모델의 견고성을 향상시키는 기법입니다.

 

AI(인공 지능): 음성 인식, 문제 해결, 언어 번역 등 일반적으로 인간의 지능이 필요한 작업을 수행할 수 있는 지능형 기계를 구축하는 데 중점을 둔 컴퓨터 과학 분야입니다.

 

주의 메커니즘: 트랜스포머 기반 모델에서 출력을 생성할 때 입력 시퀀스의 특정 토큰에 선택적으로 집중하기 위해 사용되는 기술입니다.

 

자동 회귀: 자동 회귀: 언어 모델의 특성으로, 다음 토큰의 예측이 입력뿐만 아니라 모델 자체에서 생성된 이전 토큰에 따라 달라집니다.

 

빔 검색: 각 시간 단계에서 가장 가능성이 높은 k개의 시퀀스 빔을 유지하여 언어 모델에서 생성된 토큰의 가장 가능성이 높은 시퀀스를 찾기 위해 NLP에서 사용되는 검색 알고리즘입니다.

 

문맥 임베딩: 주변 단어 또는 문장 구조와 같이 단어가 나타나는 문맥을 고려하는 방식으로 생성되는 단어 임베딩입니다.

 

핵심 참조 해상도: 텍스트에서 서로 다른 표현이 동일한 개체를 가리키는 경우를 식별하여 일관된 단일 표현으로 대체하는 프로세스입니다.

 

의존성 구문 분석: 문장의 문법 구조를 분석하여 주어, 목적어 또는 수식어와 같은 구성 요소 간의 관계를 식별하는 NLP의 작업입니다.

 

배포: 학습된 언어 모델을 더 큰 시스템에 통합하거나 다른 사람들이 액세스할 수 있도록 API를 제공하여 사용할 수 있도록 만드는 프로세스입니다.

 

엔티티: 엔티티: 사람, 조직, 위치, 제품 등 텍스트에서 식별 및 추출할 수 있는 실제 개체를 말합니다.

 

평가 지표: 난해성, 정확도, F1 점수 또는 BLEU 점수와 같이 언어 모델의 성능을 평가하는 데 사용되는 측정값입니다.

 

미세 조정: 미세 조정: 사전 학습된 언어 모델을 더 작은 작업별 데이터 세트에 대해 학습하여 특정 작업에 맞게 조정하는 프로세스입니다.

 

세분화된 제어: 언어 모델이 내부 매개 변수를 조정하여 스타일, 어조 또는 콘텐츠와 같은 특정 속성을 가진 텍스트를 생성하는 기능입니다.

 

생성: 언어 모델을 사용하여 토큰에 대한 모델의 예측 분포에서 샘플링하거나 모델을 사람의 텍스트 생성을 위한 가이드로 사용하여 새 텍스트를 생성하는 프로세스입니다.

 

생성적 적대 신경망(GAN): NLP에 사용되는 신경망 아키텍처의 한 유형으로, 텍스트를 생성하는 생성기와 생성된 텍스트의 품질을 평가하고 생성기에 피드백을 제공하는 판별기의 두 가지 모델로 구성됩니다.

 

GPT-3(Generative 사전 학습 트랜스포머 3): OpenAI에서 개발한 AI 언어 모델로, 인터넷의 대규모 텍스트 말뭉치를 학습하여 사람과 유사한 텍스트를 생성합니다.

 

그리디 검색: 각 시간 단계에서 가장 가능성이 높은 토큰을 선택하여 언어 모델에서 생성된 토큰의 가장 가능성이 높은 시퀀스를 찾기 위해 NLP에서 사용되는 검색 알고리즘입니다.

 

추론: 학습된 언어 모델을 사용하여 보이지 않는 새로운 데이터를 예측하는 프로세스입니다.

 

지식창고: 언어 모델에 컨텍스트 및 배경 정보를 제공하는 데 사용할 수 있는 데이터베이스 또는 온톨로지와 같은 구조화된 정보 저장소입니다.

 

언어 모델: 대규모 텍스트 데이터 코퍼스에서 학습한 패턴을 기반으로 텍스트를 생성하도록 학습된 AI 모델입니다.

 

마스크된 언어 모델링: 입력 시퀀스의 일부 토큰을 마스킹하고 주변 토큰의 컨텍스트를 고려하여 해당 토큰을 예측하도록 모델을 학습시키는 사전 학습 작업입니다.

 

멀티태스크 학습: 전반적인 성능을 개선하고 작업 간에 공유된 표현을 학습하기 위해 여러 작업에 대해 동시에 모델을 훈련하는 프로세스입니다.

 

명명된 엔티티 인식(NER): 텍스트에 언급된 엔티티를 식별하고 사람, 위치 또는 조직과 같은 사전 정의된 카테고리로 분류하는 NLP의 작업입니다.

 

NLP(자연어 처리): 자연어를 사용하는 컴퓨터와 인간 간의 상호 작용에 초점을 맞춘 AI의 하위 분야입니다.

 

과적합: 모델이 학습 데이터에 너무 특화되어 보이지 않는 데이터에서 성능이 저하되는 머신 러닝의 일반적인 문제입니다. 과적합을 피하기 위해 일반적으로 드롭아웃 또는 조기 중지를 사용하는 등 모델을 정규화합니다.

 

품사 태깅(POS): 명사, 동사, 형용사와 같은 문법적 역할에 따라 문장의 각 단어에 레이블을 지정하는 NLP의 작업입니다.

 

사전 학습: 사전 학습: 질문에 답하거나 텍스트를 생성하는 등의 특정 작업에 맞게 언어 모델을 미세 조정하기 전에 대량의 텍스트 데이터에 대해 언어 모델을 학습하는 프로세스입니다.

 

프롬프트: 사용자가 대화를 시작하거나 질문하기 위해 제공하는 입력 텍스트를 말합니다. ChatGPT가 학습을 기반으로 응답을 생성하기 위한 시작점입니다. 프롬프트는 ChatGPT가 관련성 있고 일관된 응답을 생성하기 위한 컨텍스트 또는 단서 역할을 합니다.

 

QA(질문 답변): 모델이 질문을 받고 언어에 대한 이해와 학습한 지식을 바탕으로 관련성 있고 일관된 답변을 생성해야 하는 NLP의 작업입니다.

 

정규화: 모델이 너무 복잡해지는 것을 막는 손실 함수에 페널티 항을 추가하여 과적합을 줄이는 기술입니다.

 

자기 주의: 트랜스포머 기반 모델에서 단일 시퀀스 내에서 토큰 간의 관계를 계산하는 데 사용되는 메커니즘으로, 모델이 출력을 생성할 때 입력의 다른 부분에 주의를 기울일 수 있게 해줍니다.

 

의미적 유사도: 의미적 유사도: 일반적으로 벡터 공간에서의 표현을 기반으로 두 텍스트의 의미 사이의 유사성을 측정합니다.

 

감정 분석: 긍정, 부정, 중립 등 텍스트에 표현된 감정을 결정하는 NLP의 작업입니다.

 

시퀀스 생성: 언어 모델을 사용하여 학습 데이터에서 학습한 패턴을 기반으로 문장이나 단락과 같은 토큰의 시퀀스를 생성하는 프로세스입니다.

 

시퀀스 대 시퀀스(Seq2Seq) 모델: 기계 번역이나 텍스트 요약과 같이 입력 시퀀스를 출력 시퀀스에 매핑하도록 설계된 NLP에 사용되는 신경망 아키텍처의 한 유형입니다.

 

토큰: 단일 단어, 문장 부호 또는 기타 텍스트를 나타내는 NLP의 기본 의미 단위입니다.

 

토픽 모델링: 단어 동시 발생 패턴을 기반으로 텍스트 문서 모음에서 기본 주제를 발견하는 기술입니다.

 

전이 학습: 사전 학습된 모델을 활용하여 한 작업에서 학습한 지식을 사용하여 관련 작업의 성과를 개선하는 프로세스입니다.

 

트랜스포머: NLP에 사용되는 신경망 아키텍처의 한 유형으로, 텍스트와 같은 순차적인 데이터를 처리하도록 설계되었습니다.

 

단어 임베딩: 벡터 공간에서 단어의 조밀하고 연속적인 표현으로, 일반적으로 대규모 텍스트 말뭉치에 대해 언어 모델을 훈련하여 얻습니다. 단어 임베딩은 단어 간의 의미적 및 구문적 유사성을 포착합니다.

 

제로 샷 학습: 언어 모델에 대한 이해와 사전 학습을 통해 학습한 지식을 바탕으로 이전에 보지 못한 작업을 수행할 수 있는 언어 모델의 능력.  

 

A ChatGPT Glossary

 

If you are interested in launching a ChatGPT-based chatbot for your business, please send us a note using the form below. We can deploy your bot in less than a week, and host it for you on the Witlingo platform. All we would need is access to the content that you wish the chatbot to answer question about.

 

Adversarial Training: A technique for improving the robustness of language models by exposing them to examples that are specifically designed to challenge the model and force it to learn more robust representations.

 

AI (Artificial Intelligence): A field of computer science focused on building intelligent machines that can perform tasks that typically require human intelligence, such as speech recognition, problem solving, and language translation.

 

Attention Mechanism: a technique used in Transformer-based models to selectively focus on specific tokens in the input sequence when generating output.

 

Autoregression: A property of language models, where the prediction of the next token depends on the previous tokens generated by the model itself, rather than just on the input.

 

Beam Search: A search algorithm used in NLP to find the most likely sequence of tokens generated by a language model, by maintaining a beam of the k most likely sequences at each time step.

 

Contextual Embeddings: Word embeddings that are generated in a way that considers the context in which the words appear, such as the surrounding words or the sentence structure.

 

Coreference Resolution: The process of identifying when different expressions in a text refer to the same entity and replacing them with a single, consistent representation.

 

Dependency Parsing: A task in NLP that involves analyzing the grammatical structure of a sentence to identify the relationships between its constituents, such as subject, object, or modifier.

 

Deployment: The process of making a trained language model available for use, either by integrating it into a larger system or by providing an API for others to access it.

 

Entities: Refers to real-world objects, such as people, organizations, locations, or products, that can be identified and extracted from text.

 

Evaluation Metrics: Measures used to assess the performance of a language model, such as perplexity, accuracy, F1 score, or BLEU score.

 

Fine-tuning: The process of adapting a pre-trained language model for a specific task by training it on a smaller, task-specific dataset.

 

Fine-Grained Control: The ability of a language model to generate text with specific attributes, such as style, tone, or content, by adjusting its internal parameters.

 

Generation: the process of using a language model to generate new text, either by sampling from the model's predicted distribution over tokens, or by using the model as a guide for human text generation

 

Generative Adversarial Networks (GANs): A type of neural network architecture used in NLP, consisting of two models: a generator that generates text, and a discriminator that evaluates the quality of the generated text and provides feedback to the generator.

 

GPT-3 (Generative Pre-trained Transformer 3) : An AI language model developed by OpenAI, trained on a large corpus of text from the internet to generate human-like text.

 

Greedy Search: A search algorithm used in NLP to find the most likely sequence of tokens generated by a language model, by selecting the most likely token at each time step.

 

Inference: The process of using a trained language model to make predictions on new, unseen data.

 

Knowledge Base: A structured repository of information, such as a database or an ontology, that can be used to provide context and background information for language models.

 

Language Model: An AI model that has been trained to generate text based on patterns it has learned from a large corpus of text data.

 

Masked Language Modeling: A pre-training task where some tokens in the input sequence are masked, and the model is trained to predict these tokens, given the context of the surrounding tokens.

 

Multitask Learning: The process of training a model on multiple tasks simultaneously, in order to improve overall performance and learn shared representations across tasks.

 

Named Entity Recognition (NER): A task in NLP that involves identifying and classifying entities mentioned in a piece of text into predefined categories, such as person, location, or organization.

 

NLP (Natural Language Processing): A subfield of AI focused on the interaction between computers and humans using natural language.

 

Overfitting: A common issue in machine learning where a model becomes too specialized to the training data and performs poorly on unseen data. To avoid overfitting, models are usually regularized, for example by using dropout or early stopping.

 

Part-of-Speech Tagging (POS): A task in NLP that involves labeling each word in a sentence with its grammatical role, such as noun, verb, or adjective.

 

Pre-training: The process of training a language model on a large corpus of text data before fine-tuning it for specific tasks, such as answering questions or generating text.

 

Prompt: Refers to the input text provided by a user to initiate a conversation or to ask a question. It is the starting point for ChatGPT to generate a response based on its training. The prompt serves as a context or cue for ChatGPT to generate a relevant and coherent reply.

 

QA (Question Answering): A task in NLP where a model is given a question and must generate a relevant and coherent answer, based on its understanding of the language and the knowledge it has learned.

 

Regularization: A technique for reducing overfitting by adding a penalty term to the loss function that discourages the model from becoming too complex.

 

Self-Attention: A mechanism used in Transformer-based models to compute relationships between tokens within a single sequence, enabling the model to attend to different parts of the input when generating its output.

 

Semantic Similarity: A measure of the similarity between the meanings of two pieces of text, usually based on their representations in a vector space.

 

Sentiment Analysis: A task in NLP that involves determining the sentiment expressed in a piece of text, such as positive, negative, or neutral.

 

Sequence Generation: The process of using a language model to generate a sequence of tokens, such as a sentence or a paragraph, based on the patterns it has learned from training data.

 

Sequence-to-Sequence (Seq2Seq) Models: A type of neural network architecture used in NLP, designed to map an input sequence to an output sequence, such as in machine translation or text summarization.

 

Token: A basic unit of meaning in NLP, representing a single word, punctuation mark, or other piece of text.

 

Topic Modeling: A technique for discovering the underlying topics in a collection of text documents, based on the patterns of word co-occurrence.

 

Transfer Learning: The process of using knowledge learned from one task to improve performance on a related task, by leveraging pre-trained models.

 

Transformers: A type of neural network architecture used in NLP, designed to process sequential data, such as text.

 

Word Embeddings: Dense, continuous representations of words in a vector space, usually obtained by training a language model on a large corpus of text. Word embeddings capture the semantic and syntactic similarities between words.

 

Zero-shot Learning: The ability of a language model to perform a task it has not seen before, based on its understanding of the language and the knowledge it has learned from pre-training. 

 

출처: A ChatGPT Glossary