임영윤 (16) 썸네일형 리스트형 query embedding vector, document embedding vector Introducing text and code embeddings (openai.com) Introducing text and code embeddings We are introducing embeddings, a new endpoint in the OpenAI API that makes it easy to perform natural language and code tasks like semantic search, clustering, topic modeling, and classification. openai.com openai api를 사용하여 query embedding vector 와 document embedding vector 유사도 비교하여 특수한 도메인 문서를 사용하여 대화하는 방법 여기.. ChatGPT API사용법 with Python 이 포스트에는 ChatGPT API를 사용하는 방법, 적절한 프롬프트 엔지니어링, 인터렉티브하게 만드는 방법에 대해 알아보겠습니다. ChatGPT API의 가격은 1K 토큰당 0.002 달러입니다. https://chat.openai.com/chat 에 회원가입해서 무료로 사용할 수 가 있습니다. OpenAI API에서 텍스트를 어떻게 토큰화하는지 이해하고, 텍스트의 총 토큰 수를 알아보려면 아래 도구(사이트)를 사용할 수 있습니다. https://platform.openai.com/tokenizer OpenAI API An API for accessing new AI models developed by OpenAI platform.openai.com API 키 생성 ChatGPT API를 사용하기 전에.. 지식 그래프, 프롬포트 튜닝 논문 2편 요약 CycleGT: Unsupervised Graph-to-Text and Text-to-Graph Generation via Cycle Training https://arxiv.org/abs/2006.04702 CycleGT: Unsupervised Graph-to-Text and Text-to-Graph Generation via Cycle Training Two important tasks at the intersection of knowledge graphs and natural language processing are graph-to-text (G2T) and text-to-graph (T2G) conversion. Due to the difficulty and high cost of data c.. AI art generator를 위한 프롬프트 작성 가이드 AI art generator 는 인공지능이 자동으로 이미지를 생성하는 도구입니다. AI art generator는 텍스트나 음성과 같은 자연어를 입력받아서 그에 맞는 이미지를 출력합니다. AI art generator는 다양한 분야에서 활용될 수 있습니다. 예를 들면 디자인, 광고, 게임, 영화, 교육 등에서 AI art generator를 사용하여 새로운 아이디어나 컨셉을 시각화할 수 있습니다. AI art generator의 종류와 특징 AI art generator는 여러 가지 종류가 있습니다. 대표적인 것들은 다음과 같습니다. - ChatGPT: 이 도구는 텍스트로 대화하는 인공지능입니다. ChatGPT는 사용자의 질문이나 요청에 따라서 이미지를 생성하거나 설명할 수 있습니다. ChatGPT는 .. ChatGPT PROMPT GPT-3 모델은 인공지능 분야에서 가장 큰 주목을 받는 모델 중 하나입니다. 이 모델은 대규모의 데이터셋을 학습하여, 자연어 처리를 기반으로 하는 다양한 작업을 수행할 수 있습니다. 이를 통해 ChatGPT Prompt는 다양한 분야에서 활용될 수 있습니다. ChatGPT Prompt를 사용하면, 사용자가 입력한 질문이나 문장에 대한 답변을 자동으로 생성해줍니다. 예를 들어, 사용자가 "오늘의 날씨는 어떻게 되나요?"라는 질문을 ChatGPT Prompt에 입력하면, 모델이 해당 지역의 오늘 날씨 정보를 자동으로 생성해줍니다. 이를 통해 사용자는 빠르게 필요한 정보를 확인할 수 있습니다. 또한, ChatGPT Prompt는 다양한 분야에서 활용될 수 있습니다. 예를 들어, 교육 분야에서는 학습용 자료를.. BLEU와 KLEU BLEU (Bilingual Evaluation Understudy)와 KLEU (Korean Language Evaluation Understudy)는 모두 자연어처리에서 사용되는 기계 번역 평가 지표입니다. BLEU는 대표적인 기계 번역 평가 지표 중 하나이며, KLEU는 한국어에 대한 BLEU의 한계를 보완하기 위해 개발된 새로운 평가 지표입니다. 이번에는 BLEU와 KLEU를 비교하면서 각각의 특징과 장단점을 알아보겠습니다. BLEU는 기계 번역 결과와 기계 번역이 필요한 정답 문장 사이의 유사도를 측정합니다. BLEU는 기계 번역 결과와 기계 번역이 필요한 정답 문장 사이의 단어 수가 일치하는 정도를 계산하여 번역의 품질을 평가합니다. 이 때, n-gram (연속된 단어의 나열)을 이용하여 번역.. Language Models as Recommender Systems:Evaluations and Limitations https://openreview.net/forum?id=hFx3fY7-m9b 2021.9.23 Language Models as Recommender Systems: Evaluations and Limitations We use prompts to reformulate the session-based recommendation task to a multi-token cloze task and evaluate the proposed method on a movie recommendation dataset in zero-shot and fine-tuned... openreview.net 논문에서는 BERT 및 GPT와 같은 PLM(Pre-trained language model)을 추천 시스템으로 사용하여.. many features 와 missing Values의 small datasets에서 classification ML 적용하기 해커톤 진행중이다. 주어진 데이터셋은 다음과 같은 성질을 띄고 있다. 1. 데이터의 양이 적음 (600개) 2. 데이터의 양에 비해 데이터의 feature(특징)가 많음 (3000개) 3. 결측치가 상당히 많음 4. 처리해야할 테스크는 3개의 레이블로 분류 어떤 모델을 적용시켜야할까? Overfitting with Small Datasets 적은 데이터 세트로 작업할 때 공통적으로 발생하는 문제 중 하나는 과적합(Overfitting)입니다. 과적합은 모델이 너무 복잡하고 훈련 데이터에 너무 잘 맞아서 새 데이터에 대한 일반화가 제대로 이루어지지 않을 때 발생합니다. 작은 데이터 세트에서 과적합을 완화하려면 더 간단한 모델을 사용하는 것이 좋습니다. Handling Missing Values 결측 값 처.. 이전 1 2 다음
