ChatGPT의 언어 모델을 활용하여 데이터를 학습시키는 방법에 대한 고찰입니다. 1. 기본 Flow Chatgpt에서 현재 제공하고 있는 언어모델은 범용적으로 학습된 모델로 데이터를 추가적으로 학습을 시켜 원하는 답변을 얻어 필요한 분야에 적용할 수 있다. 이를 위해 현재 적용할 목표의 Text들(Page등)을 가져와 openai에서 이해할 수 있는 training data로 가공을 합니다. 이렇게 가공된 training data를 이용해 OpenAI에서 제공하는 API를 이용해 튜닝된 언어 모델을 생성할 수 있습니다. (Fine-tuning) 2. 작업 절차 2.1 데이터 수집 및 가공 2.1.1 데이터 수집 목표로하고 있는 Data가 있는 서버 API를 이용해서 대상 페이지의 Text를 crawll..
