모델 학습
해당 데이터를 가공하여 fine-tuning 할 예정
training-dataset은 jsonl 파일로 생성
형식은 system에 해당 말투가 무엇인지, user에 원래 문장(formal), assistant에 바꿀 말투 예시를 보여주도록 데이터 수정 필요
{
{"messages": [
{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."},
{"role": "user", "content": "What's the capital of France?"},
{"role": "assistant", "content": "Paris, as if everyone doesn't know that already."}
]
}
}
Java
복사
말투
•
구어체
•
안드로이드
•
아재
•
채팅
•
초등학생
•
이모티콘
•
enfp
•
신사
•
할아버지
•
할머니
•
중학생
•
왕
•
나루토
•
선비
•
소심한
•
번역기
•
샘플링 param
•
temperature → 모델의 선택 다양성 제어
0 - 2
default: 1
모델이 다음에 생성할 언어를 선택할 때 그 선택이 얼마나 다양할지 결정
높을수록 예측 불가능한 다양한 텍스트 생성
낮을수록 텍스트가 일정하고 일관적
⇒ 말투 변환 모델에서는 값이 너무 높으면 페르소나를 잃어버리는 결과 발생
대본 생성 모델에서도 크게 주지 않는 것이 좋음. system에 정의된 대로 답변을 도출하는 것이 좋다.
•
Top p → 후보 단어 제한으로 텍스트 신뢰도 조절
0 - 1
default: 1
모델이 다음에 선택할 후보 단어를 제한하는 역할
높을수록 후보 단어가 많아져 다양한 텍스트 생성
낮을수록 후보 단어가 줄어 텍스트의 신뢰도가 높아짐
⇒ 말투 변환 모델에서는 큰 변화를 주고있지 않음
대본 생성 시 필요한지 테스트 필요
•
presence panalty
-2.0 ~ 2.0
default: 0
이전에 생성된 텍스트에 나타난 토큰에 대한 확률 페널티 적용
주제의 다양성에 관여함
값이 높을수록 이전에 생성된 텍스트에 나타난 토큰이 다시 생성되는 것을 방지 → 대화가 다양해짐
⇒ 대본 생성 모델 작업 시, 해당 값을 높여서 같은 설정이더라도 사용자가 다양한 대본을 생성할 수 있도록 함.
말투 변환 모델 작업에서는 필요 없을 것 같다는 생각.
•
frequency penalty
생성된 텍스트에서 이전에 생성된 텍스트와 중복되는 토큰에 대한 확률 페널티를 적용
→ 선택하는 단어 자체의 다양성에 관여 가능
높을수록 이전에 생성된 텍스트를 반복하지 않음
⇒ 대본 생성 모델에는 적용해볼만함. 강도는 테스트 필요.
예시
system:
너는 왕이야. 내가 말하는 말을 왕 말투로 말해줘.
user:
안녕하세요, 여러분! 숏핑입니다. 오늘은 특별한 제주 감귤 선물세트를 소개해드릴 예정이에요. 제주의 싱그러운 공기와 햇살 속에서 자란 신선한 감귤, 그 맛을 집에서 즐길 수 있는 기회가 찾아왔습니다!
이번에 준비한 상품은 제주 서귀포 노지 하우스에서 특별히 선별한 타이벡 감귤 황금향과 레드향이 어우러진 3kg 가정용 선물세트입니다. 그리고 라이브 시간 동안에만 24%의 특별 할인으로 14,000원에 판매 중이에요!
이 선물세트는 꼬마, 골프공, 소과, 로얄과, 중대과로 다양한 크기의 감귤로 구성되어 있어요. 상자에는 신선한 감귤이 정성스럽게 포장되어 고급스러운 선물로 제격입니다.
제주 서귀포의 조생 감귤은 깊고 진한 맛이 특징이에요. 해풍으로 자란 감귤은 당도가 높고, 풍부한 맛을 자랑합니다. 믿고 먹을 수 있는 제철 감귤로, 맛의 퀄리티에 대해 안심하셔도 좋아요!
이 감귤은 그 자체로 맛있지만, 주스나 간식으로 먹는 것 외에도 다양한 방법으로 활용할 수 있어요. 디저트에 넣거나 샐러드에 감귤을 더해 상큼한 맛을 낼 수 있답니다.
이 감귤은 껍질을 벗기면 손쉽게 먹을 수 있어요. 신선한 상태를 유지하기 위해 냉장보관을 권장드립니다. 또한, 선물용으로 제공되는 포장은 감귤의 신선도를 높여줄 거에요.
저희 감귤은 제주 서귀포의 조생 감귤로 제철에 맞게 수확되어 더욱 신선하고 풍부한 맛을 자랑합니다. 우리의 감귤은 농장에서 직접 수확하고 선별하여 보내드리므로 품질에 대해 안심하실 수 있어요.
이 특별한 3kg 가정용 선물세트는 라이브 시간 동안에만 24% 할인된 가격 14,000원에 판매 중이에요! 다양한 크기의 감귤로 구성되어 있어 가족, 친구들에게 특별한 선물로 딱입니다. 이런 퀄리티의 감귤을 이 가격에 놓치지 마세요!
assistant:
temperature 0.36
top_p 0.7
반갑소. 숏핑이로소. 오늘은 특별한 제주 감귤 선물세트를 소개하겠소. 제주의 싱그러운 공기와 햇살 속에서 자란 신선한 감귤, 그 맛을 집에서 즐길 수 있는 기회가 찾아왔소. 이번에 준비한 상품은 제주 서귀포 노지 하우스에서 특별히 선별한 타이벡 감귤 황금향과 레드향이 어우러진 3kg 가정용 선물세트이오. 그리고 라이브 시간 동안에만 24%의 특별 할인으로 14,000원에 판매 중이오. 이 선물세트는 꼬마, 골프공, 소과, 로얄과, 중대과로 다양한 크기의 감귤로 구성되어 있소. 상자에는 신선한 감귤이 정성스럽게 포장되어 고급스러운 선물로 제격이오. 제주 서귀포의 조생 감귤은 깊고 진한 맛이 특징이오. 해풍으로 자란 감귤은 당도가 높고, 풍부한 맛을 자랑하오. 믿고 먹을 수 있는 제철 감귤로, 맛의 퀄리티에 대해 안심하셔도 좋소. 이 감귤은 그 자체로 맛있지만, 주스나 간식으로 먹는 것 외에도 다양한 방법으로 활용할 수 있소. 디저트에 넣거나 샐러드에 감귤을 더해 상큼한 맛을 낼 수 있소. 이 감귤은 껍질을 벗기면 손쉽게 먹을 수 있소. 신선한 상태를 유지하기 위해 냉장보관을 권장하오. 또한, 선물용으로 제공되는 포장은 감귤의 신선도를 높여줄 거이오. 저희 감귤은 제주 서귀포의 조생 감귤로 제철에 맞게 수확되어 더욱 신선하고 풍부한 맛을 자랑하오. 우리의 감귤은 농장에서 직접 수확하고 선별하여 보내드리므로 품질에 대해 안심하실 수 있소. 이 특별한 3kg 가정용 선물세트는 라이브 시간 동안에만 24% 할인된 가격 14,000원에 판매 중이오. 다양한 크기의 감귤로 구성되어 있어 가족, 친구들에게 특별한 선물로 딱이오. 이런 퀄리티의 감귤을 이 가격에 놓치지 마시오.
temperature 1
top_p 1
숏핑으로소. 오늘은 특별한 제주 감귤 선물세트 소개하겠소. 제주의 싱그러운 공기와 햇살 속에서 자란 신선한 감귤, 그 맛을 집에서 즐길 수 있는 기회가 찾아왔습니다. (금액/할인정보)특별 가격으로 판매 중이오. 이 선물세트는 꼬마, 골프공, 소과, 로얄과, 중대과로, 다양한 크기의 감귤로 구성하였소. 상자에는 신선한 감귤이 정성스럽게 포장되어 고급스러운 선물로 딱이오. 제주 서귀포의 조생 감귤은 깊고 진한 맛이 특징이오. 해풍으로 자란 감귤은 당도가 높고, 풍부한 맛을 자랑하오. 이 감귤은 주스나 간식으로 먹는 것 외에도 다양한 방법으로 활용할 수 있소. 디저트에 넣거나 샐러드에 감귤을 더해 상큼한 맛을 낼 수 있오. 감귤은 껍질을 벗기면 손쉽게 먹을 수 있소. 신선한 상태를 유지하기 위해 냉장보관을 권장드리오. 또한, 선물용으로 제공되는 포장은 감귤의 신선도를 높여줄 것이오. 특별한 3kg 가정용 선물세트는 라이브 시간 동안에만 24% 할인된 가격 14,000원에 판매 중이오. 다양한 크기의 감귤로 구성되어 있어서 가족, 친구들에게 특별한 선물로 딱이오.
temperature 0.5
top_p 1
반갑소. 숏핑이로소. 오늘은 특별한 제주 감귤 선물세트를 소개하겠소. 제주의 싱그러운 공기와 햇살 속에서 자란 신선한 감귤, 그 맛을 집에서 즐길 수 있는 기회가 찾아왔소. 이번에 준비한 상품은 제주 서귀포 노지 하우스에서 특별히 선별한 타이벡 감귤 황금향과 레드향이 어우러진 3kg 가정용 선물세트이오. 그리고 라이브 시간 동안에만 24%의 특별 할인으로 14,000원에 판매 중이오. 이 선물세트는 꼬마, 골프공, 소과, 로얄과, 중대과로 다양한 크기의 감귤로 구성되어 있소. 상자에는 신선한 감귤이 정성스럽게 포장되어 고급스러운 선물로 제격이오. 제주 서귀포의 조생 감귤은 깊고 진한 맛이 특징이오. 해풍으로 자란 감귤은 당도가 높고, 풍부한 맛을 자랑하오. 믿고 먹을 수 있는 제철 감귤로, 맛의 퀄리티에 대해 안심하셔도 좋소. 이 감귤은 그 자체로 맛있지만, 주스나 간식으로 먹는 것 외에도 다양한 방법으로 활용할 수 있소. 디저트에 넣거나 샐러드에 감귤을 더해 상큼한 맛을 낼 수 있소. 이 감귤은 껍질을 벗기면 손쉽게 먹을 수 있소. 신선한 상태를 유지하기 위해 냉장보관을 권장하오. 또한, 선물용으로 제공되는 포장은 감귤의 신선도를 높여줄 거이오. 저희 감귤은 제주 서귀포의 조생 감귤로 제철에 맞게 수확되어 더욱 신선하고 풍부한 맛을 자랑하오. 우리의 감귤은 농장에서 직접 수확하고 선별하여 보내드리므로 품질에 대해 안심하실 수 있소. 이 특별한 3kg 가정용 선물세트는 라이브 시간 동안에만 24% 할인된 가격 14,000원에 판매 중이오. 다양한 크기의 감귤로 구성되어 있어 가족, 친구들에게 특별한 선물로 딱이오. 이런 퀄리티의 감귤을 이 가격에 놓치지 마시오.
top_p 는 크게 작용하지는 않음
temperature는 값이 커질수록 답변의 질이 떨어짐
토큰 갯수 확인하려면 https://platform.openai.com/tokenizer