Prompt란

생성형 AI 모델의 응답을 유도하기 위해 전달하는 텍스트 입력

동료에게 메세지를 보내듯 사람들이 쓰는 자연어로 작성함

Apple Intelligence가 지원하는 언어라면 어떤 언어라도 프롬프트를 작성할 수 있음

LLM이란

LLM은 텍스트를 이해하고 추론하며 생성할 수 있음

iOS, iPadOS, macOS, visionOS 운영체제에 내장되어 있음

Design for on-device LLM

foundationmodel은 디바이스 내부에서 실행되며 요약, 분류, 다중 턴 대화, 글쓰기, 문장 수정, 태그 생성 같은 일반적인 언어 작업에 사용할 수 있음

하지만 소형 기기 규모에 맞게 최적화되고 압축되어 있음.

3억 개의 파마미터가 있지만 ChatGPT의 수백억개에 비하면 작음.

대규모 LLM처럼 잘 작동하는 작업이 소형 모델에서는 그대로 작동하지 않을 수 있음 이떄는 프롬프트를 더 단순한 단계로 나누는 것이 좋다.
수학 계산을 모델에게 맡기지 마라 (단순 연산은 풀이 가능)
코드 생성 작업을 피해라
학습 시점 이후 최신 사건은 알지 못한다 (충분히 검증하지 않았다면, 사실 정보에 의존하지 마라

Hallucination 환각에 대해

허위 답변 작성을 뜻하는 기술 용어
사실 확인을 시스템 언어 모델에 의존하면 안된다

Guided generation

신뢰성을 높이기 위해서는 가이드 생성이 필요함
모델이 해야할 결과물을 문자열, 숫자, 배열 혹은 커스텀 구조체로 명확히 제한할 수 있음

Prompting best practices

프롬프트 팁

출력 길이를 제어
- “한 문단으로”, “세 문장으로” → 짧게
- “자세히” → 길게
역할(Role)을 지정
- 상세한 특정 작업 하나를 받을 떄 최고의 성능을 발휘함
- “너는 셰익스피어풍 영어를 쓰는 여우다”
- → 스타일과 화자가 명확해짐
명확한 명령문을 사용
- 하나의 구체적인 작업을 자세히 설명하기
출력 예시 제공
- 5개 이하의 예시를 프롬프트에 직접 포함하면 성능이 좋아짐.
원치 않는 동작을 멈추고 싶을 때
- “DO NOT …”처럼 대문자 명령이 효과적이다.

"You are a fox and you just had a picnic with your forest friendx. Since you are a fancy fox, you always speak in Shakespearean. Write a breif diary entry describing your day”

다음과 같은 프롬프트를 작성했을 때