2024-07-10🍲 TIL - promptFuzz

오늘은 Fuzzing 공부를 좀 했다
LLM을 이용한 prompt Fuzzing을 공부 중인데
지금도 활발하게 연구되고 있는 만큼 확실한 것이 없어
조금 공부하기가 어렵지만!!!!
살아있는 것을 보는 것처럼 생기가 넘치는 주제다.

오늘 공부한 것 중에 생긴 의문점은
oss fuzz gen을 연구하며 coverage를 반영한 prompt Fuzzing이 되면 성능이 더 좋아질 거라고 생각했는데 문제는 언제 prompt 생성을 멈출 것인지. 즉, 어느 정도까지를 만족할만한 coverage라고 생각할 것인지 기준을 정하기가 애매하다는 것이었다.

그 문제에 대한 한 가지 답을 논문을 읽으면서 찾으려고 한다.(아직 모른다는 뜻😉)

내일은 oss fuzz gen의 custom prompt를 만들어 fuzzing을 시도해 보려고 한다!