DEV-384
배치 로직에서 LLM 응답을 redis 에 캐싱
Description
-
응답 수신 후 로직이 실패하는 상황을 대비하는 LLM 응답 캐싱 로직 작성 -
예상 일일 처리량 산정
-
LLM 응답 크기를 감안하여 서버 메모리가 감당 가능한 응답 사이즈인지 판별
-
LLM 요청을 분담하여 전송 vs AWS 람다 같은 서버리스 활용 고민
Details
Priority
MediumAssignee
권찬
Reporter
권찬
Labels
BE
Project
Refit
More fields
Created: 24 February 2026, 09:14
Updated:
26 February 2026, 05:21