Sentivex ㈜인브릿지
실행 중인 수집을 타임아웃 처리하던 문제를 heartbeat로 해결
문제 상황

위협 데이터 약 88만 건을 수집하는 데 81분이 걸렸습니다. 오케스트레이터는 시작 후 10분이 지나자 실행 상태를 timed_out으로 바꿨지만, Worker는 수집과 Kafka 발행을 계속했습니다. 완료 시점에는 이미 timed_out 상태라 실행 중인 작업만 성공 처리하는 조건을 충족하지 못했고, 체크포인트도 저장되지 않아 같은 구간을 반복 수집했습니다.
접근 방식

- Worker 로그, 실행 상태, 체크포인트를 시간순으로 대조해, 수집 시작 후 10분이 지나면 수집 진행 여부와 관계없이 타임아웃 처리하는 것이 원인임을 확인했습니다.
- 타임아웃 임계치를 늘리면 실제로 멈춘 작업의 회수가 늦어지므로 경과 시간 대신 마지막 수집 진행 시점을 기준으로 판단하도록 했습니다. 성공(
succeeded) 상태 전이는 실행 중인 작업만 허용하는 기존 규칙을 유지했습니다. - Worker가 수집 데이터를 처리하는 동안 60초 간격으로 실행 기록을 갱신하도록 heartbeat를 추가했습니다. 오케스트레이터는 시작 시점 대신 마지막 갱신 시점에서 10분이 지난 실행을
timed_out으로 전환하도록 바꿨습니다.
해결 및 성과
- 회사 테스트용 테넌트에서 위협 데이터 약 88만 건을 수집하는 81분 작업의 정상 완료와 체크포인트 저장을 확인했습니다. 잘못된 타임아웃 처리로 발생하던 동일 구간 재수집과 Kafka 중복 발행을 해소했습니다.
- 후속 개선으로 초기 수집은 최근 30일로 제한하고, 이전 데이터는 별도 API로 요청하는 백필 작업으로 분리했습니다.