[REPORTS] The A1 G3 CVV Report does not update consistently.

Description

DW-VA1P8: 1.0.1.65

STELLA: 2.0.73-3

EU ID: EACM8384


A1 G3 - CVV REPORT is not updating images correctly. Can you check previous reports?

reference day starts at 2/28.

@Gayoung Nam - two g3 dvr on mydw and one of them is okay the other one doesn't have any thumbnail

[backend 분석 내용]
DW-VA1P8 장비
- 장비에 카메라가 최초 등록되었을 때 thumbnail rule 내려감
- 그 후 reboot 되었을 때 getThumbnailRule 해서 현재 rule 가져감
- reboot 후 카메라가 추가되어 update thumbnail rule 을 내렸는데 401 error 발생
- error 발생 전 getThumnailRule 로 받아간 rule적용되어 signed url 을 요청해야되는데 signed url 요청이 오지 않음

DVR G3 4CH
- 장비 추가할때 add thumbnail rule 내려갔지만 기존에 deregister 하기 전 계정의 rule 이 지워지지 않아서 add 실패
- add 실패 하여 update rule 다시 내렸지만 401 error 발생

→ 성원님이 장비 계정 받아서 현재 적용되어 있는 thumbnail rule, 장비 log 확인 및 401 error 원인 분석 예정

[ agent & recorder 측 분석 내용 ]

원인 : Thumbnail rule을 설정하는 recorder의 API “/ec2/thumbnailRuleList”에서 10초 이상 응답이 없어 timeout 이 발생.

Agent가 backend로 부터 thumbnail rule 설정 명령을 전달받아, FW에 rule 설정을 위해 위 API 호출.

이 때, FW에서 해당 API에 대해 10초 이상 응답이 없어 timeout 발생.

[ R&D 개발자 내부용 참고 사항 ]

401 Unauthorized가 return된 원인:

해당 api의 timeout으로 인해 원래 의도한 api 응답은 받지 못함.

그 대신 digest auth의 challenge 과정에서 받은 401 Unauthorized 응답이 그 대신 버퍼에 남아있어,

이 응답이 대신 backend로 전달된 것.

(digest auth 과정에서 주고받은 응답도 버퍼에 저장하는 libcurl 동작 방식)

[ 해결 방안 ]

  1. recorder의 API “/ec2/thumbnailRuleList”에서 10초 이상 응답이 없는 현상 => Focus 측에 report.

  2. recorder의 API에서 timeout 발생시, digest auth 과정에서 생긴 401 unauthorized 응답을 잘못 전달하는 현상 => timeout이 발생한 경우에는 agent가 강제로 “504 Gateway Timeout”으로 응답을 설정하여 backend 측에 전달.

Attachments

Upload attachments

Drop your files to upload

(Max file size: 1.00 GiB)

Uploading...
(Template) Current File Name (1 / 7) 123KB / 2.1MB
(Template) File Name 123KB / 2.1MB
Upload completed. Click here to reload the page.

Child issues

Linked work items

relates to
Issue Type Icon VMAX-604 [reports] Aging A1 G4 CVV report failed to update Priority: Medium Assignee:
In Review

Activity

Brandon Krebs updated the Resolution at 25 March 2025, 23:50
NoneDone
Brandon Krebs changed the Status at 25 March 2025, 23:50
In ReviewDone
FOCUS_JH updated the Rank at 20 March 2025, 08:44
NoneRanked higher
FOCUS_JH changed the Status at 20 March 2025, 08:44
In ProgressIn Review
Brandon Krebs updated the Link at 11 March 2025, 23:55
NoneThis issue relates to RND-2136
FOCUS_JH updated the Rank at 10 March 2025, 23:28
NoneRanked higher
FOCUS_JH changed the Status at 10 March 2025, 23:28
To DoIn Progress
Paul S. Kim changed the Assignee at 7 March 2025, 07:27
Paul S. Kim updated the Component at 7 March 2025, 07:26
NoneVMAX A1 Plus
Paul S. Kim updated the Key at 7 March 2025, 07:26
RND-2122VMAX-603
Paul S. Kim deleted a Component at 7 March 2025, 07:26
Paul S. Kim deleted a Component at 7 March 2025, 07:26
Paul S. Kim deleted a Version at 7 March 2025, 07:26
Paul S. Kim changed the Status at 7 March 2025, 07:26
BacklogTo Do
Paul S. Kim updated the Project at 7 March 2025, 07:26
R&D ISSUEsVMAX Series
Greg(Sungwon) Kim updated the Description at 7 March 2025, 07:00
DW-VA1P8: 1.0.1.65 STELLA: 2.0.73-3 EU ID: EACM8384 ---- A1 G3 - CVV REPORT is not updating images correctly. Can you check previous reports? reference day starts at 2/28. !image-20250305-232352.png|width=1811,height=867,alt="image-20250305-232352.png"! !image-20250305-233835.png|width=1870,height=700,alt="image-20250305-233835.png"! [~accountid:639c9b2677c9c3a008b9ea63] - two g3 dvr on mydw and one of them is okay the other one doesn't have any thumbnail [backend 분석 내용] DW-VA1P8 장비 - 장비에 카메라가 최초 등록되었을 때 thumbnail rule 내려감 - 그 후 reboot 되었을 때 getThumbnailRule 해서 현재 rule 가져감 - reboot 후 카메라가 추가되어 update thumbnail rule 을 내렸는데 401 error 발생 - error 발생 전 getThumnailRule 로 받아간 rule적용되어 signed url 을 요청해야되는데 signed url 요청이 오지 않음 DVR G3 4CH - 장비 추가할때 add thumbnail rule 내려갔지만 기존에 deregister 하기 전 계정의 rule 이 지워지지 않아서 add 실패 - add 실패 하여 update rule 다시 내렸지만 401 error 발생 → 성원님이 장비 계정 받아서 현재 적용되어 있는 thumbnail rule, 장비 log 확인 및 401 error 원인 분석 예정DW-VA1P8: 1.0.1.65 STELLA: 2.0.73-3 EU ID: EACM8384 ---- A1 G3 - CVV REPORT is not updating images correctly. Can you check previous reports? reference day starts at 2/28. !image-20250305-232352.png|width=1811,height=867,alt="image-20250305-232352.png"! !image-20250305-233835.png|width=1870,height=700,alt="image-20250305-233835.png"! [~accountid:639c9b2677c9c3a008b9ea63] - two g3 dvr on mydw and one of them is okay the other one doesn't have any thumbnail [backend 분석 내용] DW-VA1P8 장비 - 장비에 카메라가 최초 등록되었을 때 thumbnail rule 내려감 - 그 후 reboot 되었을 때 getThumbnailRule 해서 현재 rule 가져감 - reboot 후 카메라가 추가되어 update thumbnail rule 을 내렸는데 401 error 발생 - error 발생 전 getThumnailRule 로 받아간 rule적용되어 signed url 을 요청해야되는데 signed url 요청이 오지 않음 DVR G3 4CH - 장비 추가할때 add thumbnail rule 내려갔지만 기존에 deregister 하기 전 계정의 rule 이 지워지지 않아서 add 실패 - add 실패 하여 update rule 다시 내렸지만 401 error 발생 → 성원님이 장비 계정 받아서 현재 적용되어 있는 thumbnail rule, 장비 log 확인 및 401 error 원인 분석 예정 [ agent & recorder 측 분석 내용 ] *원인 : Thumbnail rule을 설정하는 recorder의 API “/ec2/thumbnailRuleList”에서 10초 이상 응답이 없어 timeout 이 발생.* Agent가 backend로 부터 thumbnail rule 설정 명령을 전달받아, FW에 rule 설정을 위해 위 API 호출. 이 때, FW에서 해당 API에 대해 10초 이상 응답이 없어 timeout 발생. !image-20250307-064311.png|width=992,height=267,alt="image-20250307-064311.png"! [^dw.agent_r_20250303.log] [ R&D 개발자 내부용 참고 사항 ] 401 Unauthorized가 return된 원인: 해당 api의 timeout으로 인해 원래 의도한 api 응답은 받지 못함. 그 대신 digest auth의 challenge 과정에서 받은 401 Unauthorized 응답이 그 대신 버퍼에 남아있어, 이 응답이 대신 backend로 전달된 것. (digest auth 과정에서 주고받은 응답도 버퍼에 저장하는 libcurl 동작 방식) [ 해결 방안 ] # recorder의 API “/ec2/thumbnailRuleList”에서 10초 이상 응답이 없는 현상 => Focus 측에 report. # recorder의 API에서 timeout 발생시, digest auth 과정에서 생긴 401 unauthorized 응답을 잘못 전달하는 현상 => timeout이 발생한 경우에는 agent가 강제로 “504 Gateway Timeout”으로 응답을 설정하여 backend 측에 전달.
Elen Lee updated the Description at 6 March 2025, 09:46
DW-VA1P8: 1.0.1.65 STELLA: 2.0.73-3 EU ID: EACM8384 ---- A1 G3 - CVV REPORT is not updating images correctly. Can you check previous reports? reference day starts at 2/28. !image-20250305-232352.png|width=1811,height=867,alt="image-20250305-232352.png"! !image-20250305-233835.png|width=1870,height=700,alt="image-20250305-233835.png"! [~accountid:639c9b2677c9c3a008b9ea63] - two g3 dvr on mydw and one of them is okay the other one doesn't have any thumbnail !image-20250305-233924.png|width=1790,height=859,alt="image-20250305-233924.png"! [backend 분석 내용] DW-VA1P8 장비 - 장비에 카메라가 최초 등록되었을 때 thumbnail rule 내려감 - 그 후 reboot 되었을 때 getThumbnailRule 해서 현재 rule 가져감 - reboot 후 카메라가 추가되어 update thumbnail rule 을 내렸는데 401 error 발생 - error 발생 전 getThumnailRule 로 받아간 rule적용되어 signed url 을 요청해야되는데 signed url 요청이 오지 않음 → 성원님이 장비 계정 받아서 현재 적용되어 있는 thumbnail rule, 장비 log 확인 및 401 error 원인 분석 예정DW-VA1P8: 1.0.1.65 STELLA: 2.0.73-3 EU ID: EACM8384 ---- A1 G3 - CVV REPORT is not updating images correctly. Can you check previous reports? reference day starts at 2/28. !image-20250305-232352.png|width=1811,height=867,alt="image-20250305-232352.png"! !image-20250305-233835.png|width=1870,height=700,alt="image-20250305-233835.png"! [~accountid:639c9b2677c9c3a008b9ea63] - two g3 dvr on mydw and one of them is okay the other one doesn't have any thumbnail [backend 분석 내용] DW-VA1P8 장비 - 장비에 카메라가 최초 등록되었을 때 thumbnail rule 내려감 - 그 후 reboot 되었을 때 getThumbnailRule 해서 현재 rule 가져감 - reboot 후 카메라가 추가되어 update thumbnail rule 을 내렸는데 401 error 발생 - error 발생 전 getThumnailRule 로 받아간 rule적용되어 signed url 을 요청해야되는데 signed url 요청이 오지 않음 DVR G3 4CH - 장비 추가할때 add thumbnail rule 내려갔지만 기존에 deregister 하기 전 계정의 rule 이 지워지지 않아서 add 실패 - add 실패 하여 update rule 다시 내렸지만 401 error 발생 → 성원님이 장비 계정 받아서 현재 적용되어 있는 thumbnail rule, 장비 log 확인 및 401 error 원인 분석 예정
Elen Lee updated the Description at 6 March 2025, 09:43
DW-VA1P8: 1.0.1.65 STELLA: 2.0.73-3 EU ID: EACM8384 ---- A1 G3 - CVV REPORT is not updating images correctly. Can you check previous reports? reference day starts at 2/28. !image-20250305-232352.png|width=1811,height=867,alt="image-20250305-232352.png"! !image-20250305-233835.png|width=1870,height=700,alt="image-20250305-233835.png"! [~accountid:639c9b2677c9c3a008b9ea63] - two g3 dvr on mydw and one of them is okay the other one doesn't have any thumbnail !image-20250305-233924.png|width=1790,height=859,alt="image-20250305-233924.png"! [backend 분석 내용] DW-VA1P8: 1.0.1.65 STELLA: 2.0.73-3 EU ID: EACM8384 ---- A1 G3 - CVV REPORT is not updating images correctly. Can you check previous reports? reference day starts at 2/28. !image-20250305-232352.png|width=1811,height=867,alt="image-20250305-232352.png"! !image-20250305-233835.png|width=1870,height=700,alt="image-20250305-233835.png"! [~accountid:639c9b2677c9c3a008b9ea63] - two g3 dvr on mydw and one of them is okay the other one doesn't have any thumbnail !image-20250305-233924.png|width=1790,height=859,alt="image-20250305-233924.png"! [backend 분석 내용] DW-VA1P8 장비 - 장비에 카메라가 최초 등록되었을 때 thumbnail rule 내려감 - 그 후 reboot 되었을 때 getThumbnailRule 해서 현재 rule 가져감 - reboot 후 카메라가 추가되어 update thumbnail rule 을 내렸는데 401 error 발생 - error 발생 전 getThumnailRule 로 받아간 rule적용되어 signed url 을 요청해야되는데 signed url 요청이 오지 않음 → 성원님이 장비 계정 받아서 현재 적용되어 있는 thumbnail rule, 장비 log 확인 및 401 error 원인 분석 예정
Elen Lee updated the Description at 6 March 2025, 09:39
DW-VA1P8: 1.0.1.65 STELLA: 2.0.73-3 EU ID: EACM8384 ---- A1 G3 - CVV REPORT is not updating images correctly. Can you check previous reports? reference day starts at 2/28. !image-20250305-232352.png|width=1811,height=867,alt="image-20250305-232352.png"! !image-20250305-233835.png|width=1870,height=700,alt="image-20250305-233835.png"! [~accountid:639c9b2677c9c3a008b9ea63] - two g3 dvr on mydw and one of them is okay the other one doesn't have any thumbnail !image-20250305-233924.png|width=1790,height=859,alt="image-20250305-233924.png"!DW-VA1P8: 1.0.1.65 STELLA: 2.0.73-3 EU ID: EACM8384 ---- A1 G3 - CVV REPORT is not updating images correctly. Can you check previous reports? reference day starts at 2/28. !image-20250305-232352.png|width=1811,height=867,alt="image-20250305-232352.png"! !image-20250305-233835.png|width=1870,height=700,alt="image-20250305-233835.png"! [~accountid:639c9b2677c9c3a008b9ea63] - two g3 dvr on mydw and one of them is okay the other one doesn't have any thumbnail !image-20250305-233924.png|width=1790,height=859,alt="image-20250305-233924.png"! [backend 분석 내용]
Elen Lee changed the Assignee at 6 March 2025, 08:16
Elen LeeGreg(Sungwon) Kim
Elen Lee changed the Status at 6 March 2025, 07:00
OpenBacklog
Elen Lee changed the Assignee at 6 March 2025, 07:00
DavidElen Lee
Brandon Krebs updated the Summary at 5 March 2025, 23:40
[CVV] The A1 G3 CVV Report does not update consistently.[REPORTS] The A1 G3 CVV Report does not update consistently.
Unknown User created the Issue at 5 March 2025, 23:40