Metatron-discovery: Improve processing log during datasource ingestion

[kyungtaak]

Is your feature request related to a problem? Please describe.
현재는 데이터 적재 실패시에만 Detail 링크를 통해 로그 형태로 적재 상태에 대해 표현하고 있지만, 적재 처리중 프로세스에 대해 log 로 표현하고 있지 않습니다.

Describe the solution you'd like
사용자는 현재 적재 상태에 대해 궁금해 할수 있기 때문에, 실시간으로 이에 대한 처리를 고려합니다.
(ex. Workbench 로그 상태 표현 방식)

Describe alternatives you've considered
전체 단계 고려가 어렵다면 엔진내 Task Log 를 표현하는 방식, 리프레쉬 처리 방식도 함께 검토해보았으면 합니다.

Additional context
엔진내 데이터 적재 로그에 대한 실시간 데이터 처리를 추가적으로 고민합니다. (offset 관련)

[kyungtaak]

@AnnieHwang @metatron-app/design 위의내용에 대해 논의가 필요한데요. 확인 부탁드립니다.

[deidera08]

@kyungtaak @AnnieHwang
데이터 적재 상태 아래 log 영역을 배치하면 어떨까합니다.
이렇게 될 경우 현재는 'Failed' 상태일때만 팝업으로 log를 띄우는데, 모두 하단 인라인 배치로 통일됩니다.

해당 영역은 아코디언 탭으로 닫힌 상태가 기본인데, 'Preparing' 상태에는 열린상태입니다.

[kyungtaak]

@deidera08 기획내용은 잘보았습니다. 한가지 케이스에 대해 추가 검토 요청 드립니다.
엔진(Druid) 에서 전달받는 로그는 긴~~~~ 경우가 있습니다. 이경우는 어떻게 처리하면 좋을까요? 인라인일경우 보는 크기가 한정적이어서 불편할것 같은데요. 검토 부탁드립니다.

[deidera08]

@kyungtaak @AnnieHwang
Log 영역 내 [팝업보기] 기능을 추가하면 어떨까 합니다.

제가 생각했을때 log view는 현재 진행(processing) 상황이나 실패지점 추적이 중요할 듯 하지만
부모 화면이 information임을 감안할때, 해당 log를 텍스트 파일로 다운로드받거나 윈도우 새창(새탭)을 띄울 정도는 아닌듯 합니다.
살펴보시고, 부족하면 좀 더 보완하겠습니다.

Datasource information

Datasource information > ingestion popup

[kyungtaak]

@deidera08 좋은 의견 주셔서 감사합니다. 혹시 "맨아래로" 버튼이 많이 필요할까요? 그리고 기본이 맨아래로 스크롤로 현재는 되어 있습니다.

[deidera08]

@kyungtaak
스크롤이 자동으로 맨 아랫줄을 트래킹한다면 [맨아래로]버튼은 필요없습니다.
기획서에서 제거하도록 하겠습니다.

[koeun222]

@AnnieHwang 디자인공유드립니다

[deidera08]

이슈 내용 적용한 와이어프레임 재공유 드립니다.

[ufoscw]

기존 DataSource Progress Topic(웹소켓)에 추가적인 message가 보내질 예정입니다.

아래는 메시지 샘플입니다.

{
  "command" : "LOG",
  "log" : {
    "offset" : 1024,
    "logs" : "log message"
  }

Task 로그는 "ENGINE_RUNNING_TASK" 단계 이후부터 보내지며
task 실행 초기에는 offset 값이 없고 task가 시작되기 전이라는 에러메시지가 내려갑니다.

"Fail to process response : [No log was found for this task. The task may not exist, or it may not have begun running yet.]"

실제 task가 시작되면 로그 메시지가 보내집니다.
로그 메시지는 계속 append 해주시면 됩니다.

DataSource 상세 보기 화면 진입 시 history의 progress가 "ENGINE_RUNNING_TASK" 라면 실시간 task 로그를 append 하기 전에 기존 log를 요청한 뒤 실시간 task 로그를 append 해야 전체 로그가 보여질수 있으니 참고하시기 바랍니다.

[kyungtaak]

@AnnieHwang 해당건은 금주 회의때 논의한 바와 같이 기획내용이 정리가 된후 진행하도록 할게요. f/u 부탁드립니다. (우선순위는 낮아요.;)

[deidera08]

@kyungtaak @AnnieHwang @ufoscw

다음과 같이 정리하였습니다.

1. 워크벤치와 유사한 디자인을 제공합니다.
2. '더보기'로 아코디언탭으로 동작하던 부분을 삭제하고 상시노출합니다.
3. Ingestion의 상태(running, waiting, pending, complete)를 노출하고 에러/경고의 수를 카운팅합니다.
   (에러/경고의 수를 카운팅 지원 여부 확인 필요)
4. 실시간 로그를 제공하며, 로그가 과도하게 쌓일경우 초기 로그를 생략합니다.
   (이때 scroll up시 가이드문구 표현 가능한지 확인 필요)
5. 초기 로그 생략과 관계없이 로그를 새탭이나 파일로 다운로드 할 경우 전체 로그를 볼 수 있습니다.
   
   

살펴보시고 보완해야 할 사항이나 (검토사항에 대한)의견을 모쪼록 부탁드리겠습니다.

[koeun222]

@AnnieHwang 디자인화면 공유드립니다-

• 시간 텍스트에 컬러 적용
• 화면 크기에따라 가로영역 가변