Metatron-discovery: Support for synchronizing with druid's datasource

[Taehui]

Is your feature request related to a problem? Please describe.
Metatron 을 거치지 않고 Druid 로 직접 Ingestion 된 Schema 에 신규 Column 이 추가된 경우, Metatron Schema 설정에서 변경된 내용을 반영할 수 있는 기능이 필요하며, 반영 전 생성된 대시보드에 영향을 주지 않고 Update 되어야 함(대시보드 생성 시 사용된 Column 에 대한 변경이 없는 경우)

Describe the solution you'd like
Configure Schema 메뉴에서 변경 내용을 관리할 수 있는 CRUD 기능을 추가하여 해결

Describe alternatives you've considered
없음

Additional context
향후에는 현재 드루이드 기준의 스키마 정보와 메타트론 스키마 정보가 일치하지 않는 경우, 관리자에게 Noti 나 Alarm 등 기능 개선이 필요하며, 실제 일치하지 않는 부분에 대한 상호 비교가 가능한 UX 설계 및 반영이 필요함

[kyungtaak]

@Taehui 좋은 제안 감사드립니다. 기술적 검토 사항을 생각나는데로 적어보았습니다.

1. 데이터 소스 스키마 변경 관련 체크는 가능합니다. (이미 주기적인 데이터 소스 체크시 SegmentMeta 쿼리를 전달하고 있습니다.)
2. 변경내용을 관리하는 CRUD 는 이미 존재합니다. (Configure Schema 내 Logical Name/Type format 변경 가능, 화면상에 추가는 없지만 API 상에는 이미 존재합니다.)
3. 물리적인 컬럼명이 변경되는 경우는 없다고 가정하고 있습니다.
   : 그렇다면, 기존 대시보드에 영향 없이 진행될수 있습니다.

@AnnieHwang @metatron-app/design 엔진내 데이터 소스 변경사항에 대해 알려주는 행위에 대한 기획 검토가 필요합니다.

• 갱신 자동/수동 여부, 수동일 경우 관리자가 Sync 관련 액션을 할수 있는 무언가가 있어야할것 같습니다.
• 갱신시 데이터소스 및 메타데이터와의 관계
• 엔진내에서 스키마가 갱신되었다는 것을 어떻게 알려줄것인지 여부
  -> 위 언급해주신 Noti/Alarm 방식
  -> 데이터소스 목록에 변경 표시 .. 등

[YooYoungmo]

'데이터 소스' 스키마 설정 화면에서 사용자가 직접 필드를 추가/삭제할 수 있는 UI 첨부 합니다.
configure-schema-ui.pdf

[Taehui]

@kyungtaak 빠른 검토 감사합니다.

[AnnieHwang]

@Taehui 내용은 확인했는데 금주에 상황이 안되서, 차주에 빠르게 검토하고 말씀드리겠습니다. 감사합니다.

[minjung-cho]

@YooYoungmo 제안하신 화면으로 잡은 와이어프레임 공유 드립니다.

1. 현재 재적재가 불가능하기 때문에 기존 컬럼에 대한 '삭제' 기능을 제외시켰습니다.
2. '논리명'과 '컬럼 설명'은 MDM 메뉴에서 제공하고 있습니다. 관련 이슈 참고 부탁드립니다. (Logical column, Physical column이 지칭하는 대상과 개념이 변경됨.)
   https://github.com/metatron-app/metatron-discovery/issues/201#issuecomment-421233102

재적재 기능이 추가되면 다음과 같은 화면을 사용하게 될 예정이라, 위에 공유드린 내용은 당분간 사용할 화면으로 생각해 주시면 좋을 듯 합니다.

@AnnieHwang
논의한 것과 다른 내용은 없는지 확인 부탁드립니다~
그리고, 데이터소스 싱크 Alert은 데이터소스 목록과 상세 화면의 더보기 메뉴에 Alert 아이콘을 띄우고 더보기 메뉴에 동기화 할 수 있는 버튼이 있으면 어떨까 합니다. 너무 숨어 있는걸까요?

[minjung-cho]

@AnnieHwang 데이터소스 싱크가 필요한 경우, 데이터소스 목록과 상세화면에 적용되는 UI 공유드립니다. 이런 방식이면 될까요?

[AnnieHwang]

@minjung-cho 해당내용 전 괜찮은것 같습니다. @kyungtaak 기획 내용 컨펌해주시면, 디자인과 퍼블 진행해서 @YooYoungmo 님께 전달될 수 있도록 하겠습니다.

[kyungtaak]

@minjung-cho 싱크 버튼을 누르면 어떻게 되나요? 8번에 명시된 내용은 좀 다른것 같은데요.

[minjung-cho]

@kyungtaak @AnnieHwang
싱크 버튼을 누르면 컨퍼메이션 팝업이 뜹니다.

(문구)
데이터소스를 동기화하시겠습니까?
해당 데이터소스가 연결된 콘텐츠가 영향을 받을 수 있습니다.
(버튼)
취소 / 동기화

'동기화' 선택 시, 로딩(필요하겠죠? 혹시 프로그래스가 나올 수 있을까요?)

• 성공 -> 데이터소스 동기화 완료 토스트. 화면 새로고침
• 실패 -> 실패 확인 팝업

(문구)
'실패 사유가 들어감' 문제로 데이터소스 동기화에 실패하였습니다.
(버튼)
확인

[YooYoungmo]

@AnnieHwang 퍼블리싱 작업 결과물 언제 쯤 전달 받을 수 있을까요?

[koeun222]

@AnnieHwang 디자인화면 공유드립니다
기획 추가사항 및 Hover영역 및 퍼블 수정 확인부탁드립니다

데이터소스 싱크가 필요한 경우, 데이터소스 목록 & 상세화면

[kyungtaak]

@minjung-cho @AnnieHwang "add column" 기능은 필요할까요?
컬럼추가는 "동기화" 기능만을 통한다면, 사용자에게 실수할 여지를 주지 않을것 같은데요. 검토 부탁드립니다.

[AnnieHwang]

@kyungtaak 빼도 되는데..저도 좀 찜찜했는데.. 어드민 화면이고, 초기 요구사항을 그렇게 주셔서 넣었습니다. 버튼과 기능을 빼도 디자인 레이아웃에는 영향이 없으니, 퍼블리싱 시에 해당 버튼을 빼서 진행하도록 하겠습니다.

[koeun222]

@eltriny 위 화면 psd 공유드립니다. 작업 시 구두로 설명 드리겠습니다

https://tde.sktelecom.com/wiki/download/attachments/165983226/management_01data%20storage_01datasource_02detail_data%20details_edit.psd?api=v2

데이터소스 동기화 추가
-리스트
https://tde.sktelecom.com/wiki/download/attachments/165983226/management_01data%20storage_01datasource_00list.psd?api=v2
-상세화면
https://tde.sktelecom.com/wiki/download/attachments/165983226/management_01data%20storage_01datasource_02detail_Information.psd?api=v2

[AnnieHwang]

@koeun222 디자인 파일 올리지 않으셔도 될것 같습니다(퍼블 작업해서 깃에서 받으셔서 작업하시면 되거든요) 퍼블작업 진행부탁드려요. 감사합니다~

[kyungtaak]

@AnnieHwang 기획/디자인 진행은 완료된것인가요? @YooYoungmo 확인 부탁드립니다.

[AnnieHwang]

@kyungtaak @eltriny @YooYoungmo 네 디자인이 완료된 건 맞습니다. 퍼블리셔에게 작업을 넘겼으며, 깃헙에서 소스를 확인하시면 될것 같습니다.

[YooYoungmo]

@AnnieHwang 깃헙 소스라고 하셨는데요. 어느 브랜치에 작업되어 있는건지 링크를 첨부해 주시면 찾기 쉬울 것 같습니다.

[YooYoungmo]

@kyungtaak 코드는 3.0.5 브랜치로 PR 하면 될까요?