Metatron-discovery: Support changing column schema on ingestion stage

[AnnieHwang]

Describe the bug
Currently, you can only create a new column when you create a data source. You need the ability to delete or edit a new column.

To Reproduce
Steps to reproduce the behavior:

1. Go to 'Create a datasource'
2. Click on 'Configuration Scheme'
3. Click on 'new Column'

Screenshots

[deidera08]

@AnnieHwang @brandon-wonjune
사용자가 생성한 Geo 컬럼은 삭제할 수 없는 정책이였기 때문에 Checkbox가 비활성화 상태로 생성되었습니다.
그러나 삭제가 가능하므로 Checkbox를 활성화 상태로 변경하고 삭제가 가능하도록 수정부탁드립니다.

[brandon-wonjune]

@deidera08
사용자가 생성한 GEO컬럼이 체크박스가 활성화된다면
아래에 체크박스 엑션에 대한 정의가 필요합니다.
체크된 목록 중 사용자가 생성한 GEO컬럼이 들어가게되면 삭제만 가능하게 할 것인지, 해당하는 GEO 타입 컬럼으로 변경이 가능하도록 할것인지 정의가 필요합니다.

[deidera08]

@kyungtaak @AnnieHwang @brandon-wonjune
일부 타입으로 변경시 이미 Validation체크가 이뤄지고 있기 때문에 수정/삭제 모두 가능해야 할 듯 합니다.

[brandon-wonjune]

@deidera08 현재는 GEO 와 TIMESTAMP에 대해서만 validation 체크 기능이 있습니다.
그리고 사용자가 생성한 GEO 컬럼의경우
일반 컬럼(기존에 있던 컬럼)과는 달리 다른 값입니다.
사용자가 생성한 컬럼임을 표시하기위해 일반 컬럼과는 다른 속성을 가지고 있습니다. (ex. derived)
또한 실제로 사용자가 생성한 컬럼은 실제로 데이터가 없습니다.
변경이 가능한경우 데이터 미리보기를 user_defined와 같이 표기하면 되는지 확인이 필요합니다.
@kyungtaak 만약 변경이 가능하다면 해당 속성을 그대로 사용해야되는지 확인이 필요합니다.

[kyungtaak]

@deidera08 @AnnieHwang 수정기능은 컬럼 이름 변경 이슈 #1202 에서 진행했으면 좋겠습니다. 이번 이슈에서는 추가/삭제만 가능하게 진행했으면 하고요. (#1202 이슈에 이 부분에 대한 내용도 추가했으면 합니다.)

• "Add Column" 으로 만들어진 컬럼은 바로 삭제되도록 하는것은 어떨까요?
• 그리고 수정하는 김에 "revival" 용어는 좀..;; 아이콘으로 변경이 가능할가요? (바로 적제 대상에서 제외/해제 하는 기능이 밖으로 노출이 되는것도 좋을것 같습니다.)

[AnnieHwang]

@kyungtaak #1202 는 컬럼 이름 수정 이슈이라 합할 수 없을 것 같아요. 컬럼타입 일괄 변경 기능은 신규 생성 컬럼에 대해서는 알림을 알려주는게 나을것 같은데 '신규생성컬럼이름명은 타입변경을 할 수 없습니다'라고 버튼을 클릭 시 알려줘야 할것 같아요. @deidera08 어떠세요?

@kyungtaak revival는 어디에 나오나요? 제가 찾지못해서요ㅠㅠ

[AnnieHwang]

@kyungtaak @brandon-wonjune @deidera08 신규 디자인이 나온 부분 중에서 빨간색 박스 친 부분만 이 이슈에서 처리하기로 결정했습니다. New Column은 종전처럼 체크박스 비활성으로 하고, 우측 상단 개별 삭제버튼에서 삭제기능을 할 수 있게 하는 것으로 하겠습니다.

신규 디자인 변경은 #1950 에 생성해 두었습니다.

@koeun222 삭제를 완료 한 후 ‘다시 살리기’ 버튼이 아이콘으로 변경 가능한지 확인부탁드립니다.

[brandon-wonjune]

@AnnieHwang 그러면 이 이슈에서는
변경된 디자인 적용 및 우측 패널 상단에 제거버튼을 넣는것으로 하면될까요?

[AnnieHwang]

@brandon-wonjune 네~ 나온 디자인 대로 하시면 될 것것 같아요. @brandon-wonjune @kyungtaak revival 은.. 저희끼리 논의해봤는데.. 레이블은 그냥 두고 아이콘을 추가로 붙이는게 나을것 같아요.

[koeun222]

@AnnieHwang @kyungtaak icon만 넣은 경우 의미전달이 부족해보여서 "revival" 문구와 같이 넣었습니다

[kyungtaak]

icon만 넣은 경우 의미전달이 부족해보여서 "revival" 문구와 같이 넣었습니

@AnnieHwang @minjung-cho @koeun222 흠.. 전 어떤사이트에서도 이런 어려운단어를 본적이 없습니다. "undo" 라는 용어도 있고요.

[deidera08]

@kyungtaak @AnnieHwang @koeun222

"undo" 라는 용어도 있고요

아이콘만 넣을때 보다 라벨과 함께 넣으면 기능을 명확하게 인지하기 때문에 라벨명을 넣고싶었습니다.
undo 문구 좋은것 같습니다 :)

[kyungtaak]

@brandon-wonjune "originalName" 이라는 속성이 추가되었습니다. 컬럼명 변경시 Field 객체네 name 속성에 변경된 컬럼명, 기존 컬럼명은 "originalName" 을 넣어주시면 내부적으로 적재 스펙을 변경하여 적재가 되도록 구성하였습니다.

[brandon-wonjune]

@kyungtaak PR건에 답변주신거에 대해 문의사항 남깁니다.
수정기능이 들어오게 될때 중복된 컬럼에 대해서 서버에서 따로 postfix 를 붙여서 내려오게되는지 궁금합니다.
그 이유는 현재 #1202 번에도 문의한것 처럼 실제 컬럼에 있는 데이터를 가져올떄 object array 형태로 오기때문입니다.

만약 서버에서 해당하는 컬럼에 postfix를 붙여서 매핑해주지 않는다면 위 데이터에서 컬럼 key가 중복이 되어 중복된 이름의 컬럼들이 모두 같은 데이터틀 표시하게 되게됩니다.

@deidera08 컬럼 수정기능이 들어올경우
컬럼이름 수정시 중복에 체크를 할때, 삭제된 컬럼의 이름도 중복에 포함을 해야될까요?
(예를들어 column1을 삭제처리 했는데, column2를 column1로 이름변경할때)

[koeun222]

데이터 컬럼리스트 위치 위로 올린 디자인 공유드립니다-

동일한 레이아웃인 Ingestion configuration 팝업도 같이 수정되었습니다

[brandon-wonjune]

@kyungtaak
field에 originalName은 항상 있어야되나요 아니면 컬럼이름을 수정시에만 넣어줘야되나요?

항상 있어야 된다면 추후 상세화면에서도 이 화면을 사용할떄 originalName이 없는데 UI에서 넣어줘야되나요?

[deidera08]

@kyungtaak @brandon-wonjune

컬럼이름 수정시 중복에 체크를 할때, 삭제된 컬럼의 이름도 중복에 포함을 해야될까요?
(예를들어 column1을 삭제처리 했는데, column2를 column1로 이름변경할때)

삭제한 컬럼에 대해서는 중복체크를 하지 않아야 할 듯 합니다
이렇게 구현되었을때 우려되는 상황은, 삭제한 컬럼을 다시 복구했을때 이름 충돌이 나는데, 그때는 자동으로 뒤에 랜덤값을 붙여주면 어떨까요?

[brandon-wonjune]

삭제한 컬럼을 다시 복구했을때 이름 충돌이 나는데,

@deidera08 위 상황에서 4자리의 숫자+문자 조합으로 랜덤값을 붙이도록 하였습니다.

[kyungtaak]

field에 originalName은 항상 있어야되나요 아니면 컬럼이름을 수정시에만 넣어줘야되나요?

@brandon-wonjune 컬럼명 수정시에만 넣어주면 됩니다.