Metatron-discovery: Enhance validation for local file ingestion

[kyungtaak]

Is your feature request related to a problem? Please describe.
로컬 (csv / excel) 파일 로드시 적재 가/부 여부에 대한 유효성 체크에 대해 보완을 해야합니다.

Describe the solution you'd like

파일을 업로드 후 Preview 화면 내 에서 해당 CSV, 시트가 오류가 있다면 경고 아이콘/문구가 노출되어야 합니다.
경고 문구 상황은 아래와 같습니다. (MT-31)

1. Head 컬럼에 병합된 cell이 있는 경우: (Excel)
   The first row contains merged cells. The new row is used as the head column.
2. 중복 컬럼명: (Excel, CSV)
   Duplicate column name not available.
3. 긴 컬럼명: (Excel, CSV)
   Column names are allowed up to 50 characters.
4. 빈(공백) 컬럼: (Excel, CSV)
   Empty column name is not allowed.

CSV 파일 로드시, (MT-33)

• 유효하든 유효하지 않던 Line separator, Column delimiter에 설정값에 따라 데이터는 미리볼 수 있습니다.
• Line separator, Column delimiter에 설정값을 입력했을 경우 (공백문자열 포함)
  
  
  
  • 두 값이 모두 유효할 경우 : 데이터가 해당 설정에 따라 미리볼 수 있으며 'Next'버튼 활성화
  
  
  • 한 값이라도 유효하지 않을 경우 : 데이터가 해당설정에 따라 미리볼 수 있으되 유효하지 않아 데이터가 불려지지 않음. 'Next'버튼 비활성화
  
  
• Line separator, Column delimiter에 둘 중 하나라도 설정값을 아무것도 입력하지 않은 empty상태 (placeholder가 노출된 상태)
  
  
  
  • 'Next'버튼 비활성화
  
  
  • 해당 input창에 경고 표시
  
  
  • 이 상태에서 [v]버튼 클릭시 기본값이 자동 입력됨
  
  

Describe alternatives you've considered

• 추가적으로 대용량 파일 로드일 경우를 고려하여 전체 데이터를 읽지 않고 처음부터 특정 라인만 읽어 들여 작업을 수행하도록 로직을 변경하는것도 고려합니다.

Additional context

• 참고 기획서 화면
  

[brandon-wonjune]

@kyungtaak
현재 미리보기의 경우는 서버에서 내려주는것을 뿌려주고있는데요.
아래의 케이스에 대한 result는 어떤 형태로 내려오나요?

Head 컬럼에 병합된 cell이 있는 경우: (Excel)
The first row contains merged cells. The new row is used as the head column.
중복 컬럼명: (Excel, CSV)
Duplicate column name not available.
긴 컬럼명: (Excel, CSV)
Column names are allowed up to 50 characters.
빈(공백) 컬럼: (Excel, CSV)
Empty column name is not allowed.

[alchan-lee]

@brandon-wonjune

{
  "fields": [{...}],
  "data": [{...}],
  "totalRows": 2,
  "isParsable": {
    "warning": "FV002",
    "valid": false
  }
}

Response에 isParsable 값을 추가했습니다.
isParsable.warning 값을 통해 경고문구를 구분해주시면 될 것 같습니다.

코드 매핑은 아래와 같이 해주시면 됩니다.
FV002 : 병합된 컬럼 (Excel)
FV003 : 중복 컬럼 (Excel, CSV)
FV004 : 긴 컬럼 (Excel, CSV)
FV005 : 빈 컬럼 (Excel, CSV)
+(추가) FV001 : 헤더 수와 로우 수가 다른 경우 (일반적인 경고)

서버단 로직이 적용된 브랜치는 f#1057-enhance_ingest_validation 입니다.

[alchan-lee]

메세지 다국어를 UI단에서 처리하고 있어서 위와 같이 코드값을 리턴하게 했는데요,
혹시 더 필요하신 내용 있다면 말씀해주세요~

[brandon-wonjune]

@alchan-lee
Q1. 긴 컬럼은 warning에 FV004가 전달되는것 확인했습니다.
그런데 나머지 002,003,005는 전달되지 않고 있습니다.



아래 파일은 테스트 한 파일입니다.
병합1.xlsx
빈.xlsx
중복.xlsx
FV001은 FV005와 어떤 차이가 있나요?

Q2. 그리고 기존의 로직은 모든 시트를 조회하지 않고 선택한 시트만 조회하는 api를 사용하고 있었습니다. (엑셀파일의 경우)
api/datasources/file/{fileName}/data?limit=100&firstHeaderRow=true&sheet=%EC%8B%9C%ED%8A%B81
그런데 변경된 기획을 확인해보면 초기에 파일을 업로드시 위처럼 문제가 있는 컬럼이 존재하는 시트마다 에러 아이콘을 표시해 줘야됩니다.
그럴경우 기존 api를 그대로 사용한다면 sheet의 갯수 만큼 api 조회를 요청해서 ui에 표시해주면 되는건지, 아니면 새로 api 변경이 있을 예정인가요?

[alchan-lee]

@brandon-wonjune
확인이 늦어진점 죄송합니다.

우선 Q1에서 문의주신 결함은 변경해서 반영해두었습니다 (f#1057-enhance_ingest_validation 브랜치)

Q2에서 문의주신 내용은 sheet 갯수만큼 api 호출은 낭비적이고,
별도의 api를 추가하기보다는 upload api에서 sheet명 리턴시에 아래와 같은 object로 리턴드리려고 하는데요,

이렇게 진행해도 괜찮으실까요?
(기존에는 String 리스트로 시트명만 리턴했었습니다)

{
  "sheets": {
    "시트1": {
      "warning": "FV002",
      "valid": false
    },
    "시트2": {
      "valid": true
    }
  }
}

[brandon-wonjune]

@alchan-lee
네, 그러면 변경될 api는 아래의 형태로 작동하게 되나요?

초기 화면 진입 > file 업로드 > api 조회 > 시트별 error 및 warning 상태 확인 > 시트 선택 > 시트 상세데이터 조회 api

[alchan-lee]

@brandon-wonjune
네 맞습니다. 앞서 언급드린 대로 리턴되도록
sheet명 조회 api 바꿔서 브랜치에 반영해두었습니다.

문제되는 부분 또는 추가가 필요한 부분이 있다면 말씀해주세요~

[brandon-wonjune]

@alchan-lee
조회 테스트 중 질문 드립니다.
초기에 파일 업로드시 내려오는 정보 중 'sheets'가 있는데요
비어있거나 오류가 있는 시트가 표기되지 않고 있습니다.

// api
api/datasources/file/upload

// result
filePath: "/var/folders/08/8nxc3vnd2h75n7h060z4mzm80000gn/T//TEMP_FILE_e659d66e-e95d-4e90-bb98-ad415f08d3c8.xlsx"
filekey: "TEMP_FILE_e659d66e-e95d-4e90-bb98-ad415f08d3c8.xlsx"
sheets: ["Sheet1", "Sheet2", "Sheet3", "Sheet4"]

현재는 위와 같은 형태로 내려오는데요.
위 api가 맞나요?

[alchan-lee]

@brandon-wonjune
아래 처럼 object로 리턴되게 변경해둔건데요.. ㅎㅎ

말씀하신 result 값에 sheets가 List 형태로 내려오는 것은 예전 방식입니다.

f#1057-enhance_ingest_validation 브랜치를 pull 받아 보시면 됩니다.

{
  "sheets": {
    "Sheet1": {
      "warning": "FV002",
      "valid": false
    },
    "Sheet2": {
      "valid": true
    },
    "시트1": {
      "warning": "FV005",
      "valid": false
    }
  },
  "filePath": "/var/folders/rx/h_xkznq92gv26b8x72hy0stw0000gn/T//TEMP_FILE_0dc9c331-027f-4acd-a8ae-559b70e46a2d.xlsx",
  "filekey": "TEMP_FILE_0dc9c331-027f-4acd-a8ae-559b70e46a2d.xlsx"
}

[deidera08]

@kyungtaak @AnnieHwang @brandon-wonjune
처음에 이 이슈가 출발한 것은 MT-31인데요
병합된 컬럼을 비롯해 유저가 일반적으로 실수하는 사항(공백, 중복 등)에 대해 경고를 주도록 기획하였습니다.
그러나 본 화면에서 시트 수나 컬럼 수가 많을 경우 이에 대한 유효값 체크를 하는 과정에서 퍼포먼스 저하가 일어날 가능성이 높습니다.

더불어 현재 이 다음 스텝에서 중복 컬럼명을 비롯한 컬럼명 자체를 수정할 수 있는 이슈#1202가 등록되어 있습니다.
때문에 본 화면에서는 1번의 병합 컬럼만 체크하고 2,3,4번의 컬럼명 validation 체크는 #1202이슈를 진행하면서 configure the schema단계에서 진행하면 어떨까 합니다.
왜냐면 이 화면에서 1차적으로 컬럼명 유효성 체크를 하고 넘어온다 해도 configure the schema단계에서 다시 한번 컬럼 유효성을 체크해야 하기때문입니다.

그리고 중복 컬럼에 대한 이슈는 #1175에도 등록되어 있는데요
configure the schema단계에서 같은 룰로 validation을 체크하면 좋을 듯 합니다.

A. 쓸 수 없는 컬럼명이 있을 경우
a-1. 1자 이상의 특수문자 포함 ASCII 문자(숫자 또는 영문 또는 한글) 허용
a-2. 특수문자로만 이뤄진 문자열 불가 (예 !!@@##)
a-3. Unicode 불가
문구: Column name contains an invalid character.
컬럼명에 사용할 수 없는 문자열이 있습니다.

B. 중복 컬럼명일 경우
b-1. 동일한 문자열의 컬럼명 불가
b-2. 대/소문자 구분 안함 (예 Name, name은 동일 문자열 취급)
문구: Duplicate column name not available.
동일한 컬럼명은 사용할 수 없습니다.

C. 긴 컬럼명
c-1. 1자 이상 50자 미만의 문자열 허용
문구: Column names are allowed up to 50 characters.
1자~50자 이내의 컬럼명으로 작성해주세요

D. 빈(공백) 컬럼
d-1. 공백(null), 빈 문자열 (&nbsp) 불가
문구: Empty column name is not allowed.
빈 컬럼명은 허용되지 않습니다.

[brandon-wonjune]

@deidera08 @alchan-lee
변경된 api 확인하였습니다.
한가지 문의사항이 있습니다.
만약 sheet 에 아무것도 없는 경우는 아예 sheets 내부에 표시가 되고 있지 않는데요.
이러한 케이스에도 별도로 ui에서 표시가 필요한지 문의드립니다.
아래는 테스트하고 있는 파일입니다.
Sheet2가 해당 케이스입니다.
default.xlsx

@alchan-lee
그리고 아래 api조회시 firstHeaderRow: false 파라메터가 있는경우 isParsable이 넘어오고 있지 않습니다.
CSV파일과 xlxs파일 둘다 동일하게 발생하고있습니다.

[AnnieHwang]

@kyungtaak @alchan-lee 기획자분 말처럼 해당 이슈에서 병합된 셀만 체크하고 #1175에서 벨리데이션 처리를 묶어서 진행하면 될것 같아요.

[alchan-lee]

그리고 아래 api조회시 firstHeaderRow: false 파라메터가 있는경우 isParsable이 넘어오고 있지 않습니다.
CSV파일과 xlxs파일 둘다 동일하게 발생하고있습니다.

@brandon-wonjune
이 부분은 firstHeaderRow: false일때는 헤더를 내부적으로 만들고 있어서 별도로 validation을 안하다 보니
isParsable이 빠져 있었네요.

일관성이 있어야 할 듯 하니 isParsable을 true로 내려오도록 반영해두었습니다.

[alchan-lee]

@AnnieHwang @deidera08 @brandon-wonjune @kyungtaak
그럼 이 단계에서는 서버단에서 병합된 셀이 있는지만 확인하도록 하겠습니다.

100 컬럼짜리로 테스트 해봤을때 성능상 좀 차이가 나긴 하네요.

• 전체 validation : 794 (ms)
• 병합만 validation : 77 (ms)
• no validation : 26 (ms)

[brandon-wonjune]

@alchan-lee
따로 서버쪽에서 병합된 셀 이외의 상황에 대해 valid를 true로 내려주실건가요?
아니면 UI에서 병합된 셀 (FV002)만 다음단계를 수행할 수 없도록 하면되나요?

[alchan-lee]

@brandon-wonjune
네, 첫번째 말씀하신대로 서버쪽에서 병합된 셀을 빼고는 valid를 true로 내리겠습니다.

[alchan-lee]

@deidera08 @AnnieHwang @brandon-wonjune
CSV 파일 업로드 시에 header에 null 값이 포함되는 경우 크리티컬한 오류가 발생해서
아예 파일을 올릴 수가 없게 되는데요,

이 경우에는 파일 업로드를 하는 단계에서 validation이 꼭 필요하기 때문에 남겨두도록 하겠습니다.
(체크를 꼭 해야하는데 notification을 뺄 이유는 없을 것 같아서요)

최종적으로 이 이슈에서 진행되고 있는 파일을 업로드하는 시점에서 validation은

• csv인 경우 : null 값 체크 (병합 개념이 없음)
• excel인 경우 : 병합 체크

두가지가 됩니다.

[brandon-wonjune]

@alchan-lee
적용하였습니다.
아래와 같이 나타나게 됩니다.

• CSV인 경우
  
  

• excel인 경우