Metatron-discovery: Additional information about the metadata source

[ufoscw]

Is your feature request related to a problem? Please describe.

Additional information about the metadata source

Related Previous Issue : #168

[ufoscw]

@thinkcsww
기존 사용하던 메타데이터 상세 조회시 source.sourceInfo 속성이 추가되었습니다.

(GET) /api/metadatas/{metadata_id}?projection=forDetailView

1. StageDB, JDBC(Hive) 타입일 경우 response sample

{
   ...
   "source":{
      ...
      "sourceInfo":{
         "Partition Fields":[

         ],
         "Detail Information":{
            "Database:":"default",
            "Owner:":"hive",
            "CreateTime:":"Wed Jul 17 13:46:48 KST 2019",
            "LastAccessTime:":"UNKNOWN",
            "Retention:":"0",
            "Location:":"hdfs://localhost:9000/user/hive/warehouse/sales25",
            "Table Type:":"MANAGED_TABLE",
            "Table Parameters:":null,
            "COLUMN_STATS_ACCURATE":"{\\\"BASIC_STATS\\\":\\\"true\\\"}",
            "numFiles":"0",
            "numRows":"0",
            "rawDataSize":"0",
            "totalSize":"0",
            "transient_lastDdlTime":"1563338808"
         },
         "Storage Information":{
            "SerDe Library:":"org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe",
            "InputFormat:":"org.apache.hadoop.mapred.TextInputFormat",
            "OutputFormat:":"org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat",
            "Compressed:":"No",
            "Num Buckets:":"-1",
            "Bucket Columns:":"[]",
            "Sort Columns:":"[]",
            "Storage Desc Params:":null,
            "serialization.format":"1"
         },
         "Partition Information":{

         }
      },
      "schema":"default"
   },
   ...
   }
}

1. JDBC 타입 response 샘플

{
   ...
   "source":{
      ...
      "sourceInfo":{
         "TABLE_CATALOG":"def",
         "TABLE_SCHEMA":"apm",
         "TABLE_NAME":"alarm_group",
         "TABLE_TYPE":"BASE TABLE",
         "ENGINE":"InnoDB",
         "VERSION":10,
         "ROW_FORMAT":"Dynamic",
         "TABLE_ROWS":2216,
         "AVG_ROW_LENGTH":199,
         "DATA_LENGTH":442368,
         "MAX_DATA_LENGTH":0,
         "INDEX_LENGTH":0,
         "DATA_FREE":0,
         "AUTO_INCREMENT":null,
         "CREATE_TIME":"2019-06-04 15:13:00.0",
         "UPDATE_TIME":null,
         "CHECK_TIME":null,
         "TABLE_COLLATION":"utf8_general_ci",
         "CHECKSUM":null,
         "CREATE_OPTIONS":"",
         "TABLE_COMMENT":""
      },
      ...
   },
...
}

[AnnieHwang]

@koeun222 기존에 Source Data Ingestion Info 디자인이 sub title이 없었는데.. 필요하게 되었어요. 한 depth 더 만들어주세요!!

@thinkcsww 현재 디자인은 Source Data Ingestion Info 하위에 key/value 형태로만 되어 있는데(윗 이미지의 빨간부분!).. Hive의 경우 Sub title이 필요하여 디자인을 요청했습니다. 퍼블 나오면 작업 부탁드려요~

[thinkcsww]

@ufoscw

해당 경로로 get 요청했을 때 source.sourceInfo가 없는 것 같습니다

[koeun222]

@AnnieHwang 디자인 공유드립니다-

[ufoscw]

@thinkcsww
과거 생성된 메타데이터는 sourceInfo가 없을 수 있습니다.
sourceInfo 속성이 없을 경우는 Source Data Ingestion Information을 숨겨주세요.

[thinkcsww]

@ufoscw

메타데이터를 새로 생성해보았는데 여전히 sourceInfo가 없습니다.

확인 부탁드립니다!

[ufoscw]

@thinkcsww
메이븐 업데이트 및 server 모듈 빌드 확인바랍니다.

[thinkcsww]

@ufoscw

1. sourceInfo 속성이 response로 안오는데, 어떻게 해야할까요?
2. JDBC타입과 JDBC(Hive)의 차이가 무엇인가요 ?
3. JDBC타입의 response는 어떻게 적용해야하나요?

[ufoscw]

@thinkcsww

1. 테스트하시는 환경이 로컬인가요?
2. JDBC(Hive)는 아래와 같은 Response일 경우입니다.

{
   "sourceType":"JDBC",
   "source":{
      "source":{
         "implementor":"HIVE"
      }
   }
}

1. JDBC 타입의 경우는 기본적으로 key, value의 배열 형태입니다. response 샘플 중 JDBC 부분 참고하시면 됩니다.
   하지만 HIVE의 경우는 response 구조가 다릅니다. 그래서 디자인도 따로 되어 있습니다. 상단 JDBC(HIVE) 부분 참고하시면 됩니다.
   결론은 JDBC 타입일 경우 key, value를 순서대로 화면에 보여주면 됩니다.
   JDBC(HIVE) 타입일 경우는 위의 샘플 response를 참고하여 예외처리된 디자인 적용 해주시면 됩니다.

[thinkcsww]

@ufoscw

1. 해결된 것 같습니다. 감사합니다.

3.. JDBC(HIVE), Stage DB의 경우에는

이렇게 보여주고

JDBC의 경우에는

여기처럼 source information table 안에 이어서 쭉 보여주면 될까요??

아니면 따로 구분해서 source data ingestion information에 보여주면 될까요??

[AnnieHwang]

@thinkcsww 따로 구분하는게 맞아요. Source information은 원천에 대한 중요정보만 보여주고, Source data ingestion information은 원천의 상세 정보를 나타내고 있습니다. JDBC의 상세 정보는 Source data ingestion information에 자세하게 나타내줘야 합니다.

[thinkcsww]

@ufoscw @AnnieHwang
수정했습니다.

[ufoscw]

@thinkcsww
작업 완료 되면 PR 오픈 후에 Review로 옮겨주시면 됩니다.

[thinkcsww]

@ufoscw
네 확인했습니다!