Metatron-discovery: Physical name must be shown in metadata admin detail screen

Created on 12 Sep 2018 · 12Comments · Source: metatron-app/metatron-discovery

Describe the bug
메타데이터 상세 화면에서 물리명이 확인되지 않습니다.

Expected behavior
어드민 > 메타데이터 상세 화면에서 물리 테이블 명이 반드시 보여져야 합니다.

Screenshots
기획서는 아래와 같습니다.

현재 메타데이터 상세화면에에는 물리 정보가 나타나지 않습니다.

bug @metadata

Source

AnnieHwang

All 12 comments

@kyungtaak Ingestion 정보가 모두 나오지 않더라도, 1개의 물리데이터에 메타데이터가 종속되는 만큼 key되는 물리데이터 정보를 보여줘야 할것 같습니다. 어느 정도 표출 가능한지 말씀주시면 기획을 좀 더 상세화 할 수 있을것 같습니다.

AnnieHwang on 12 Sep 2018

@AnnieHwang 해당 기획서의 내용은 충분히 커버가 가능할것 같습니다. 하지만 금번 릴리즈에 포함시킬지 여부는 불투명한데요. 릴리즈 검토 회의시 해당이슈 릴리즈 시기를 조정했으면 합니다.

kyungtaak on 12 Sep 2018

@kyungtaak
현재 내려오고 있는 값입니다. source 아래에 있는 부분을 사용하면 되나요?
아니면 source>id를 이용해서 다른 API를 이용해 물리 데이터 정보를 보여주는 건가요? 확인 부탁드립니다.

paigechoi on 15 Oct 2018

@paigechoi 답변이늦어져 죄송합니다. 해당사항은 다음릴리즈 주기때 전달드리도록하겠습니다.

kyungtaak on 24 Oct 2018

👍1

@kyungtaak
위 문의 내용 확인 부탁드립니다.

eltriny on 5 Nov 2018

@brandon-wonjune
postman
현재 파일로 데이터소스 생성시 File OriginalName 속성이 Post Parameter에 누락되어 있습니다.
이 부분 확인 좀 부탁드려요.

@paigechoi
문의하신대로 source 속성 정보를 이용하시면 됩니다.
케이스별 Source 상세정보 json sample 입니다.

1. StageDB, Hive (Partition 존재할 경우)

{
   "source":{
      "Partition Fields":[
         {
            "name":"ymd",
            "alias":"ymd",
            "type":"STRING",
            "logicalType":"STRING",
            "role":"DIMENSION",
            "aggrType":"NONE",
            "biType":"DIMENSION"
         }
      ],
      "Detail Information":{
         "Database:":"default",
         "Owner:":"hive",
         "CreateTime:":"Tue Jul 24 10:09:14 KST 2018",
         "LastAccessTime:":"UNKNOWN",
         "Retention:":"0",
         "Location:":"hdfs://localhost:9000/user/hive/warehouse/sales_partition",
         "Table Type:":"MANAGED_TABLE",
         "Table Parameters:":null,
         "COLUMN_STATS_ACCURATE":"{\\\"BASIC_STATS\\\":\\\"true\\\"}",
         "numFiles":"78",
         "numPartitions":"78",
         "numRows":"76",
         "rawDataSize":"1127",
         "totalSize":"2115",
         "transient_lastDdlTime":"1532394554"
      },
      "Storage Information":{
         "SerDe Library:":"org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe",
         "InputFormat:":"org.apache.hadoop.mapred.TextInputFormat",
         "OutputFormat:":"org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat",
         "Compressed:":"No",
         "Num Buckets:":"-1",
         "Bucket Columns:":"[]",
         "Sort Columns:":"[]",
         "Storage Desc Params:":null,
         "serialization.format":"1"
      },
      "Partition Information":{
         "ymd":"string"
      }
   }
}

1. StageDB, Hive (Partition 없는 경우)

{
   "source":{
      "Partition Fields":[

      ],
      "Detail Information":{
         "Database:":"default",
         "Owner:":"hive",
         "CreateTime:":"Tue Jan 23 17:51:04 KST 2018",
         "LastAccessTime:":"UNKNOWN",
         "Retention:":"0",
         "Location:":"hdfs://localhost:9000/user/hive/warehouse/lineage",
         "Table Type:":"MANAGED_TABLE",
         "Table Parameters:":null,
         "COLUMN_STATS_ACCURATE":"{\\\"BASIC_STATS\\\":\\\"true\\\"}",
         "comment":"Hello World!",
         "last_modified_by":"hive",
         "last_modified_time":"1539912732",
         "numFiles":"0",
         "numRows":"0",
         "orc.compress":"snappy",
         "rawDataSize":"0",
         "totalSize":"0",
         "transient_lastDdlTime":"1539912732"
      },
      "Storage Information":{
         "SerDe Library:":"org.apache.hadoop.hive.ql.io.orc.OrcSerde",
         "InputFormat:":"org.apache.hadoop.hive.ql.io.orc.OrcInputFormat",
         "OutputFormat:":"org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat",
         "Compressed:":"No",
         "Num Buckets:":"-1",
         "Bucket Columns:":"[]",
         "Sort Columns:":"[]",
         "Storage Desc Params:":null,
         "serialization.format":"1"
      },
      "Partition Information":{

      }
   }
}

1. Engine (File Type)
  
  originalFileName 속성은 현재 누락되어 있는데...상단 코멘트 참조하시면 됩니다.

"source": {
  "name": "from file",
  "id": "c32a74dc-7d40-4437-9f53-0801198d131c",
  "type": "ENGINE",
  "createdBy": {
      "type": "user",
      "username": "admin",
      "fullName": "Administrator22",
      "email": "[email protected]"
  },
  "createdTime": "2018-12-14T05:20:45.000Z",
  "modifiedBy": {
      "type": "user",
      "username": "admin",
      "fullName": "Administrator22",
      "email": "[email protected]"
  },
  "modifiedTime": "2018-12-14T05:20:45.000Z",
  "source": {
      "path": "/var/folders/ht/21l33dg92870_ytlh6rcwp2r0000gn/T//TEMP_FILE_c9f3778e-50b6-49a1-a68e-2d20b0b86e78.csv",
      "removeFirstRow": true,
      "format": {
          "type": "csv",
          "delimeter": ",",
          "lineSeparator": "\\n"
      },
      "rollup": true
  }
}

1. Engine (JDBC Type)

"source": {
   "connection": {
       "modifiedBy": "admin",
       "modifiedTime": "2018-11-23T10:18:07.000Z",
       "id": "822f5834-4ea2-476c-8d18-c3232d77c96c",
       "implementor": "MYSQL",
       "name": "mysql_custom",
       "type": "JDBC",
       "hostname": "localhost",
       "port": 3306,
       "username": "polaris",
       "password": "polaris",
       "authenticationType": "MANUAL",
       "published": true,
       "linkedWorkspaces": 0,
       "properties": {
           "metatron.exclude.tables": "audit, book",
           "metatron.exclude.databases": "metatron_mig, metatron_cloud",
           "native.useOldAliasMetadataBehavior": "true"
       },
       "connectUrl": "jdbc:mysql://localhost:3306/",
       "excludeTables": [
           "audit",
           "book"
       ],
       "excludeSchemas": [
           "metatron_mig",
           "metatron_cloud"
       ]
   },
   "source": {
       "database": "polaris",
       "dataType": "TABLE",
       "query": "datasource",
       "rollup": true,
       "fetchSize": 200,
       "maxLimit": 10000000,
       "scope": "ALL"
   }
}

1. Engine (Hive Type)

"source": {
   "format": {
       "type": "csv",
       "delimeter": ",",
       "lineSeparator": "\n"
   },
   "source": "default.sales_partition",
   "partitions": [],
   "rollup": true
}

추가적인 문의사항 있으면 알려주세요.

ufoscw on 17 Dec 2018

@ufoscw
/api/metadatas/{id}?projection=forDetailView 데이터소스타입 메타데이터를 조회하면

에러러가 나는데 확인 부탁드립니다

paigechoi on 18 Dec 2018

@paigechoi
오류 수정했습니다.

ufoscw on 19 Dec 2018

@kyungtaak @ufoscw @AnnieHwang @eltriny @paigechoi @ecoloy

현재 MDM의 개편이 계획되어 있는데, 그 중 하나는 데이터소스 등록시 메타데이터에 자동 등록되는것으로 구상하였습니다.
때문에 물리테이블 정보(원천 정보)는 데이터 소스일 경우 메타데이터 상세화면에 노출되지 않습니다.
쌍방 이동버튼이 추가 예정인데, 데이터소스 상세화면에 원천 정보가 이미 노출되고 있어 메타데이터 화면에서까지 굳이 노출할 필요가 없다고 판단했습니다.
(다만 데이터소스가 아닌 Database등을 바로 메타데이터로 등록할 경우는 원천정보가 노출됩니다.)

때문에 이 이슈는 holding 또는 closing 하고 MDM개편과 함께 다시 진행하시면 어떨까 합니다.