Metatron-discovery: Change the concept to equate logical information between datasource and metadata

[deidera08]

Is your feature request related to a problem? Please describe.
MDM 개편 방향을 다음과 같이 잡았습니다.

1. 메타데이터는 논리정보를 관리합니다.
   이름, 설명, 타입, 논리컬럼명 의 정보는 데이터소스의 정보와 같은 값입니다.
   때문에 데이터소스/메타데이터에서 위 정보 수정시 쌍방이 업데이트 됩니다.됩니다.
   더불어 데이터소스 등록시 메타데이터에도 동일 데이터가 자동 등록되어야 합니다.(수동 생성 불가)

1. 원천 데이터의 논리정보 또한 메타데이터에서 관리할 수 있습니다.
   메타데이터에서 원천데이터를 바로 등록할 수 있습니다.
   현재는 HIVE, StagingDB를 지원하지만 점차 늘려나갈 예정입니다.

2. 사용자가 (메타)데이터를 쉽게 검색하여 쓸 수 있는 Explore Data라는 메뉴를 구상중인데,
   이 검색을 위한 정보 또한 메타데이터에서 관리합니다.

Describe the solution you'd like
위의 상황의 첫번째 사항으로 데이터소스 등록시 메타데이터 목록에 동일 데이터가 자동 등록되어야 합니다.
데이터소스 상세화면과에 해당 메타데이터로 이동하는 버튼을 추가합니다.
마찬가지로 (데이터소스에 대한) 메타데이터일 경우 해당 데이터소스로 이동하는 버튼을 추가합니다.
이름, 설명 수정시 쌍방이 업데이트 되어야 합니다.

Describe alternatives you've considered
1. 데이터소스 > 상세화면

.
.
2. 메타데이터 > 상세화면

.
.
3. 메타데이터 생성하기

.
.
Additional context
Related Issues:

• #1238
• #1245

Release Scripts

-- changed type name
update mdm_metadata set meta_source_type = ‘STAGEDB’ where meta_source_type = ‘STAGING’
update mdm_metadata_source set meta_source_type = ‘STAGEDB’ where meta_source_type = ‘STAGE’

[ninezero90hy]

@nogah12 메타데이터 생성하기 팝업에서 데이터 소스 삭제했습니다

[koeun222]

@AnnieHwang #1245 와 동일한 디자인 적용했습니다-

1. 데이터소스 > 상세화면 : 제목,설명 수정 시 알림문구 뜨는위치는 같습니다
   

2. 메타데이터 > 상세화면
   

[kyungtaak]

@ninezero90hy datasource/metadata 상호간 변경사항에 대해 싱크되는 로직은 구성하였습니다. 진행하시다가 문제가 있는 부분은 말씀해주세요.

[ninezero90hy]

@kyungtaak 네 감사합니다 :)

[brandon-wonjune]

@kyungtaak
데이터소스 화면에서 메타데이터 화면으로 가기위해 메타데이터 아이디가 필요합니다.
어떤 프로퍼티를 사용하면 되나요?
데이터소스 상세화면은 아래와 같은 api를 사용중입니다.

api/datasources/{dsId}?projection=forDetailView

[ninezero90hy]

@deidera08 메세지 확인 부탁드립니다

• 데이터소스 또한 수정될 때 업데이트됩니다.
• Datasource is also updated when modified.
• 當修改數據時,數據來源也更新。

[ninezero90hy]

@brandon-wonjune

---

---

• ~metadata -> Master data 로 레이블이 변경될 예정입니다~
• ~버튼 레이블은 Go to Master data로 해주세요~

[deidera08]

@ninezero90hy

데이터소스 또한 수정될 때 업데이트됩니다.
Datasource is also updated when modified.
當修改數據時,數據來源也更新。

문구를 다음과 같이 부탁드려요

• Datasource is also updated when modified.
• 수정 내용이 데이터소스에도 반영됩니다.

중문은.. 관리하시는 분이 안계셔서 잘 모르겠습니다.
양해 부탁드려요

[ninezero90hy]

@deidera08 네 알겠습니다 :)

[ninezero90hy]

@deidera08 다국어 메세지 확인 부탁드립니다

---

---

• 데이터소스로 이동
• Go to Datasource
• 去達塔索斯

[deidera08]

@ninezero90hy

데이터소스로 이동
Go to Datasource

넵 맞습니다!

[ninezero90hy]

@deidera08 네 확인 감사합니다^^

[ninezero90hy]

@deidera08 혹시 메타데이터에서 더 수정해야되는 부분이 있나요?

---

• 메타데이터 상세화면 설명 추가
• 데이터소스 상세화면 이동 버튼 추가

---

• 메세지 다국어 처리

[deidera08]

@ninezero90hy
본 이슈에서 요청드린 사항은 작업된 듯 합니다.
추후 PR을 열어주시면 테스트하면서 부족한 부분을 함께 수정해나가면 좋을듯합니다 :)

[ninezero90hy]

@deidera08 네 알겠습니다 :)

[brandon-wonjune]

configure schema 화면 수정하였습니다.

[eltriny]

@kyungtaak
데이터소스 화면에서 메타데이터 화면으로 가기위해 메타데이터 아이디가 필요합니다.
어떤 프로퍼티를 사용하면 되나요?
데이터소스 상세화면은 아래와 같은 api를 사용중입니다.

api/datasources/{dsId}?projection=forDetailView

@kyungtaak
위 문의사항 답변 부탁드립니다.

[kyungtaak]

@eltriny 답변이 늦어 죄송합니다. 아래 api 활용 부탁드립니다.
/metadatas/metasources/{sourceId}?projection=forDetailView

[brandon-wonjune]

@deidera08 master data로 이동하는 버튼 작업 완료하였습니다.

[deidera08]

@brandon-wonjune

master data로 이동하는 버튼 작업 완료하였습니다.

고생하셨습니다 :)
수고스러우시겠지만 버튼명을 'Go to Metadata'로 다시 부탁드려요
'마스터데이터' 용어가 재논의가 필요해서 당분간 메뉴명을 '메타데이터'를 써야 할 듯 합니다.

관련이슈: #1436

[brandon-wonjune]

@deidera08 metadata로 수정하였습니다.

[ninezero90hy]

@kyungtaak

• 메타데이터 컬럼 스키마 페이지에서 소스타입이 데이터소스가 아닌 하이브/스테이징DB일 경우 타입 변경시 실제 값은 변경이 완료 되었는데 서버 500 에러가 발생합니다. 하이브나 스테이징DB일 경우 데이터소스가 존재하지 않는데 데이터소스를 업데이트 하려고 해서 그런거 같습니다. 확인 부탁드립니다.

  • 데이터소스
    

  • 하이브
    

  • 스테이징DB
    

  • API (PATCH /api/metadatas/{metadataId}/columns) 에러 로그

app.metatron.discovery.common.exception.UnknownServerException
    at app.metatron.discovery.common.exception.GlobalExceptionHandler.handleAll(GlobalExceptionHandler.java:149)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.springframework.web.method.support.InvocableHandlerMethod.doInvoke(InvocableHandlerMethod.java:205)
    at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:133)
    at org.springframework.web.servlet.mvc.method.annotation.ServletInvocableHandlerMethod.invokeAndHandle(ServletInvocableHandlerMethod.java:97)
    at org.springframework.web.servlet.mvc.method.annotation.ExceptionHandlerExceptionResolver.doResolveHandlerMethodException(ExceptionHandlerExceptionResolver.java:384)
    at org.springframework.web.servlet.handler.AbstractHandlerMethodExceptionResolver.doResolveException(AbstractHandlerMethodExceptionResolver.java:59)
    at org.springframework.web.servlet.handler.AbstractHandlerExceptionResolver.resolveException(AbstractHandlerExceptionResolver.java:136)
    at org.springframework.web.servlet.handler.HandlerExceptionResolverComposite.resolveException(HandlerExceptionResolverComposite.java:76)
    at org.springframework.web.servlet.DispatcherServlet.processHandlerException(DispatcherServlet.java:1222)
    at org.springframework.web.servlet.DispatcherServlet.processDispatchResult(DispatcherServlet.java:1034)
    at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:984)
    at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:901)
    at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:970)
    at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:843)
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:742)
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:231)
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
    at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
    at org.springframework.boot.web.filter.ApplicationContextHeaderFilter.doFilterInternal(ApplicationContextHeaderFilter.java:55)
    at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107)
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
    at org.springframework.boot.actuate.trace.WebRequestTraceFilter.doFilterInternal(WebRequestTraceFilter.java:110)
    at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107)
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
    at app.metatron.discovery.common.web.CommonLocalVariableFilter.doFilter(CommonLocalVariableFilter.java:58)
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
    at app.metatron.discovery.common.web.LogbackMdcFilter.doFilter(LogbackMdcFilter.java:59)
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
    at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:317)
    at org.springframework.security.web.access.intercept.FilterSecurityInterceptor.invoke(FilterSecurityInterceptor.java:127)
    at org.springframework.security.web.access.intercept.FilterSecurityInterceptor.doFilter(FilterSecurityInterceptor.java:91)
    at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
    at org.springframework.security.web.access.ExceptionTranslationFilter.doFilter(ExceptionTranslationFilter.java:114)
    at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
    at org.springframework.security.web.session.SessionManagementFilter.doFilter(SessionManagementFilter.java:137)
    at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
    at org.springframework.security.web.authentication.AnonymousAuthenticationFilter.doFilter(AnonymousAuthenticationFilter.java:111)
    at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
    at org.springframework.security.web.servletapi.SecurityContextHolderAwareRequestFilter.doFilter(SecurityContextHolderAwareRequestFilter.java:170)
    at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
    at org.springframework.security.web.savedrequest.RequestCacheAwareFilter.doFilter(RequestCacheAwareFilter.java:63)
    at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
    at org.springframework.security.oauth2.provider.authentication.OAuth2AuthenticationProcessingFilter.doFilter(OAuth2AuthenticationProcessingFilter.java:176)
    at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
    at org.springframework.security.web.authentication.logout.LogoutFilter.doFilter(LogoutFilter.java:116)
    at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
    at org.springframework.web.filter.CorsFilter.doFilterInternal(CorsFilter.java:96)
    at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107)
    at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
    at org.springframework.security.web.header.HeaderWriterFilter.doFilterInternal(HeaderWriterFilter.java:64)
    at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107)
    at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
    at org.springframework.security.web.context.SecurityContextPersistenceFilter.doFilter(SecurityContextPersistenceFilter.java:105)
    at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
    at org.springframework.security.web.context.request.async.WebAsyncManagerIntegrationFilter.doFilterInternal(WebAsyncManagerIntegrationFilter.java:56)
    at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107)
    at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
    at org.springframework.security.web.FilterChainProxy.doFilterInternal(FilterChainProxy.java:214)
    at org.springframework.security.web.FilterChainProxy.doFilter(FilterChainProxy.java:177)
    at org.springframework.web.filter.DelegatingFilterProxy.invokeDelegate(DelegatingFilterProxy.java:347)
    at org.springframework.web.filter.DelegatingFilterProxy.doFilter(DelegatingFilterProxy.java:263)
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
    at org.springframework.session.web.http.SessionRepositoryFilter.doFilterInternal(SessionRepositoryFilter.java:167)
    at org.springframework.session.web.http.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:80)
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
    at org.springframework.web.filter.CharacterEncodingFilter.doFilterInternal(CharacterEncodingFilter.java:197)
    at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107)
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
    at org.springframework.boot.actuate.autoconfigure.MetricsFilter.doFilterInternal(MetricsFilter.java:106)
    at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107)
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
    at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:199)
    at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:96)
    at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:478)
    at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:140)
    at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:81)
    at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:87)
    at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:342)
    at org.apache.coyote.http11.Http11Processor.service(Http11Processor.java:803)
    at org.apache.coyote.AbstractProcessorLight.process(AbstractProcessorLight.java:66)
    at org.apache.coyote.AbstractProtocol$ConnectionHandler.process(AbstractProtocol.java:868)
    at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.doRun(NioEndpoint.java:1459)
    at org.apache.tomcat.util.net.SocketProcessorBase.run(SocketProcessorBase.java:49)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
    at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.NullPointerException
    at app.metatron.discovery.domain.datasource.DataSourceService.updateFromMetadata(DataSourceService.java:634)
    at app.metatron.discovery.domain.datasource.DataSourceService$$FastClassBySpringCGLIB$$8932ee94.invoke(<generated>)
    at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:204)
    at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.invokeJoinpoint(CglibAopProxy.java:738)
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:157)
    at org.springframework.transaction.interceptor.TransactionInterceptor$1.proceedWithInvocation(TransactionInterceptor.java:99)
    at org.springframework.transaction.interceptor.TransactionAspectSupport.invokeWithinTransaction(TransactionAspectSupport.java:282)
    at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:96)
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:179)
    at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:673)
    at app.metatron.discovery.domain.datasource.DataSourceService$$EnhancerBySpringCGLIB$$67d3d235.updateFromMetadata(<generated>)
    at app.metatron.discovery.domain.mdm.MetadataController.patchColumnsInMetadata(MetadataController.java:248)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.springframework.web.method.support.InvocableHandlerMethod.doInvoke(InvocableHandlerMethod.java:205)
    at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:133)
    at org.springframework.web.servlet.mvc.method.annotation.ServletInvocableHandlerMethod.invokeAndHandle(ServletInvocableHandlerMethod.java:97)
    at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.invokeHandlerMethod(RequestMappingHandlerAdapter.java:827)
    at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.handleInternal(RequestMappingHandlerAdapter.java:738)
    at org.springframework.web.servlet.mvc.method.AbstractHandlerMethodAdapter.handle(AbstractHandlerMethodAdapter.java:85)
    at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:967)
    ... 86 more

[kyungtaak]

@ninezero90hy 위 에러 내용은 수정했습니다.

[joohokim1]

데이터소스 생성시 메타데이터 싱크