Metatron-discovery: Add validation interval on ingestion stage

[kyungtaak]

Is your feature request related to a problem? Please describe.
Like #1089 issue, A large duration of intervals and a low segment granularity cause a big problem in the ingestion performance of the engine.

Describe the solution you'd like

• Prevents selection of segment granularity less than HOUR unit.
• The number of segment granularity units in the interval period must not exceed 10000.

Describe alternatives you've considered

• Add interval property on file/database ingesetion stage
• validate interval property
  
  
  
  • If the current time, the interval property needs to be hidden.
  
  

Additional context
(N/A)

[kyungtaak]

@AnnieHwang @deidera08 위의 내용 긴급하게 확인 부탁드립니다.

[deidera08]

@kyungtaak @AnnieHwang

Segment granularity가 시간 단위 이하인 시간/분/ 초를 선택시에만 노출하는것으로 생각했습니다(기본 hide)
입력 UI는 Limited record count와 동일하게 구성하며, 기본으로 입력된 값은 없고 10000이상 입력시 경고문구 노출됩니다.

추가: current time으로 지정했을 경우 이 설정 노출되지 않음

보완해야 할 점 있으면 가이드 부탁드립니다.

[kyungtaak]

@deidera08 네 기획내용 감사합니다. 하지만, stageDB 와 동일하게 interval 기간을 지정할수 있는 공간이 필요합니다. (interval period 는 어떤목적이신지...) 그리고, 인터벌 기간 그리고 granularity 단위를 받아 이를 계산하여 단위가 10000 개가 넘는 경우 저 메시지가 나타나게끔 하는 것을 의도했어요. (기존 stagedb 도 마찬가지입니다.)

[deidera08]

@kyungtaak @AnnieHwang
초안의 interval period 는 유저가 Segment granularity unit를 입력함으로써 자동으로 Interval 기간이 자동 산출될것이라고 생각했습니다. 제가 상황 이해를 잘 못한듯 하네요.

질문이 있습니다.

1. Segment granularity의 interval 기간은 데이터 범위(range)와 어떻게 다르나요?
2. interval 기간 입력 필드와 granularity 단위 입력 필드 각각이 필요한가요?
   예시1)
   Interval period: [yyyy-MM-dd hh:mm:ss] ~ [yyyy-MM-dd hh:mm:ss]
   Segment granularity unit: [10,000] units

아니면 interval 기간에 따라 자동 granularity 단위가 산출되나요?
예시2)
Interval period: [yyyy-MM-dd hh:mm:ss] ~ [yyyy-MM-dd hh:mm:ss]
12,345 segment granularity units

모쪼록 가이드를 부탁드리겠습니다.

[deidera08]

@kyungtaak @AnnieHwang

다음과 같이 화면을 수정했습니다.

표현이 잘못되었거나 부족한 부분 있으면 모쪼록 피드백/가이드 부탁드리겠습니다.

[koeun222]

@AnnieHwang 디자인 공유드립니다.

[kyungtaak]

@AnnieHwang @koeun222 Interval period 부분이 Segment Granularity 콤보 박스 바로 밑에 붙어 있어 좀 어색한것 같은데요.
둘다 동일레벨이어야할것 같아요. Query Granularity 를 맨위로 올리고 나머지 두개를 같은 레벨로 아래에 놓으면 어떨런지요?

[deidera08]

@kyungtaak @AnnieHwang

제가 잘 몰라서 재차 여쭙게 되어 송구합니다.
Interval period이 Segment Granularity가 hour단위 이하일때만(시, 분, 초) 노출되는 속성이 맞는지요?

[kyungtaak]

@deidera08 아.. 놓쳤던 것을 짚어주셨네요. 이건 아래 timefilter와 동일한 조건으로 해야할것 같다는 생각이 듭니다.

[deidera08]

@kyungtaak @AnnieHwang
다음과 같이 수정하였습니다.
1. 순서 변경
- Query granularity
- Segment granularity
- Intervals (타이틀명 수정, Segment granularity 단위가 hour일때만 노출)

1. 레벨 조정
   Intervals 설정을 Query/Segment granularity와 같은 레벨로 표현하였습니다.

2. 가이드 문구 추가 (Segment granularity는 기존의 가이드에 추가 작성)
   3-1. What is Segment granularity?
   The granularity to create segments at.
   Druid data is stored in "datasources" and each datasource is partitioned by time. Each time range is called a "chunk" (for example, a single month, if your datasource is partitioned by month).
   Within a chunk, data is partitioned into one or more "segments". Each segment is a single file, typically comprising up to a few million rows of data.

세그먼트 단위는 무엇인가요?
세그먼트를 생성하기 위한 단위입니다.
데이터소스는 시간에 의한 분할되어 Druid에 저장됩니다. 이때 각 시간 범위를 "청크"라고 합니다(예. 월로 설정시 데이터소스는 월 단위로 분할됨).
청크 내에서 데이터는 하나 이상의 "세그먼트"로 분할됩니다. 각 세그먼트는 단일 파일로, 일반적으로 최대 수백개 행의 데이터로 구성됩니다.

3-2. What is Intervals?
This defines the time ranges to run the query over.
One segment file is created for each time interval.

간격이란 무슨 의미인가요?

쿼리를 실행할 시간 범위를 뜻합니다.
각 시간 간격마다 하나의 세그먼트 파일을 형성하게 됩니다.

표현이 잘못되었거나 부족한 부분 있으면 피드백&가이드 부탁드리겠습니다!

[kyungtaak]

진행시 #646 이슈도 함께 확인이 필요할것 같습니다. @deidera08 위 정책대로 한다면 상세 화면이나 최종 요약 화면에도 영향이 있는지 확인 부탁드립니다.

[deidera08]

@kyungtaak @AnnieHwang

데이터소스 생성 마지막 단계와 데이터소스 상세화면 추가하였습니다.

StagingDB 생성 마지막 단계

데이터소스 상세화면

그 외 화면은 ppt로 첨부합니다.
#1092Intervals.pptx

[kyungtaak]

@deidera08 제생각에는 duration 을 빼고 Interval 로 통일했으면 하는데요. 어떻게 생각하시는지요?

[AnnieHwang]

@kyungtaak @deidera08 말씀하신 의미가 Data range 설정을 빼고, interval로 하자는 말씀이신가요? 그러면 Segment Granualrity를 선택해야지만 interval 단위가 맞춰지고 선택할수 있는데 괜찮은가요?

[kyungtaak]

@AnnieHwang 제가 Data Range(Duration) 의 의미를 제대로 파악하지 못했네요.

• segment granularity 는 무조건 선택이 되는것으로 알고 있습니다. 맞나요? 그리고, segment granularity 가 hour 인 경우만 나오는것은 어색합니다.
• 그리고 상세 화면에서 적재 시점의 interval 값(사용자가 지정)과 상세의 Data Range(실제 데이터 범위) 는 다를 수 있겠지만, 두개의 값이 나와 버리면 무척 햇깔릴것 같아 말씀드린 것이었는데요. 위의 댓글은 무시해주시고요. 결론적으로 상세 에서는 interval 이 나오지 않아도 될것 같은데요. 검토 부탁드립니다.

[deidera08]

@kyungtaak @AnnieHwang
가이드 주셔서 감사합니다 :) 다음과 같이 정리하겠습니다.

1. segment granularity 단위와 상관없이 interval 상시 노출
   segment granularity는 필수 선택이므로 무조건 노출됩니다.
   기존의 segment granularity 단위가 시/분/초 일 때 interval이 노출되는 것으로 기획하였으나 segment granularity 단위가 분/초 는 삭제되었으므로 시간일 경우만 interval이 노출되었습니다.
   가이드주신대로 꼭 시간일 경우만 interval 설정이 필요한 것은 아니므로 segment granularity 단위 상관없이 타임스탬프의 설정값으로 interval 또한 상시노출 하는것으로 수정하겠습니다.

2. Data Range(Duration) 보존
   가이드 주신대로 Data Range와 interval 기간이 다를 수 있으므로 각각 유지하도록 하겠습니다.

3. information에서 (상황에 따라) interval 노출
   대부분의 상황에서 Data Range와 interval 기간이 같겠습니다만, 유저가 일치하지 않도록 설정한 경우 information화면에서 노출시키면 좋을듯 합니다.
   유저가 임의설정한 값은 상세화면에서는 정보로써 알려줘야 할 듯 싶습니다.
   

수정한 화면 ppt로 첨부합니다.
#1092Intervals_20190102.pptx

[brandon-wonjune]

@kyungtaak
제 댓글 마지막만 지우려다가 같이 지워졌네요... 죄송합니다.

말씀하신 것처럼

(종료시간 millis. - 시작시간 millis.) / granularity unit millis < 10000

로 적용하도록 하겠습니다.

[brandon-wonjune]

@kyungtaak 문의사항이 있습니다

1. ingestion setting 초기화면에 intervals 를 지정할수 있는경우 (TIMESTAMP가 current가 아닌경우)
   기획상 실제 컬럼의 데이터의 과거값과 최신값을 default로 지정하도록 되어있는데요
   현재 서버에서 데이터를 조회했을때 column의 데이터는 몇 건으로 제한을 두고 가져오고있나요?
   만약 그렇다면 과거값과 최신값을 따로 받을수있을까요?

1. 데이터소스 생성시 params는 어떤 값으로 추가하면되나요?

[kyungtaak]

@deidera08 @brandon-wonjune 전체 데이터는 어렵고, 첫 timestamp 값을 기준으로 interval 값을 정하는것은 어떨런지요? 그 시간 기준 앞뒤 1000 개 unit 으로 하는것도 방법일것 같습니다.

[deidera08]

@kyungtaak
질문이 있습니다.

@deidera08 @brandon-wonjune 전체 데이터는 어렵고, 첫 timestamp 값을 기준으로 interval 값을 정하는것은 어떨런지요? 그 시간 기준 앞뒤 1000 개 unit 으로 하는것도 방법일것 같습니다.

그렇다면 interval의 값이 timestamp 컬럼 내 데이터값의 범위를 벗어날 수 있나요?
예를들면 timestamp 컬럼의 데이터값 범위가 2017-01-01 ~ 2017-02-28 이라고 가정할때
Interval의 기본 초기값이 2017-01-01 ~ 2017-03-31 와 같은 값으로 설정될 수 있나요?(이렇게 설정되어도 무방한가요?)

[kyungtaak]

@deidera08
interval의 값이 timestamp 컬럼 내 데이터값의 범위와 같거나 크게 잡아 주어야햡니다. 그렇지 않으면 전체 데이터가 적재 되지 않아요. 그래서 timestamp 컬럼 범위를 정확히 알수 없으니, 여유를 두어 앞뒤 첫줄에 있는 시간값 기준 앞뒤로 1000개 unit 으로 지정하면 어떨까 했었습니다.

[deidera08]

@kyungtaak @AnnieHwang @brandon-wonjune
친절한 가이드 주셔서 감사합니다 :)

이슈의 시작은 segment unit수가 10,000개가 넘을 경우를 우려하여 UI상에서 이 구간을 줄여주는 것으로 시작되었습니다만, 배치되는 상황이긴 하네요
결론적으로 봤을때 (가이드 주신대로) 10,000개가 넘거나 또는 전체 데이터값을 알기 어려워 전체 데이터를 적재 못하는 상황이 발생될 여지가 있습니다.
Interval기간이 넉넉해야 한다는 취지의 문구를 추가하도록 하겠습니다.

문구: 간격의 설정값은 타임스탬프 컬럼의 데이터값 범위와 같거나 커야하며, 이 구간에 의한 세그먼트 갯수가 10,000개가 넘을 수 없습니다.
The interval should set equal to or greater than the range of data values in the timestamp column, and the number of segments units cannot exceed 10,000.

---

데이터의 초기값은 최소 50row정보는 갖고 오기 때문에 1차적으로 50row를 활용하면 어떨까 싶습니다.

1. 데이터가 50row 이하일 경우 타임스탬프 컬럼의 전체 데이터값 활용
   interval 초기값: [제일 과거값] ~ [제일 최신값]

2. 데이터가 50row 이상일 경우 (최대)50개 내 타임프탬프의 컬럼의 데이터값 활용
   a. 1차적으로 2번의 [제일 과거값] ~ [제일 최신값]기준 unit수 산출

b. a의 unit수가 8,000미만일 경우
interval 초기값: [제일 과거값+1000개 unit에 해당하는 시간] ~ [제일 최신값+1000개 unit에 해당하는 시간]

c. a의 unit수가 8,000개 이상 9,000개 미만일 경우
interval 초기값: [제일 과거값] ~ [제일 최신값+1000개 unit에 해당하는 시간]

d. a의 unit수가 9,000개 이상 10,000개 미만일 경우
interval 초기값: [제일 과거값] ~ [제일 최신값]

e. a의 unit수가 10,000개 이상일 경우
interval 초기값: [제일 과거값] ~ [제일 최신값], 경고 노출

그런데 위와 같은 규칙을 잡았을때 계산으로 인하여 화면 퍼포먼서 저하가 일어나지 않을런지요?
왜냐면 바로 상단의 Segment granularity 단위를 변경할 수 있는데, 이 단위값에 따라 interval의 표현 단위가 달라지고, 이에 맞춰 interval의 초기값과 Segment units가 자동 산출되어야 하기 때문입니다.

모쪼록 검토를 부탁드립니다.

[kyungtaak]

@deidera08 피드백 감사합니다. ^^;; 생각해보니 1000개는 너무 많네요. year 기준이면...;;; 2000년의 범위가 되니 문제가 있어 보입니다. 100 단위로 줄여서 위와 같이 진행하면 어떨까하는데요. 계산식은 복잡하지 않아 괜찬을듯한데요. @brandon-wonjune 어떻게 생각하시는지요? 참고로 "[제일 과거값+100개 unit에 해당하는 시간]" + 가 아니라 - 가 맞겟지요? ^^;

[brandon-wonjune]

@kyungtaak 넵 알겠습니다.
그러면 아래와 같이 적용하도록 진행하겠습니다.

1. 10000건이 넘는경우 unit을 추가하지않고
2. 10000건이 넘지않는경우 unit을 추가
2-1. 10000건이 넘지않는경우 중 9800~9900 건 사이 인경우 과거값만 unit 100 빼기
2-2. 10000건이 넘지않는경우 중 9800건 미만 인경우 과거값과 미래값 앞뒤로 unit 100더하기

[brandon-wonjune]

@kyungtaak
위와 같이 작업을 완료하였는데요.
생성시에 interval에 대한 값은 어떤 파라메터로 던지고 상세화면에서는 어떤 파라메터가 내려오나요?

[kyungtaak]

@brandon-wonjune 모든 ingestion 타입에 intervals 값을 넣을수 있도록 수정해두었습니다.

{
    ...
    "ingestion": {
        "type": "local",
        "path": "/path/t.csv",
        "removeFirstRow": false,
        "format": {
            "type": "csv",
            "delimeter": " ",
            "lineSeparator": "\n"
        },
        "intervals": [
            "2000-01-01T00:00:00.000Z/2020-01-01T00:00:00.000Z"
        ]
    },
    "fields": [
        ...
    ],
    ...
}

[brandon-wonjune]

@kyungtaak

1. current_time일때는 default로 인터벌을 설정할 필요는 없나요?
2. stagingDB의 경우 기존에 datarange 값에 대해 intervals 파라메터를 사용하고 있었는데요
   이번 이 이슈에 나온 interval이 이 기능을 대체하는건가요? 아니면 덮어씌워야되나요?
   아래화면입니다
   

[kyungtaak]

@brandon-wonjune 답변드립니다. @deidera08 아래내용 확인해주시면 감사드리겠습니다.

1. 네 필요없습니다. (이건 서버단에서 처리하도록 하겠습니다.)
2. 스테이지 db 일 경우 "간격" 만 있으면 됩니다. "데이터 범위" 는 없어도 될것 같아요.
   사실 "간격" 이라는 곳에 "데이터 범위" 라는 라벨이 더 맞을 것 같네요.

[deidera08]

@kyungtaak @AnnieHwang @brandon-wonjune

2. 스테이지 db 일 경우 "간격" 만 있으면 됩니다. "데이터 범위" 는 없어도 될것 같아요.
사실 "간격" 이라는 곳에 "데이터 범위" 라는 라벨이 더 맞을 것 같네요.

가이드주셔서 감사합니다 :)

다음과 같이 기획서에 수정/반영 하도록 하겠습니다.

1. StagingDB 일 경우 데이터범위 삭제하도록 하겠습니다.
   : 결과적으로 상세정보의 Duration은 중복값이므로 이 값 또한 삭제하도록 하겠습니다.
   : 위 상황에 따라 상세정보의 Intervals는 상시노출 됩니다.

1. 모든 Intervals의 라벨을 Data range로 수정하도록 하겠습니다.

1. 가이드는 삭제하겠습니다.
   설명 내용이 이격이 있을뿐더러 데이터 범위로 충분히 인지할 수 있을듯 합니다.