Clickhouse: [Feature Request] Pivoting Table Engine

[iShift]

Clickhouse is best for collecting metrics, but metrics usualy come as short table example:
(example - you get metric from some device, than push it to clickhouse)

But columnar DB should save them as long table (for perfomance) for now - if you want to convert short table for long one - you need collector server + script, that transform metrics, when you have distributed arcitecture it is big problem, because some of metrics (from same device) can be handle on one server and another - on second server. Also that add time lag for adding metric (collector should wait all metric for device and after that - insert it).

I have an idea how to solve that problem.

Clickhouse should have Pivoting table (like pivot function in MSSQL/Oracle) but it should be not function - it should be table type. When we create that table type - we set some settings for that engine:

1. static colums (that dont pivoting)
2. Dynamic colums (that pivoting)
3. Backend engine (MergeTree/ReplicatedMergeTree/etc)

So, if we insert sample table (from my example) clickhouse:

1. Scan incoming rows
2. Find that last 2 colums are dynamic and get that metric name are generator column and metric result are result column
3. Clickhouse scan table that we have, and look for columns with name in metric name
4. If we have it - add rows to table
5. If not - ALTER table and add new columns then - insert rows

As a result we get that table automaticaly:

And if clickhouse get new metric (new name in DYNAMIC column) - it ALTER table adding new column, than add new metric.

That function can gain huge performance for metrics usage case (when you have distributed collection network) and when you dont know what metrics you should collect tomorrow =)

_Russian translation of that:
Очень бы хотелось иметь движок таблиц который позволит на вход принимать два параметра - статический набор колонок (обычные колонки) и две динамические.

Первая динамическая колонка будет являться генератором колонок, а вторая колонка - значение для первой (наглядно можно посмотреть на таблицах выше).

Другими словами - когда к вам поступает метрики в формате узкой таблицы и чтобы не создавать структуру таблиц под определенный набор метрик - можно будет посылать метрики в универсальном узком формате, а clickhouse уже сам будет создавать нужные колонки (ALTER TABLE) и писать в них нужные данные.

Это очень полезно в том кейсе когда идет распределенная обработка файлов которые в дальнейшем заливаются в clickhouse. Или когда сегодня не известно что завтра собирать надо сильно больше данных. Тк если хранить в узкой таблице - это не оптимально с точки зрения архитектуры CH, если же делать широкую таблицу - то при добавлении метрики надо будет переписывать скрипт который посылает данные в CH + руками делать ALTER.

И да, тут нужно использовать или replacing движок или update тк строки могут приходить не равномерно =)_

[andrusha]

If you make your Dynamic.X a nested table, then you could do arrayElement(indexOf( to put specific key as a column manually.

[lamber-ken]

hi, @alexey-milovidov @ztlpn, I also think dynamic column is useful for metric system.
Is there a plan to add the feature ?