Clickhouse: Checksum of extra info doesn't match

Created on 15 Oct 2020  ·  5Comments  ·  Source: ClickHouse/ClickHouse

My binar files came with curves inside the data (my fault). ClickHouse could not insert it into the table and stopped processing other data. I just opened the binary file for editing and fixed the wrong field. After that, ClickHouse took the file and gave an error about an invalid check sum.

default.affiliate_program.DirectoryMonitor: Code: 40, e.displayText() = DB::Exception: Checksum of extra info doesn't match: corrupted data. Reference: cb322c17e14d6816abfcdc16842e7bdd. Actual: f4afe41e77b9a92bfa4048648a3aebbb.,

after, ClickHouse transferred the file to the broken folder and went on. Is it possible to change checksum maybe or anything else for processed my files which I rewrited?

question question-answered

Most helpful comment

Проблема случилась во время так называемой миграции, ошиблись в названии

Ну удалите этот испорченный файл. И перевставьте. -- Это официальный протокол починки в этом случае.

ах да, точно, у distributed нет отдельного файла чексумм, она в самом bin файле

All 5 comments

Всем привет, есть Вопрос: пришол бинарь с кривыми внутри даннми(мой косяк). КХ его не смог вставить в таблицу и перестал обрабатывать другие данные. Я просто открыл бинарник на редактирование и исправил неверное поле. После этого КХ взял файл и выдал ошибку о неверное чексумме.
Checksum of extra info doesn't match: corrupted data
после чего переложил файл в брокен папку и пошёл дальше.
Можно ли как то побороть/обмануть КХ и заставить загрузить мой исправленный файл?

что будет если удалить файл с чексуммами?

Но вообще такое не поддерживается и пересчета чексумм не предусмотрено. Почему инсерт прошел в Distributed таблицу и не прошел в MergeTree ? У них разная структура?

@den-crane Проблема случилась во время так называемой миграции, ошиблись в названии. Поэтому так получилось.

что будет если удалить файл с чексуммами? я никогда с этим не сталкивался, можно ссылку или как это сделать и это больше ни на что не повлияет?

Проблема случилась во время так называемой миграции, ошиблись в названии

Ну удалите этот испорченный файл. И перевставьте. -- Это официальный протокол починки в этом случае.

ах да, точно, у distributed нет отдельного файла чексумм, она в самом bin файле

BTW, insert into sometable select * from file('/path/to/file.bin', 'Distributed')
https://github.com/ClickHouse/ClickHouse/pull/9653

Was this page helpful?
0 / 5 - 0 ratings