My binar files came with curves inside the data (my fault). ClickHouse could not insert it into the table and stopped processing other data. I just opened the binary file for editing and fixed the wrong field. After that, ClickHouse took the file and gave an error about an invalid check sum.
default.affiliate_program.DirectoryMonitor: Code: 40, e.displayText() = DB::Exception: Checksum of extra info doesn't match: corrupted data. Reference: cb322c17e14d6816abfcdc16842e7bdd. Actual: f4afe41e77b9a92bfa4048648a3aebbb.,
after, ClickHouse transferred the file to the broken folder and went on. Is it possible to change checksum maybe or anything else for processed my files which I rewrited?
Всем привет, есть Вопрос: пришол бинарь с кривыми внутри даннми(мой косяк). КХ его не смог вставить в таблицу и перестал обрабатывать другие данные. Я просто открыл бинарник на редактирование и исправил неверное поле. После этого КХ взял файл и выдал ошибку о неверное чексумме.
Checksum of extra info doesn't match: corrupted data
после чего переложил файл в брокен папку и пошёл дальше.
Можно ли как то побороть/обмануть КХ и заставить загрузить мой исправленный файл?
что будет если удалить файл с чексуммами?
Но вообще такое не поддерживается и пересчета чексумм не предусмотрено. Почему инсерт прошел в Distributed таблицу и не прошел в MergeTree ? У них разная структура?
@den-crane Проблема случилась во время так называемой миграции, ошиблись в названии. Поэтому так получилось.
что будет если удалить файл с чексуммами? я никогда с этим не сталкивался, можно ссылку или как это сделать и это больше ни на что не повлияет?
Проблема случилась во время так называемой миграции, ошиблись в названии
Ну удалите этот испорченный файл. И перевставьте. -- Это официальный протокол починки в этом случае.
ах да, точно, у distributed нет отдельного файла чексумм, она в самом bin файле
BTW, insert into sometable select * from file('/path/to/file.bin', 'Distributed')
https://github.com/ClickHouse/ClickHouse/pull/9653
Most helpful comment
Ну удалите этот испорченный файл. И перевставьте. -- Это официальный протокол починки в этом случае.
ах да, точно, у distributed нет отдельного файла чексумм, она в самом bin файле