[Перевод] Iceberg без Spark для каждой мелочи: UPDATE, DELETE и MERGE INTO из одного SQL-движка в Apache Doris 4.1

• UPDATE на Iceberg без Spark job. Doris 4.1 делает UPDATE, DELETE, MERGE INTO на Iceberg-таблицах из того же SQL-клиента, где вы уже нашли проблему. Цикл «query → fix → verify» сжимается с 14 часов до минут.
  
• Deletion Vectors вместо Position Delete files. В Iceberg V3 DML больше не копит отдельные parquet delete files при каждом commit. Один Puffin bitmap вместо 320 файлов. Query latency перестаёт деградировать с ростом delete ratio (бенчмарк: 2–3x ускорение).
  
• Row Lineage как CDC watermark. _last_updated_sequence_number двигается только при реальном DML, а не при compaction. Downstream больше не переобрабатывает строки после rewrite_data_files. Один integer watermark вместо snapshot diff.
  
• Doris не заменяет Spark. Heavy ETL, backfills и streaming ingestion остаются за Spark/Flink. Doris забирает adjacent workflow: small DML, incremental reconciliation, maintenance и диагностику.

UPDATE orders_iceberg
SET status = 'paid'
WHERE order_id IN (SELECT order_id FROM bad_batch_ids);

• Пишет Spark job.
  
• Подстраивает scheduler.
  
• Открывает PR.
  
• Ждёт review.
  
• Чаще всего — передаёт задачу платформенной команде, потому что у него нет прямого доступа к write-кластеру.
  
• Утром возвращается в Doris и проверяет, что всё отработало.

• читаем в одном движке;
  
• пишем в другом;
  
• compaction и maintenance делаем через третий;
  
• CDC и streaming ingestion живут отдельно.

• вы уже пришли в SQL-клиент с запросом;
  
• увидели проблему или расхождение;
  
• хотите сделать небольшое исправление;
  
• хотите запустить incremental reconciliation;
  
• хотите выполнить maintenance или диагностику;
  
• не хотите ради этого прыгать в другой кластер.

• DML completeness: UPDATE, DELETE, MERGE INTO прямо из SQL-клиента.
  
• Iceberg V3 mechanics: Deletion Vectors и Row Lineage, без которых DML быстро начинает копить технический долг.

UPDATE iceberg_tbl
SET name = 'Alice-fixed'
WHERE id = 1;

DELETE FROM iceberg_tbl
WHERE dt = '2026-04-01'
  AND source = 'bad_pipeline';

MERGE INTO iceberg_tbl t
USING (
    SELECT 1 AS id, 'Alice_new' AS name, 26 AS age, 'U' AS flag
    UNION ALL SELECT 2, 'Bob',  30, 'D'
    UNION ALL SELECT 4, 'Dora', 28, 'I'
) s
ON t.id = s.id
WHEN MATCHED AND s.flag = 'D' THEN DELETE
WHEN MATCHED THEN UPDATE SET name = s.name, age = s.age
WHEN NOT MATCHED THEN INSERT (id, name, age) VALUES (s.id, s.name, s.age);

• изменения из PostgreSQL или MySQL прилетают через Flink CDC или похожий инструмент;
  
• downstream Iceberg-таблица должна принять inserts, updates и deletes вместе;
  
• incremental materialized views должны обновлять wide tables по change key.

• каждый DML commit добавляет новые delete files;
  
• каждый последующий query вынужден открывать и объединять все релевантные delete files;
  
• периодически нужен rewrite_data_files, чтобы вернуть таблицу в нормальное состояние;
  
• а значит, снова maintenance job, scheduler и платформа — тот самый Jira-ticket из начала статьи.

• Deletion Vectors — чтобы DML не раздувал delete files.
  
• Row Lineage — чтобы row-level changes были наблюдаемыми.

• V2: каждый DML commit создаёт отдельный Position Delete parquet.
  
• V3: все пометки на удаление для одного data file схлопываются в один Puffin Deletion Vector.
  
• V2 reader: читает data file, потом anti-join со всеми связанными delete files.
  
• V3 reader: читает data file + DV и применяет bitmap за один проход. Anti-join исчезает.

CREATE TABLE orders_v2 (
    id INT,
    status STRING,
    amount DECIMAL(10,2)
) PROPERTIES ('format-version' = '2');
INSERT INTO orders_v2 VALUES
    (1, 'pending', 100),
    (2, 'pending', 200),
    (3, 'pending', 300);
UPDATE orders_v2 SET status = 'shipped' WHERE id = 1;
UPDATE orders_v2 SET status = 'shipped' WHERE id = 2;
DELETE FROM orders_v2 WHERE id = 3;

CREATE TABLE orders_v3 (
    id INT,
    status STRING,
    amount DECIMAL(10,2)
) PROPERTIES ('format-version' = '3');
INSERT INTO orders_v3 VALUES
    (1, 'pending', 100),
    (2, 'pending', 200),
    (3, 'pending', 300);
UPDATE orders_v3 SET status = 'shipped' WHERE id = 1;
UPDATE orders_v3 SET status = 'shipped' WHERE id = 2;
DELETE FROM orders_v3 WHERE id = 3;

SELECT content, file_path, record_count
FROM orders_v3$files;

• Read: Puffin-format Deletion Vectors читаются без дополнительной настройки. V3-таблицы queryable сразу.
  
• Write: DELETE, UPDATE, MERGE INTO на V3-таблице автоматически создают Puffin DV вместо Position Delete files. Пользователю достаточно указать format-version = 3 при создании таблицы — SQL-синтаксис не меняется.

• DELETE, UPDATE, MERGE INTO требуют format-version >= 2.
  
• Deletion Vectors появляются только при format-version = 3.
  
• Concurrent writes используют Iceberg optimistic concurrency control, так что конфликты будут всплывать как transaction exceptions. Для high-conflict workloads нужны retry или сериализация.

• downstream-система подписана на изменения Iceberg-таблицы;
  
• она сравнивает snapshots;
  
• между checkpoint’ами прошёл rewrite_data_files;
  
• физические файлы новые, snapshot новый;
  
• downstream не знает, изменились строки логически или просто переехали между файлами.

CREATE TABLE users_v3 (
    id INT,
    name STRING,
    email STRING
) PROPERTIES ('format-version' = '3');
SET show_hidden_columns = true;
INSERT INTO users_v3 VALUES
    (1, 'Alice', 'alice@x.com'),
    (2, 'Bob',   'bob@x.com'),
    (3, 'Carol', 'carol@x.com');
SELECT id, name, email, _row_id, _last_updated_sequence_number
FROM users_v3;

UPDATE users_v3
SET email = 'bob@newmail.com'
WHERE id = 2;

INSERT INTO users_v3
VALUES (4, 'Dora', 'dora@x.com');

SELECT id, name, email, _last_updated_sequence_number
FROM users_v3
WHERE _last_updated_sequence_number > 1;

SET show_hidden_columns = true;

• _row_id даёт стабильный ключ строки;
  
• snapshots/time travel дают возможность смотреть прошлые состояния;
  
• _last_updated_sequence_number показывает логическую хронологию изменений;
  
• compaction не ломает эту идентичность.

SELECT order_id, amount
FROM orders_v3 FOR VERSION AS OF 
WHERE _row_id = 1;

• Apache Doris 4.1.0 или новее (скачать или docker pull apache/doris:4.1.0).
  
• Iceberg catalog с поддержкой V3.
  
• Object store, доступный Doris BE: S3, MinIO, OSS или HDFS.

• REST Catalog — наиболее надёжный путь для V3. Например, Apache Polaris, Lakekeeper или Tabular open-source REST catalog image.
  
• Hive Metastore-backed catalogs подходят для V1/V2 reads, но отстают по V3.
  
• AWS Glue и Aliyun DLF на момент оригинальной статьи указаны как read-only.

CREATE CATALOG iceberg_v3 PROPERTIES (
    'type'                 = 'iceberg',
    'iceberg.catalog.type' = 'rest',
    'uri'                  = 'http://your-rest-catalog:8181',
    'warehouse'            = 's3://your-bucket/warehouse',
    's3.endpoint'          = 'https://s3.us-west-2.amazonaws.com',
    's3.access_key'        = '',
    's3.secret_key'        = '',
    's3.region'            = 'us-west-2'
);
SWITCH iceberg_v3;
CREATE DATABASE IF NOT EXISTS demo;
USE demo;

CREATE TABLE orders (
    id INT,
    status STRING,
    amount DECIMAL(10,2)
) PROPERTIES ('format-version' = '3');
INSERT INTO orders VALUES
    (1, 'pending', 100),
    (2, 'pending', 200),
    (3, 'pending', 300);
UPDATE orders SET status = 'shipped' WHERE id = 1;
DELETE FROM orders WHERE id = 3;

SELECT content, file_path, record_count
FROM orders$files;

SET show_hidden_columns = true;
SELECT id, status, _row_id, _last_updated_sequence_number
FROM orders;

MERGE INTO orders t
USING (SELECT 1 AS id, 'delivered' AS status, 110 AS amount) s
ON t.id = s.id
WHEN MATCHED THEN UPDATE SET status = s.status, amount = s.amount
WHEN NOT MATCHED THEN INSERT (id, status, amount)
VALUES (s.id, s.status, s.amount);

• format-version = 3 нужно задать при создании таблицы или мигрировать существующую V2-таблицу через ALTER TABLE ... SET PROPERTIES ('format-version' = '3').
  
• Hidden columns (_row_id, _last_updated_sequence_number) работают только на V3. На V1/V2 таблицах запрос к ним даст ошибку.
  
• Если MERGE INTO не парсится, проверьте Doris 4.1.0+ и target table V2/V3.
  
• DML требует format-version >= 2; Deletion Vectors появляются только на V3.
  
• Concurrent writers могут ловить optimistic concurrency conflicts. Для high-conflict workloads нужны retry, backoff или сериализация.
  
• REST Catalog behavior зависит от конкретной реализации. Для production лучше свериться с support matrix в Doris docs.
  
• AWS Glue и Aliyun DLF в оригинале указаны как read-only на момент статьи.

• UPDATE, DELETE, MERGE INTO закрывают loop «query → fix → verify» внутри одного SQL-клиента.
  
• Deletion Vectors в Iceberg V3 не дают DML накапливать performance debt через растущий набор Position Delete files.
  
• Row Lineage даёт _row_id и _last_updated_sequence_number, чтобы CDC и audit не ломались от compaction и physical rewrite.
  
• Maintenance и диагностика становятся ближе к человеку, который уже смотрит на данные.

• Spark остаётся для тяжёлых batch/backfill/ETL задач.
  
• Flink остаётся для streaming ingestion.
  
• MERGE INTO и Row Lineage в оригинале помечены как experimental.
  
• Production adoption требует POC на своём catalog, storage, concurrency pattern и workload.

• Оригинальная статья Mingyu Chen (Rayner) — CC BY 4.0
  
• Apache Iceberg V3 specification
  
• Puffin file format specification
  
• Apache Doris Iceberg catalog docs
  
• Apache Doris download
  
• Apache Doris on GitHub
  
• Datanomix.pro Партнер Apache Doris / VeloDB в Казахстане и Узбекистане