🦆

OPERATION DOSSIERS DISPARUS

DuckDB SQL CTF

https://github.com/Jeremynadal33/duckdb-sql-ctf

Un navigateur web
Installer DuckDB : curl https://install.duckdb.org | sh
Envie d'enqueter

Jeremy Nadal

Jeremy Nadal Data Engineer

QR Code Jeremy

Pablo Farey

Pablo Farey Data Engineer

QR Code Pablo

~ ~ ~ ~ ~
~ ~ ~ ~ ~
~ ~ ~ ~ ~

How we are

Two funny people who love tech

Qu'est-ce que DuckDB ?

Moteur de calcul OLAP in-process
Le "SQLite de l'analytique"

SQL-first : syntaxe riche et moderne
Open source, licence MIT

Pourquoi DuckDB ?

Performance exceptionnelle sur les requetes analytiques
Simplicite : un seul fichier, zero config (avant DuckLake au début en tout cas)
Multi-format reading : Parquet, CSV, JSON, Postgres, Delta, Iceberg, GSheets, ...
Fonctionne partout : Python, R, Node, CLI, WASM
Ideal pour l'exploration et le prototypage, mais pas que !

Comment ca marche ?

Stockage colonnaire optimise
Moteur d'execution vectorise
Zero dependance externe
Des stacks d'erreurs claires
Execution parallele automatique
Optimiseur de requetes avance

MotherDuck

DuckDB heberge dans le cloud
Serverless : pas d'infrastructure a gerer
Execution hybride : local + cloud
Partage de donnees simplifie
Interface web et integrations

DuckDB dans le navigateur

Grace a WebAssembly, DuckDB tourne directement dans votre navigateur.

Aucune installation requise
Les donnees restent cote client
Ce CTF l'utilise !

Documentation WASM

Communaute & Extensions

Ecosysteme d'extensions riche et grandissant
httpfs — lecture directe depuis S3 / HTTP
spatial — donnees geospatiales
iceberg — tables Apache Iceberg
postgres — interroger Postgres directement
Communaute active : extensions communautaires

⚠️

Nous ne sommes ni experts DuckDB, ni experts Iceberg.

Nous sommes des enthousiastes partageant nos decouvertes.

Big Data is Dead

La majorite des entreprises traitent moins de donnees qu'on ne le pense.

Bar chart — volume de donnees traite par les entreprises

La plupart des workloads tiennent sur une seule machine.

REX : Orange + dbt-duckdb

Data ingestion dans un cloud souverain

Utilisation de dbt-duckdb pour l'ingestion de donnees
Deploiement sur Kubernetes
Contexte cloud souverain (contraintes specifiques)

Processing Trillions of Records at Okta with Mini Serverless Databases

Ingestion de VPC Flow Logs dans Snowflake

800 000 € / an

en couts d'ingestion

Okta REX : Voir la presentation

Processing 1 TB with DuckDB in less than 30 seconds

On peut traiter > 1 To avec DuckDB

"I processed 1 TB with DuckDB in 30 minutes"

1 To query with DuckDB

Moins mais mieux : vers un Data Engineering plus simple et efficace

Polars vs DuckDB vs PySpark

Benchmark 5 Go

Benchmark 75 Go

Benchmark 325 Go

Voir la présentation complète