Databend v0.8 发布，基于 Rust 开发的现代化云数据仓库 - OSCHINA - 中文开源技术交流社区

> 本文由 [简悦 SimpRead](http://ksria.com/simpread/) 转码， 原文地址 [www.oschina.net](https://www.oschina.net/news/207557/databend-0-8-released?utm_source=tuicool&utm_medium=referral)

Databend v0.8 发布了，Databend 是一个基于 Rust 开发的现代化云数据仓库，致力于实现高性能可弹性扩展的实时数据分析，激活用户的数据潜能。

![](https://oscimg.oschina.net/oscnet/up-37ed1bf9dafbb6edb5b612387438ecda9b0.png)

[发布公告称](https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fmp.weixin.qq.com%2Fs%2FEk3PRwnojB_uP_fUKzITNw)，Databend v0.8 的开发于 3 月 28 号开始，总计 5000+ commits，4600+ 文件变更。在过去的 5 个月中，社区的 120 余位贡献者新增了 42W 行代码，删除了 16W 行，相当于把 Databend 重写了一遍。在该版本中，社区对 SQL Planner 框架做出了重大改进，并将所有的 SQL 语句都迁移到了新的 Planner 上，提供了完整的 JOIN 和子查询支持。

下载地址：[https://github.com/datafuselabs/databend/releases/tag/v0.8.0-nightly](https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fgithub.com%2Fdatafuselabs%2Fdatabend%2Freleases%2Ftag%2Fv0.8.0-nightly)

**重大改进**

*   ### **New Planner: JOIN! JOIN! JOIN!**

为了更好的支持复杂的 SQL 查询和提升用户体验，Databend v0.8 设计了全新的 Planner 框架。

![](https://oscimg.oschina.net/oscnet/up-9c63e44ec36c79d35f27c13ae392d294bcb.png)

在 New Planner 的驱动下，Databend 增加了 JOIN 和高效的子查询支持，所有的子查询在进入 runtime 之前已经完全被 decorrelation：

![](https://oscimg.oschina.net/oscnet/up-2015e46a755bde8b2be0bc488449322e32c.png)

```
select vip_info.Client_ID, vip_info.Region 
    from vip_info right 
    join purchase_records 
    on vip_info.Client_ID = purchase_records.Client_ID;
```

*   ### **New Parser: 最好用的 Parser！**

在重构 Planner 的同时，Databend 社区基于 nom（https://github.com/Geal/nom）和 partt 实现了兼顾开发效率与用户体验的全新 Parser。

新的 Parser 让开发者以直观的方式轻松的设计 / 开发 / 测试复杂的 SQL 语法

![](https://oscimg.oschina.net/oscnet/up-c1378936e7f5be070d443e9358416ae233d.png)

```
COPY
    ~ INTO ~ #copy_unit
    ~ FROM ~ #copy_unit
    ~ ( FILES ~ "=" ~ "(" ~ #comma_separated_list0(literal_string) ~ ")")?
    ~ ( PATTERN ~ "=" ~ #literal_string)?
    ~ ( FILE_FORMAT ~ "=" ~ #options)?
    ~ ( VALIDATION_MODE ~ "=" ~ #literal_string)?
    ~ ( SIZE_LIMIT ~ "=" ~ #literal_u64)?
```

同时能给予用户具体而精准的报错信息：

![](https://oscimg.oschina.net/oscnet/up-53c02686eb436492b728170629b144dbb02.png)

```
MySQL [(none)]> select number from numbers(10) as t inner join numbers(30) as t1 using(number);
ERROR 1105 (HY000): Code: 1065, displayText = error:
  --> SQL:1:8
  |
1 | select number from numbers(10) as t inner join numbers(30) as t1 using(number)
  |        ^^^^^^ column reference is ambiguous
```

再也不用担心不知道 SQL 哪里出错了。

访问 The New Databend SQL Planner：[https://databend.rs/blog/new-planner](https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fdatabend.rs%2Fblog%2Fnew-planner) 以了解更多细节

**全新特性**

除了全新设计的 Planner 之外，Databend 社区还实现了众多新功能：

### **COPY 增强：**

COPY 能力得到了极大强化，现在的 Databend 可以

*   从任意支持的存储服务复制数据 (甚至是 https！)

![](https://oscimg.oschina.net/oscnet/up-745ed89937ddb2a0ada4f9eb10ac808d61e.png)

```
COPY 
    INTO ontime200 
    FROM 'https://repo.databend.rs/dataset/stateful/ontime_2006_[200-300].csv' 
    FILE_FORMAT = (TYPE = 'CSV')
```

*   支持复制压缩文件

![](https://oscimg.oschina.net/oscnet/up-24c76d1885d7e8024a6d7c0ba077faf9aef.png)

```
COPY 
    INTO ontime200 
    FROM 's3://bucket/dataset/stateful/ontime.csv.gz' 
    FILE_FORMAT = (TYPE = 'CSV' COMPRESSION=AUTO)
```

*   UNLOAD 数据到任意支持的存储服务

![](https://oscimg.oschina.net/oscnet/up-5bdfb0677227580010507521e177181d1be.png)

```
COPY 
    INTO 'azblob://bucket/' 
    FROM ontime200
    FILE_FORMAT = (TYPE = 'PARQUET‘)
```

### **Hive 支持：**

Databend v0.8 设计并开发了 Multi Catalog 并在此基础上实现了 Hive Metastore 的支持！

现在 Databend 能够直接对接 Hive 并从 HDFS 上读取数据。

![](https://oscimg.oschina.net/oscnet/up-71ee6b5d5b7f3eb7f1e8006690747cadf28.png)

```
select * from hive.default.customer_p2 order by c_nation;
```

### **时间旅行：**

很久之前，Databend 社区分享过底层 FUSE Engine 的实现 From Git to Fuse Engine（https://databend.rs/blog/databend-engine）。其中一个非常重要的特性就是支持时间旅行，我们能够查询任何一个时间点的数据表。

从 v0.8 版本开始，这个功能被正式实装啦，现在我们可以

*   查询指定时间的数据表

![](https://oscimg.oschina.net/oscnet/up-e9b531f513ce60d95b4b0c9ae8f3f34315d.png)

```
-- Travel to the time when the last row was inserted
select * from demo at (TIMESTAMP => '2022-06-22 08:58:54.509008'::TIMESTAMP); 
+----------+
| c        |
+----------+
| batch1.1 |
| batch1.2 |
| batch2.1 |
+----------+
```

*   恢复误删除的数据表

![](https://oscimg.oschina.net/oscnet/up-fbb1d8b6d080a0c855a60376a7ddd46ac64.png)

```
DROP TABLE test;

SELECT * FROM test;
ERROR 1105 (HY000): Code: 1025, displayText = Unknown table 'test'.

-- un-drop table
UNDROP TABLE test;

-- check
SELECT * FROM test;
+------+------+
| a    | b    |
+------+------+
|    1 | a    |
+------+------+
```

让业务数据拥有更多保障！

### **CTE 支持：**

CTE (Common Table Expression) 是 OLAP 业务中经常使用的功能，用来单个语句的执行范围内定义的临时结果集，只在查询期间有效，实现代码段的重复使用，提升可读性，更好的实现复杂的查询。

Databend v0.8 在 New Planner 的基础上重新实现了 CTE，现在用户可以快乐的使用 WITH 来声明 CTE：

![](https://oscimg.oschina.net/oscnet/up-456aeb2d9718653e933e05691f63c56902a.png)

```
WITH customers_in_quebec 
     AS (SELECT customername, 
                city 
         FROM   customers 
         WHERE  province = 'Québec') 
SELECT customername 
FROM   customers_in_quebec
WHERE  city = 'Montréal' 
ORDER  BY customername;
```

除了上述提到的这些功能，Databend v0.8 还支持了 UDFs，增加了 DELETE 语句，进一步强化了半结构化数据类型的支持，更不必说大量的 SQL 语句改进和新方法的加入。

**质量提升**

功能实现只不过是产品交付的第一环。在 Databend v0.8，社区引入了工程质量的概念，从用户，贡献者，社区三个维度来评估 Databend 的开发质量。

### **让用户放心：**

为了让用户能够放心地使用 Databend，社区在过去的三个月中增加了大量测试，撷取了来自 YDB 等充实 stateless 测试集，增加了 ontime，hits 等数据集的 stateful 测试，上线了 SQL Logic Test 对所有的接口进行覆盖测试，启用了 SQL Fuzz 测试来覆盖边界情况。

不仅如此，社区还上线了 Databend Perf（[https://perf.databend.rs/](https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fperf.databend.rs%2F)）做 Databend 在生产环境的持续性能测试，用来及时发现意外的性能回退问题。

### **让贡献者舒心：**

Databend 是一个大型的 Rust 项目，其构建时间饱受社区诟病。

为了改进这一问题，让贡献者舒心，社区上线了高配置，专门调优的 Self-hosted Runner 来执行 PR 的集成测试，启用了 Mergify，mold，dev-tools 等多项服务或工具来优化 CI 流程。

同时还发起了 Databend 项目结构调整的新规划，将原本巨大的 query crate 拆分为多个子 crate，尽可能避免改一行代码，check 执行五分钟的情形。

### **让社区开心：**

Databend 是开源社区的贡献者和参与者。在 v0.8 的开发过程中，Databend 社区确立了 Upstream First 的原则，积极跟进并采用最新的上游版本，反馈已知 BUG，贡献自己的 Patch，开启了 Tracking issues of upstream first violation（[https://github.com/datafuselabs/databend/issues/6926](https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fgithub.com%2Fdatafuselabs%2Fdatabend%2Fissues%2F6926)）来跟进最新的动态。

Databend 社区积极探索与其他开源项目的集成，目前已经实现了 Vector，sqlalchemy，clickhouse-driver 等第三方驱动的集成和支持。

**下一步计划**

Databend v0.8 是一个夯实基础的版本，我们有了全新的 Planner，能够更加轻松的去实现功能和进行优化。在 0.9 版本中，我们期望改进如下方面：

*   Query Result Cache
*   JSON Optimization
*   Table Share
*   Processor Profiling
*   Resource Quota
*   Data Caching

欢迎查阅 Release proposal: Nightly v0.9（[https://github.com/datafuselabs/databend/issues/7052](https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fgithub.com%2Fdatafuselabs%2Fdatabend%2Fissues%2F7052)）以了解最新动态～

**现在就出发**

访问发布日志和下载最新版本以了解更多，遇到问题欢迎使用 Github Issues（[https://github.com/datafuselabs/databend/issues](https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fgithub.com%2Fdatafuselabs%2Fdatabend%2Fissues)）提交反馈！

**关于 Databend**

Databend 是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式数仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。

*   Databend 文档：[https://databend.rs/](https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fdatabend.rs%2F)
*   Twitter：[https://twitter.com/Datafuse_Labs](https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Ftwitter.com%2FDatafuse_Labs)
*   Slack：[https://datafusecloud.slack.com/](https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fdatafusecloud.slack.com%2F)
*   Wechat：Databend
*   GitHub ：[https://github.com/datafuselabs/databend](https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fgithub.com%2Fdatafuselabs%2Fdatabend)