[知识总结] 基于Calcite的SQL血缘解析思路
作者:CC下载站 日期:2022-01-23 09:16:00 浏览:71 分类:编程开发
上一篇介绍完了基于Antlr的sql血缘解析,这一篇我来说一说基于Calcite的
简介
Apache Calcite 是一款开源SQL解析工具, 可以将各种SQL语句解析成抽象语法语法树AST(Abstract Syntax Tree), 之后通过操作AST就可以把SQL中所要表达的算法与关系体现在具体代码之中。
以下两个github有不少calcite的test,可以参考,但是由于calcite版本比较老,所以一些代码已经废弃:
基本使用
我们直入正题:
解析
我们先将sql语句解析为语法树,根节点为SqlNode(你可以类比为antlr的RuleText)
SqlNode.getKind()可以获得当前节点是哪种节点,例如SELECT、INSERT、JOIN、AS等等
如果你会看antlr的解析树,其实你debug SqlNode的结构时其实差不多,都是一级一级往下找
先上代码:
依赖
<dependency>
<groupId>org.apache.calcite</groupId>
<artifactId>calcite-core</artifactId>
<version>1.29.0</version>
</dependency>
SqlNode
网上很多的写法例如ConfigBuilder这种已经废弃了,尽量参考calcite源码中SqlParseTest中的方法:
@Test
public void testnormal() throws Exception{
String sql = "select a from t1";
SqlParser sqlParser = getSqlParser(sql, null);
SqlNode sqlNode = sqlParser.parseStmt();
System.out.println(sqlNode.toString());
}
public SqlParser getSqlParser(String sql, SqlDialect sqlDialect) {
return getSqlParser(new SourceStringReader(sql), getTransform(sqlDialect));
}
protected SqlParser getSqlParser(Reader source,
UnaryOperator<SqlParser.Config> transform) {
final SqlParser.Config configBuilder =
SqlParser.config()
.withParserFactory(parserImplFactory());
final SqlParser.Config config = transform.apply(configBuilder);
return SqlParser.create(source, config);
}
private static UnaryOperator<SqlParser.Config> getTransform(SqlDialect dialect) {
return dialect == null ? UnaryOperator.identity() : dialect::configureParser;
}
protected SqlParserImplFactory parserImplFactory() {
return SqlParserImpl.FACTORY;
}
递归遍历SqlNode
这里只举个例子:
public static List<String> getDependencies(SqlNode sqlNode, List<String> result) throws SqlParseException {
if (sqlNode.getKind() == JOIN) {
SqlJoin sqlKind = (SqlJoin) sqlNode;
System.out.println("-----join");
getDependencies(sqlKind.getLeft(), result);
getDependencies(sqlKind.getRight(), result);
}
if (sqlNode.getKind() == IDENTIFIER) {
System.out.println("-----identifier");
result.add(sqlNode.toString());
}
if (sqlNode.getKind() == INSERT) {
SqlInsert sqlKind = (SqlInsert) sqlNode;
System.out.println("-----insert");
getDependencies(sqlKind.getSource(), result);
}
if (sqlNode.getKind() == SELECT) {
SqlSelect sqlKind = (SqlSelect) sqlNode;
System.out.println("-----select");
getDependencies(sqlKind.getFrom(), result);
}
if (sqlNode.getKind() == AS) {
SqlBasicCall sqlKind = (SqlBasicCall) sqlNode;
System.out.println("----as");
getDependencies(sqlKind.getOperandList().get(0), result);
}
if (sqlNode.getKind() == UNION) {
SqlBasicCall sqlKind = (SqlBasicCall) sqlNode;
System.out.println("----union");
getDependencies(sqlKind.getOperandList().get(0), result);
getDependencies(sqlKind.getOperandList().get(1), result);
}
if (sqlNode.getKind() == ORDER_BY) {
SqlOrderBy sqlKind = (SqlOrderBy) sqlNode;
System.out.println("----order_by");
getDependencies(sqlKind.getOperandList().get(0), result);
}
return result;
}
第一次传入的sqlNode就是很节点,这里的result集合是记录源表表名的,这里建议大家去打个断点debug一下sqlNode,往里面扒一扒,你就能搞明白calcite构建sqlNode的一个逻辑了
所以这里要强调的是,Calcite对SqlNode的构建是一个递归的构建,我们对sqlNode语法树的解析是一个从外到内、从左向右的一个先序深度遍历,这点和antlr不同,要额外注意。(这一块也确实比较费脑子)
校验
以上只是对一条sql一个基本解析,并没有校验,对于select *
这种我们无法得知 里的内容,所以校验阶段就是根据已经有的元数据去校验该sql语句是否合法(表、字段名存不存在),最重要的一点是它会把 替换为该表的所有字段名,之后我们再重复上述解析即可:
public class TestOne {
public static class TestSchema {
public final Triple[] rdf = {new Triple("s", "p", "o")};
}
public static void main(String[] args) {
SchemaPlus schemaPlus = Frameworks.createRootSchema(true);
//给schema T中添加表
schemaPlus.add("T", new ReflectiveSchema(new TestSchema()));
Frameworks.ConfigBuilder configBuilder = Frameworks.newConfigBuilder();
//设置默认schema
configBuilder.defaultSchema(schemaPlus);
FrameworkConfig frameworkConfig = configBuilder.build();
SqlParser.ConfigBuilder paresrConfig = SqlParser.configBuilder(frameworkConfig.getParserConfig());
//SQL 大小写不敏感
paresrConfig.setCaseSensitive(false).setConfig(paresrConfig.build());
Planner planner = Frameworks.getPlanner(frameworkConfig);
SqlNode sqlNode;
RelRoot relRoot = null;
try {
//parser阶段
sqlNode = planner.parse("select \"a\".\"s\", count(\"a\".\"s\") from \"T\".\"rdf\" \"a\" group by \"a\".\"s\"");
//validate阶段
planner.validate(sqlNode);
//获取RelNode树的根
relRoot = planner.rel(sqlNode);
} catch (Exception e) {
e.printStackTrace();
}
RelNode relNode = relRoot.project();
System.out.print(RelOptUtil.toString(relNode));
}
}
public class Triple {
public String s;
public String p;
public String o;
public Triple(String s, String p, String o) {
super();
this.s = s;
this.p = p;
this.o = o;
}
}
Meta接口
除了我们自己手动递归sqlNode以外,我们也可以通过Meta接口下的相关API来获取sql的血缘:
(待补充)
自定义sql解析
这个主要是针对原有parse.jj中可能并没有处理我们特殊sql语句的关键字,我们需要对其扩展补充,来实现自定义sql解析,具体可以看我们最上面放的连接,calcite-test里有现成的自定义解析sql代码,但是要注意最新的calcite-core有不少改动,不能完全按照它里面的思路写
猜你还喜欢
- 03-29 [编程相关] Winform窗体圆角以及描边完美解决方案
- 03-29 [前端问题] has been blocked by CORS policy跨域问题解决
- 03-29 [编程相关] GitHub Actions 入门教程
- 03-29 [编程探讨] CSS Grid 网格布局教程
- 10-12 [编程相关] python实现文件夹所有文件编码从GBK转为UTF8
- 10-11 [编程算法] opencv之霍夫变换:圆
- 10-11 [编程算法] OpenCV Camshift算法+目标跟踪源码
- 10-11 [Python] python 创建 Telnet 客户端
- 10-11 [编程相关] Python 基于 Yolov8 + CPU 实现物体检测
- 03-15 [脚本工具] 使用go语言开发自动化脚本 - 一键定场、抢购、预约、捡漏
- 01-08 [编程技术] 秒杀面试官系列 - Redis zset底层是怎么实现的
- 01-05 [编程技术] 《Redis设计与实现》pdf
取消回复欢迎 你 发表评论:
- 精品推荐!
-
- 最新文章
- 热门文章
- 热评文章
[电影] 《环太平洋两部合集》 4K REMUX原盘 [杜比视界] 国英双语音轨 [内封特效字幕] [133.8G]
[电影] 异人之下 The Traveller 2024✨【影版】【4K正式版/HQ超高码/DDP5.1】✚【1080高码】无水印/无压缩
[动漫] 头文字D 动漫 (1998) S01-S06季 1080P 国粤日音轨 续作 剧场版 电影
[小说] 知轩藏书全站7667册txt小说合集精心校对版
[杂志] 电脑爱好者杂志14年 超全 [PDF]
[电影] 西游记全部版本-4K高清修复-总计384G-1986+1996+1998+2002+2010浙版+西游记后传
[纪录片] 【国家地理百年纪念典藏】超经典100集全 MP4格式 (绝佳学习资料)27GB
[纪录片] B站食贫道收费纪录片 *迷失东京* [1080P] 揭露日本大家感兴趣却不为人知的秘密
[网络线报] 城通网盘福利线报解析器 - 获取直连下载地址
[福利线报] 一个「脚本」搞定六大网盘(百度/阿里/天翼/迅雷/夸克/移动)
[游戏] 《黑神话悟空》免安装学习版【全dlc整合完整版】+Steam游戏解锁+游戏修改工具!
[动画] 《名侦探柯南》名侦探柯南百万美元的五菱星 [TC] [MP4]
[电视剧集] [BT下载][黑暗城市- 清扫魔 Dark City: The Cleaner 第一季][全06集][英语无字][MKV][720P/1080P][WEB-RAW]
[涨点姿势] 男性性技宝典:14招实战驭女术——爱抚、按摩、催情、姿势、高潮全攻略
[动画] 2002《火影忍者》720集全【4K典藏版】+11部剧场版+OVA+漫画 内嵌简日字幕
[剧集] 《斯巴达克斯》1-4季合集 无删减版 1080P 内嵌简英特效字幕
[CG剧情] 《黑神话:悟空》158分钟CG完整剧情合集 4K120帧最高画质
[短剧] 被下架·禁播的羞羞短剧·午夜短剧合集
[游戏] 黑神话悟空离线完整版+修改器
[图像处理] 光影魔术手v4.6.0.578绿色版
[影视] 美国内战 4K蓝光原盘下载+高清MKV版/内战/帝国浩劫:美国内战(台)/美帝崩裂(港) 2024 Civil War 63.86G
[影视] 一命 3D 蓝光高清MKV版/切腹 / 切腹:武士之死 / Hara-Kiri: Death of a Samurai / Ichimei 2011 一命 13.6G
[影视] 爱情我你他 蓝光原盘下载+高清MKV版/你、我、他她他 2005 Me and You and Everyone We Know 23.2G
[影视] 穿越美国 蓝光原盘下载+高清MKV版/窈窕老爸 / 寻找他妈…的故事 2005 Transamerica 20.8G
[电影] 《黄飞鸿》全系列合集
[Android] 开罗游戏 ▎像素风格的模拟经营的游戏厂商安卓游戏大合集
[游戏合集] 要战便战 v0.9.107 免安装绿色中文版
[资源] 精整2023年知识星球付费文合集136篇【PDF格式】
[系统]【黑果小兵】macOS Big Sur 11.0.1 20B50 正式版 with Clover 5126 黑苹果系统镜像下载
[美图] 【经典收藏美图集合】1500多张韩国美女高清图片让你的收藏夹更加丰富多彩
- 最新评论
-
有靳东!嘻嘻奥古斯都.凯撒 评论于:10-28 流星花园是F4处女作也是4人集体搭配的唯一一部!奥古斯都.凯撒 评论于:10-28 找了好久的资源,终于在这里找到了。感谢本站的资源和分享。谢谢AAAAA 评论于:10-26 找了好久的资源,终于在这里找到了。感谢本站的资源和分享。谢谢password63 评论于:10-26 找了好久的资源,终于在这里找齐了!!!!blog001 评论于:10-21 找了好久的资源,终于在这里找齐了!!!!blog001 评论于:10-21 找了好久的资源,终于在这里找到了。感谢本站的资源和分享。谢谢WillKwok 评论于:10-09 感谢分享1234123 评论于:10-07 太好了终于找到了谢谢Tom 评论于:10-07 谢谢分享loonghd 评论于:09-30
- 热门tag