Java嵌入数据引擎从SQLite到SPL详解

目录

• SQLite适应常规基本应用场景
• SQLite面对复杂场景尚有不足
• SPL全面支持各种数据源
• 优化体系结构
• SPL资料

可以在Java应用中嵌入的数据引擎看起来比较丰富，但其实并不容易选择。Redis计算能力很差，只适合简单查询的场景。Spark架构复杂沉重，部署维护很是麻烦。H2\HSQLDB\Derby等内嵌数据库倒是架构简单，但计算能力又不足，连基本的窗口函数都不支持。

相比之下，SQLite在架构性和计算能力上取得了较好的平衡，是应用较广的Java嵌入数据引擎。

SQLite适应常规基本应用场景

SQLite架构简单，其核心虽然是C语言开发的，但封装得比较好，对外呈现为一个小巧的Jar包，能方便地集成在Java应用中。SQLite提供了JDBC接口，可以被Java调用：

Connection connection = DriverManager.getConnection("jdbc:sqlite::memory:");
Statement st = connection.createStatement();
st.execute("restore from d:/ex1");
ResultSet rs = st.executeQuery("SELECT * FROM orders");

SQLite提供了标准的SQL语法，常规的数据处理和计算都没有问题。特别地，SQLite已经能支持窗口函数，可以方便地实现很多组内运算，计算能力比其他内嵌数据库更强。

SELECT x, y, row_number() OVER (ORDER BY y) AS row_number FROM t0 ORDER BY x;
SELECT a, b, group_concat(b, '.') OVER ( ORDER BY a ROWS BETWEEN 1 PRECEDING AND 1 FOLLOWING) AS group_concat FROM t1;

SQLite面对复杂场景尚有不足

SQLite的优点亮眼，但对于复杂应用场景时还是有些缺点。

Java应用可能处理的数据源多种多样，比如csv文件、RDB、Excel、Restful，但SQLite只处理了简单情况，即对csv等文本文件提供了直接可用的命令行加载程序：

.import --csv --skip 1 --schema temp /Users/scudata/somedata.csv tab1

对于其他大部分数据源，SQLite都没有提供方便的接口，只能硬写代码加载数据，需要多次调用命令行，整个过程很繁琐，时效性也差。

以加载RDB数据源为例，一般的做法是先用Java执行命令行，把RDB库表转为csv；再用JDBC访问SQLite，创建表结构；之后用Java执行命令行，将csv文件导入SQLite；最后为新表建索引，以提高性能。这个方法比较死板，如果想灵活定义表结构和表名，或通过计算确定加载的数据，代码就更难写了。

类似地，对于其他数据源，SQLite也不能直接加载，同样要通过繁琐地转换过程才可以。

SQL接近自然语言，学习门槛低，容易实现简单的计算，但不擅长复杂的计算，比如复杂的集合计算、有序计算、关联计算、多步骤计算。SQLite采用SQL语句做计算，SQL优点和缺点都会继承下来，勉强实现这些复杂计算的话，代码会显得繁琐难懂。

比如，某只股票最长的上涨天数，SQL要这样写：

select max(continuousDays)-1
from (select count(*) continuousDays
from (select sum(changeSign) over(order by tradeDate) unRiseDays
from (select tradeDate,
case when price>lag(price) over(order by tradeDate) then 0 else 1 end changeSign from AAPL) )
group by unRiseDays)

这也不单是SQLite的难题，事实上，由于集合化不彻底、缺乏序号、缺乏对象引用等原因，其他SQL数据库也不擅长这些运算。

业务逻辑由结构化数据计算和流程控制组成，SQLite支持SQL，具有结构化数据计算能力，但SQLite没有提供存储过程，不具备独立的流程控制能力，也就不能实现一般的业务逻辑，通常要利用Java主程序的判断和循环语句。由于Java没有专业的结构化数据对象来承载SQLite数据表和记录，转换过程麻烦，处理过程不畅，开发效率不高。

前面提过，SQLite内核是C程序，虽然可以被集成到Java应用中，但并不能和Java无缝集成，和Java主程序交换数据时要经过耗时的转换才能完成，在涉及数据量较大或交互频繁时性能就会明显不足。同样因为内核是C程序，SQLite会在一定程度上破坏Java架构的一致性和健壮性。

对于Java应用来讲，原生在JVM上的esProc SPL是更好的选择。

SPL全面支持各种数据源

esProc SPL是JVM下开源的嵌入数据引擎，架构简单，可直接加载数据源，可以通过JDBC接口被Java集成调用，并方便地进行后续计算。

SPL架构简单，无须独立服务，只要引入SPL的Jar包，就可以部署在Java环境中。

直接加载数据源，代码简短，过程简单，时效性强。比如加载Oracle：

A
1	=connect("orcl")
2	=A1.query@x("select OrderID,Client,SellerID,OrderDate,Amount from orders order by OrderID")
3	>env(orders,A2)

对于SQLite擅长加载的csv文件，SPL也可以直接加载，使用内置函数而不是外部命令行，稳定且效率高，代码更简短：

=T("/Users/scudata/somedata.csv")

多种外部数据源。除了RDB和csv，SPL还直接支持txt\xls等文件，MongoDB、Hadoop、redis、ElasticSearch、Kafka、Cassandra等NoSQL，以及WebService XML、Restful Json等多层数据。比如，将HDSF里的文件加载到内存：

A
1	=hdfs_open(;"hdfs://192.168.0.8:9000")
2	=hdfs_file(A1,"/user/Orders.csv":"GBK")
3	=A2.cursor@t()
4	=hdfs_close(A1)
5	>env(orders,A4)

JDBC接口可以方便地集成。加载的数据量一般比较大，通常在应用的初始阶段运行一次，只须将上面的加载过程存为SPL脚本文件，在Java中以存储过程的形式引用脚本文件名：

Class.forName("com.esproc.jdbc.InternalDriver");
Connection conn =DriverManager.getConnection("jdbc:esproc:local://");
CallableStatement statement = conn.prepareCall("{call init()}");
statement.execute();

SPL的计算能力更强大

SPL提供了丰富的计算函数，可以轻松实现日常计算。SPL支持多种高级语法，大量的日期函数和字符串函数，很多用SQL难以表达的计算，用SPL都可以轻松实现，包括复杂的有序计算、集合计算、分步计算、关联计算，以及带流程控制的业务逻辑。

丰富的计算函数。SPL可以轻松实现各类日常计算：

	A	B
1	=Orders.find(arg_OrderIDList)	//多键值查找
2	=Orders.select(Amount>1000 && like(Client,\"*S*\"))	//模糊查询
3	= Orders.sort(Client,-Amount)	//排序
4	= Orders.id(Client)	//去重
5	=join(Orders:O,SellerId; Employees:E,EId).new(O.OrderID, O.Client,O.Amount,E.Name,E.Gender,E.Dept)	//关联

标准SQL语法。SPL也提供了SQL-92标准的语法，比如分组汇总：

$select year(OrderDate) y,month(OrderDate) m, sum(Amount) s,count(1) c
from {Orders}
Where Amount>=? and Amount<? ;arg1,arg2

函数选项、层次参数等方便的语法。功能相似的函数可以共用一个函数名，只用函数选项区分差别，比SQL更加灵活方便。比如select函数的基本功能是过滤，如果只过滤出符合条件的第1条记录，可使用选项@1：

T.select@1(Amount>1000)

二分法排序，即对有序数据用二分法进行快速过滤，使用@b：

T.select@b(Amount>1000)

有序分组，即对分组字段有序的数据，将相邻且字段值相同的记录分为一组，使用@b：

T.groups@b(Client;sum(Amount))

函数选项还可以组合搭配，比如：

Orders.select@1b(Amount>1000)

结构化运算函数的参数有些很复杂，比如SQL就需要用各种关键字把一条语句的参数分隔成多个组，但这会动用很多关键字，也使语句结构不统一。SPL使用层次参数简化了复杂参数的表达，即通过分号、逗号、冒号自高而低将参数分为三层：

join(Orders:o,SellerId ; Employees:e,EId)

更丰富的日期和字符串函数。除了常见函数，比如日期增减、截取字符串，SPL还提供了更丰富的日期和字符串函数，在数量和功能上远远超过了SQL，同样运算时代码更短。比如：

阅读剩余部分

相关阅读 >>

怎么把sql文件导入navicat

asp实现sql备份、恢复

一文带你理解慢sql分析与优化

mysql exists用法小结

sql server中check约束的学习教程

sql server2016正式版安装配置方法图文教程

web网络安全分析sql注入绕过技术原理

sqlbool盲注和时间盲注详解

navicat导入sql报错1265怎么办

sql server 中查看sql句子执行所用的时间

更多相关阅读请进入《sql》频道 >>

书籍

数据库系统概念 第6版

￥41.1元   机械工业出版社

本书主要讲述了数据模型、基于对象的数据库和XML、数据存储和查询、事务管理、体系结构等方面的内容。

转载请注明出处：木庄网络博客 » Java嵌入数据引擎从SQLite到SPL详解