MySQL基础-MySQL8新特性
一、MySQL8新特性概述
MySQL从5.7版本直接跳跃发布了8.0版本
,可见这是一个令人兴奋的里程碑版本。MySQL 8版本在功能上做了显著的改进与增强,开发者对MySQL的源代码进行了重构,最突出的一点是MySQL Optimizer优化器
进行了改进。不仅在速度上得到了改善,还为用户带来了更好的性能和更棒的体验。
1.MySQL8.0新增特性
- 更简便的
NoSQL支持
。NoSQL泛指非关系型数据库和数据存储。随着互联网平台的规模飞速发展,传统的关系型数据库已经越来越不能满足需求。从5.6版本开始,MySQL就开始支持简单的NoSQL存储功能。 MySQL 8对这一功能做了优化,以更灵活的方式实现NoSQL功能,不再依赖模式(schema)。 - 更好的
索引
。在查询中,正确地使用索引可以提高查询的效率。MySQL 8中新增了隐藏索引
和降序索引
。隐藏索引可以用来测试去掉索引对查询性能的影响。在查询中混合存在多列索引时,使用降序索引可以提高查询的性能。 - 更完善的
JSON支持
。MySQL从5.7开始支持原生JSON数据的存储,MySQL 8对这一功能做了优化,增加了聚合函数JSON_ARRAYAGG()
和JSON_OBJECTAGG()
,将参数聚合为JSON数组或对象,新增了行内操作符 ->>,是列路径运算符 ->的增强,对JSON排序做了提升,并优化了JSON的更新操作。 安全和账户管理
。MySQL 8中新增了caching_sha2_password
授权插件、角色、密码历史记录和 FIPS 模式支持,这些特性提高了数据库的安全性和性能,使数据库管理员能够更灵活地进行账户管理工作。InnoDB的优化
。InnoDB是MySQL默认的存储引擎 ,是事务型数据库的首选引擎,支持事务安全表 (ACID),支持行锁定和外键。在MySQL 8 版本中,InnoDB在自增、索引、加密、死锁、共享锁等方面做了大量的改进和优化,并且支持原子数据定义语言
(DDL),提高了数据安全性,对事务提供更好的支持。- 数据字典。在之前的MySQL版本中,字典数据都存储在元数据文件和非事务表中。从MySQL 8开始新增了事务数据字典,在这个字典里存储着数据库对象信息,这些数据字典存储在内部事务表中。
- 原子数据定义语句。MySQL 8开始支持
原子数据定义语句
(Automic DDL),即原子DDL
。目前,只有 InnoDB存储引擎支持原子DDL。==原子数据定义语句(DDL)将与DDL操作相关的数据字典更新、存储引擎操作、二进制日志写入结合到一个单独的原子事务中,这使得即使服务器崩溃,事务也会提交或回滚。==使用支持原子操作的存储引擎所创建的表,在执行DROP TABLE、CREATE TABLE、ALTER TABLE、 RENAME TABLE、TRUNCATE TABLE、CREATE TABLESPACE、DROP TABLESPACE等操作时,都支持原子操作,即事务要么完全操作成功,要么失败后回滚,不再进行部分提交。 对于从MySQL 5.7复制到MySQL 8 版本中的语句,可以添加 IF EXISTS 或 IF NOT EXISTS 语句来避免发生错误。 - 资源管理。MySQL8开始支持创建和管理资源组,允许将服务器内运行的线程分配给特定的分组,以便线程根据组内可用资源执行。组属性能够控制组内资源,启用或限制组内资源消耗。数据库管理员能够根据不同的工作负载适当地更改这些属性。 目前,CPU时间是可控资源,由“虚拟CPU”这个概念来表示,此术语包含CPU的核心数,超线程,硬件线程等等。服务器在启动时确定可用的虚拟CPU数量。拥有对应权限的数据库管理员可以将这些CPU与资源组关联,并为资源组分配线程。 资源组组件为MySQL中的资源组管理提供了SQL接口。资源组的属性用于定义资源组。MySQL中存在两个默认组,系统组和用户组,默认的组不能被删除,其属性也不能被更改。对于用户自定义的组,资源组创建时可初始化所有的属性,除去名字和类型,其他属性都可在创建之后进行更改。 在一些平台下,或进行了某些MySQL的配置时,资源管理的功能将受到限制,甚至不可用。例如,如果安装了线程池插件,或者使用的是macOS系统,资源管理将处于不可用状态。在FreeBSD和Solaris系统中,资源线程优先级将失效。在Linux系统 中,只有配置了CAP_SYS_NICE属性,资源管理优先级才能发挥作用。
- 字符集支持。MySQL 8中默认的字符集由 latin1 更改为
utf8mb4
,并首次增加了日语所特定使用的集合,utf8mb4_ja_0900_as_cs。 - 优化器增强。MySQL优化器开始支持隐藏索引和降序索引。隐藏索引不会被优化器使用,验证索引的必要性时不需要删除索引,先将索引隐藏,如果优化器性能无影响就可以真正地删除索引。降序索引允许优化器对多个列进行排序,并且允许排序顺序不一致。
- 公用表表达式。公用表表达式(Common Table Expressions)简称为CTE,MySQL现在支持递归和非递归两种形式的CTE。CTE通过在SELECT语句或其他特定语句前使用
WITH语句对临时结果集进行命名
。 - 窗口函数。MySQL 8开始支持窗口函数。在之前的版本中已存在的大部分
聚合函数
在MySQL 8中也可以作为窗口函数来使用。 - 正则表达式支持。MySQL在8.0.4以后的版本中采用支持Unicode的国际化组件库实现正则表达式操作, 这种方式不仅能提供完全的Unicode支持,而且是多字节安全编码。MySQL增加了REGEXP_LIKE()、 EGEXP_INSTR()、REGEXP_REPLACE()和 REGEXP_SUBSTR()等函数来提升性能。另外,regexp_stack_limit和 regexp_time_limit 系统变量能够通过匹配引擎来控制资源消耗。
- 内部临时表。
TempTable存储引擎取代MEMORY存储引擎成为内部临时表的默认存储引擎
。TempTable存储引擎为VARCHAR和VARBINARY列提供高效存储。internal_tmp_mem_storage_engine会话变量定义了内部临时表的存储引擎,可选的值有两个,TempTable和MEMORY,其中TempTable为默认的存储引擎。 temptable_max_ram系统配置项定义了TempTable存储引擎可使用的最大内存数量。 - 日志记录。在MySQL 8中错误日志子系统由一系列MySQL组件构成。这些组件的构成由系统变量 log_error_services来配置,能够实现日志事件的过滤和写入。
- 备份锁。新的备份锁允许
在线备份期间执行数据操作语句
,同时阻止可能造成快照不一致的操作
。新备份锁由 LOCK INSTANCE FOR BACKUP 和 UNLOCK INSTANCE 语法提供支持,执行这些操作需要备份管理员特权。 - 增强的MySQL复制。MySQL 8复制支持对
JSON文档
进行部分更新的二进制日志记录
,该记录使用紧凑的二进制格式
,从而节省记录完整JSON文档的空间。当使用基于语句的日志记录时,这种紧凑的日志记录会自动完成,并且可以通过将新的binlog_row_value_options系统变量值设置为PARTIAL_JSON来启用。
2.MySQL8.0移除的旧特性
在MySQL 5.7版本上开发的应用程序如果使用了MySQL8.0 移除的特性,语句可能会失败,或者产生不同的执行结果。为了避免这些问题,对于使用了移除特性的应用,应当尽力避免使用这些特性,并尽可能使用替代方法。
- 查询缓存。
查询缓存已被移除
,删除的项有:语句:FLUSH QUERY CACHE和RESET QUERY CACHE。 系统变量:query_cache_limit、query_cache_min_res_unit、query_cache_size、 query_cache_type、query_cache_wlock_invalidate。 状态变量:Qcache_free_blocks、 Qcache_free_memory、Qcache_hits、Qcache_inserts、Qcache_lowmem_prunes、Qcache_not_cached、 Qcache_queries_in_cache、Qcache_total_blocks。 线程状态:checking privileges on cached query、checking query cache for query、invalidating query cache entries、sending cached result to client、storing result in query cache、waiting for query cache lock。 - 加密相关。删除的加密相关的内容有:ENCODE()、DECODE()、ENCRYPT()、DES_ENCRYPT()和 DES_DECRYPT()函数,配置项des-key-file,系统变量have_crypt,FLUSH语句的DES_KEY_FILE选项, HAVE_CRYPT CMake选项。 对于移除的
ENCRYPT()
函数,考虑使用SHA2()
替代,对于其他移除的函数
,使 用AES_ENCRYPT()
和AES_DECRYPT()
替代。 - 空间函数相关。在MySQL 5.7版本中,多个空间函数已被标记为过时。这些过时函数在MySQL 8中都已被移除,只保留了对应的ST_和MBR函数。
- \N和NULL。在SQL语句中,解析器不再将\N视为NULL,所以在SQL语句中应使用NULL代替\N。这项变化不会影响使用LOAD DATA INFILE或者SELECT…INTO OUTFILE操作文件的导入和导出。在这类操作中,NULL 仍等同于\N。
- mysql_install_db。在MySQL分布中,已移除了mysql_install_db 程序,数据字典初始化需要调用带着– initialize或者–initialize-insecure选项的mysqld来代替实现。另外,–bootstrap和INSTALL_SCRIPTDIR CMake也已被删除。
- 通用分区处理程序。通用分区处理程序已从MySQL服务中被移除。为了实现给定表分区,表所使用的存储引擎需要自有的分区处理程序。 提供本地分区支持的MySQL存储引擎有两个,即InnoDB和NDB,而在 MySQL 8中只支持InnoDB。
二、窗口函数
1.窗口函数的由来
假设我现在有这样一个数据表,它显示了某购物网站在每个城市每个区的销售额:
1 | CREATE TABLE sales( |
查询:
1 | mysql> SELECT * FROM sales; |
需求:现在计算这个网站在每个城市的销售总额、在全国的销售总额、每个区的销售额占所在城市销售额中的比率,以及占总销售额中的比率。
如果用分组和聚合函数,就需要分好几步来计算。
第一步,计算总销售金额,并存入临时表 a:
1 | CREATE TEMPORARY TABLE a -- 创建临时表 |
查看一下临时表 a :
1 | mysql> SELECT * FROM a; |
第二步,计算每个城市的销售总额并存入临时表 b:
1 | CREATE TEMPORARY TABLE b -- 创建临时表 |
查看临时表 b :
1 | mysql> SELECT * FROM b; |
第三步,计算各区的销售占所在城市的总计金额的比例和占全部销售总计金额的比例。我们可以通过下面的连接查询获得需要的结果:
1 | mysql> SELECT s.city AS 城市,s.county AS 区,s.sales_value AS 区销售额, |
同样的查询,如果用窗口函数,就简单多了。我们可以用下面的代码来实现:
1 | mysql> SELECT city AS 城市,county AS 区,sales_value AS 区销售额, |
使用窗口函数,只用了一步就完成了查询。而且,由于没有用到临时表,执行的效率也更高了。很显然,==在这种需要用到分组统计的结果对每一条记录进行计算的场景下,使用窗口函数更好==。
2.窗口函数的分类
MySQL从8.0版本开始支持窗口函数。窗口函数的作用类似于在查询中对数据进行分组,不同的是,分组操作会把分组的结果聚合成一条记录,而窗口函数是将结果置于每一条数据记录中
。
窗口函数可以分为静态窗口函数和动态窗口函数 。
- 静态窗口函数的窗口大小是固定的,不会因为记录的不同而不同;
- 动态窗口函数的窗口大小会随着记录的不同而变化。
窗口函数总体上可以分为序号函数、分布函数、前后函数、首尾函数和其他函数,如下表:
3.窗口函数语法结构
窗口函数的语法结构是:
1 | 函数 OVER([PARTITION BY 字段名 ORDER BY 字段名 ASC|DESC]) |
- OVER 关键字指定函数窗口的范围。
- 如果省略后面括号中的内容,则窗口会包含满足WHERE条件的所有记录,窗口函数会基于所有满足WHERE条件的记录进行计算。
- 如果OVER关键字后面的括号不为空,则可以使用如下语法设置窗口。
- 窗口名:为窗口设置一个别名,用来标识窗口。
- PARTITION BY子句:指定窗口函数按照哪些字段进行分组。分组后,窗口函数可以在每个分组中分别执行。
- ORDER BY子句:指定窗口函数按照哪些字段进行排序。执行排序操作使窗口函数按照排序后的数据记录的顺序进行编号。
- FRAME子句:为分区中的某个子集定义规则,可以用来作为滑动窗口使用。
4.窗口函数分类讲解
创建表:
1 | CREATE TABLE goods( |
添加数据:
1 | INSERT INTO goods(category_id,category,NAME,price,stock,upper_time) |
下面针对goods表中的数据来验证每个窗口函数的功能。
序号函数
1. ROW_NUMBER()函数
ROW_NUMBER( )
函数能够对数据中的序号进行顺序显示。
举例:查询 goods 数据表中每个商品分类下价格降序排列的各个商品信息。
1 | mysql> SELECT ROW_NUMBER() OVER(PARTITION BY category_id ORDER BY price DESC) AS |
举例:查询 goods 数据表中每个商品分类下价格最高的3种商品信息。
1 | mysql> SELECT * |
2.RANK()函数
RANK( )
函数能够对序号进行并列排序,并且会跳过重复的序号,比如序号为1、1、3。
举例:使用RANK()函数获取 goods 数据表中各类别的价格从高到低排序的各商品信息。
1 | mysql> SELECT RANK() OVER(PARTITION BY category_id ORDER BY price DESC) AS row_num, |
3.DENSE_RANK()函数
DENSE_RANK( )
函数对序号进行并列排序,并且不会跳过重复的序号,比如序号为1、1、2。
举例:使用DENSE_RANK()函数获取 goods 数据表中各类别的价格从高到低排序的各商品信息。
1 | mysql> SELECT DENSE_RANK() OVER(PARTITION BY category_id ORDER BY price DESC) AS |
分布函数
1.PERCENT_RANK()函数
PERCENT_RANK( )
函数是等级值百分比函数。按照如下方式进行计算。
1 | (rank - 1) / (rows - 1) |
其中,rank的值为使用RANK()函数产生的序号,rows的值为当前窗口的总记录数。
举例:计算 goods 数据表中名称为“女装/女士精品”的类别下的商品的PERCENT_RANK值。
1 | #写法一: |
2.CUME_DIST()函数
CUME_DIST()
函数返回当前行的累积分布,即从第一行到与当前行值相同的最后一行的行数在分区内的总行数中的占比。
举例:查询goods数据表中各个分类下小于或等于当前商品价格的比例。
1 | mysql> SELECT CUME_DIST() OVER(PARTITION BY category_id ORDER BY price ASC) AS cd, |
建议参考的数据库文章系列:MySQL 窗口函数参考