虚拟化容器,大数据,DBA,中间件,监控。

mysql缓冲和缓存设置详解

30 06月
作者:admin|分类:DBA运维

博客所在主机更新了程序后,访问比之前慢多了,一直使用的phpstudy来塔建LAMP环境,通过修改mysql缓存配置提高速度。

由于主机配置小,根据自己情况修改my.ini 配置文件,经修改后,提升速度明显。

内容如下:


#  power by php中文网 2017  www.php.cn  官网下载最新版

[client]
port=3306
[mysql]
default-character-set=utf8

[mysqld]
port=3306
basedir="D:/phpStudy2018/PHPTutorial/MySQL/"
datadir="D:/phpStudy2018/PHPTutorial/MySQL/data/"
character-set-server=utf8
default-storage-engine=MyISAM
#支持 INNODB 引擎模式。修改为 default-storage-engine=INNODB 即可。
#如果 INNODB 模式如果不能启动,删除data目录下ib开头的日志文件重新启动。

sql-mode="NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION"
max_connections=512

query_cache_type=1

#Query_cache_type可以是0,1,20代表不使用缓存,1代表使用缓存,2代表根据需要使用

query_cache_size=128M
table_cache=512
tmp_table_size=256M

thread_cache_size=8
myisam_max_sort_file_size=1G
myisam_sort_buffer_size=128M
key_buffer_size=64M
read_buffer_size=16000K
read_rnd_buffer_size=2048K
sort_buffer_size=2048K

innodb_additional_mem_pool_size=8M

innodb_flush_log_at_trx_commit=1
innodb_log_buffer_size=4M

innodb_buffer_pool_size=84M
innodb_log_file_size=32M
innodb_thread_concurrency=8
innodb_thread_concurrency=8
innodb_thread_concurrency=8
innodb_thread_concurrency=8
innodb_thread_concurrency=8


以下是网上相关文章。


Mysql缓存的配置和使用


  在mysql服务器高负载的情况下,必须采取一种措施给服务器减轻压力,减少服务器的I/O操作。一般采用的方法是优化sql操作语句,优化服务器的配置参数,从而提高服务器的性能。Mysql使用了几种内存缓存数据的策略来提高性能。

 

一、mysql的缓存机制

  Mysql缓存主要包括关键字缓存(key cache)和查询缓存(query cache),这主要讲解mysql的查询缓存(query cache)机制。

1.查询缓存概述

  在mysql的性能优化方面经常涉及到缓冲区(buffer)和缓存(cache),mysql通过在内存中建立缓冲区(buffer)和缓冲(cache)来提高mysql性能。对于innodb数据库,mysql采用缓冲池(buffer pool)的方式来缓存数据和索引;对于mylsam数据库,mysql采用缓存的方式来缓存数据和索引。

  Mysql查询缓存机制(query cache)简单的说就是缓存sql语句及查询结果,如果运行相同的sql,服务器直接从缓存中提取结果,而不是再去解析和执行sql。而且这些缓存能被所有的会话共享,一旦某个客户端建立了查询缓存,其他发送同样sql语句的客户端也可以使用这些缓存。

  如果表更改了,那么使用这个表的所有缓存查询将不再有效,查询缓存值得相关条目被清空。更改的是表中任何数据或是结构的改变,包括insert、update、delete、truncate、alter table、drop table或drop database等,也包括哪些映射到改变了表的使用merge表的查询。显然,这对于频繁更改的表,查询缓存是不合适的,而对于一些不常改变的数据且有大量相同sql查询的表,查询缓存会节约很大的性能。

  查询必须是完全相同的(逐字节相同)才能够被认为是相同的,字符的大小也被认为是不同的。另外,同样的查询字符由于其他原因可能认为是不同的。使用不同的数据库,不同的协议版本或者不同默认字符字符集的查询被认为是不同的查询并且分别进行缓存。

2.mysql查询缓存的工作原理

  当mysql收到传入的sql语句时,它首先和先前已经解析过的sql语句进行比较,如果发现相同,则返回已缓存数据。一定是完全相同。下面两个是不同的:

01 SELECT 课程名 FROM KC;

02 select 课程名 from kc

  因为大小写的缘故,两条sql语句被认为是不同的,他们的缓存是不能共享的。另外,如果一条sql语句是另外一条sql语句的子串,类似下面的情况,第02行的语句不会被缓存;如果sql语句是存储过程、触发器或者事件内部的一条语句,同样也不会被缓存。查询缓存也受到权限的影响,对于没有权限访问数据库中数据的用户,即使输入了同样的sql语句,缓存中的数据也会无权访问。

01 SELECT 课程名 FROM KC where 学分 in(

02 SELECT 学分 FROM KC

03 );

  当传入的sql语句被认为是存在缓存的情况下,系统会修改mysql的一个状态变量Qcache_hits,并将其值增加1,可以运行语句来查看qcahce_hits的值,如下:

 

复制代码

mysql> show status like '%qcache_hits%';+---------------+-------+| Variable_name | Value |+---------------+-------+| Qcache_hits   | 0     |+---------------+-------+1 row in set (0.00 sec)

复制代码

 

  上述表中,Qcache0,表示目前缓存的命中率为0,一旦缓存生效,该值大于1。例如,先输入如下的sql语句:

01 select * from kc;其值增加1

以下这些形式的查询不会缓存。

l Select ...... Lock in share mode

l Select ...... For update

l Select ...... Into outfile ...

l Select ...... Into dumpfile

l Select * from ... Where autoincrement_col is null

3.查看mysql的缓存信息

  默认情况下mysql的查询缓存是被打开的,可以通过查询mysql的系统变量来查看mysqld是否支持缓存,输入下面命令:

 

复制代码

mysql> show variables like 'have_query_cache';+------------------+-------+| Variable_name    | Value |+------------------+-------+| have_query_cache | YES   |+------------------+-------+1 row in set (0.00 sec)

mysql> show status like '%qcache_cache%';
Empty set (0.00 sec)

mysql> show status like '%qcache%';+-------------------------+-------+| Variable_name           | Value |+-------------------------+-------+| Qcache_free_blocks      | 0     |  缓存空闲的内存块| Qcache_free_memory      | 0     |  在query_cache_size设置的缓存中的空闲的内存| Qcache_hits             | 0     |  缓存的命中次数| Qcache_inserts          | 0     |  查询缓存区此前总共缓存过多少条查询命令的结果| Qcache_lowmem_prunes    | 0     |  查询缓存区已满而从其中溢出和删除的查询结果的个数| Qcache_not_cached       | 0     |  | Qcache_queries_in_cache | 0     |  | Qcache_total_blocks     | 0     |  缓存总的内存块+-------------------------+-------+8 rows in set (0.00 sec)

复制代码

 

 

二、mysql查询缓存的配置和使用

1.配置查询缓存

  查询缓存的配置可以通过设置系统环境变量来完成,设置环境变量一般有两种方式:一种是配置文件中配置;另外可以在命令行中配置。

Vim /etc/my.cnf

1561892035680160.png

Query_cache_type可以是0,1,20代表不使用缓存,1代表使用缓存,2代表根据需要使用

2.使用查询缓存

3.查询缓存的维护

  在使用查询缓存时,可以通过have_query_cache来查看当前服务器是否支持查询缓存,

 

复制代码

mysql> show variables like 'have_query_cache';+------------------+-------+| Variable_name    | Value |+------------------+-------+| have_query_cache | YES   |+------------------+-------+Yes表示支持
当查询缓存工作一定时间后,通过show status来监控缓存的性能

mysql> show status like '%qcache%';+-------------------------+-----------+| Variable_name           | Value     |+-------------------------+-----------+| Qcache_free_blocks      | 1         || Qcache_free_memory      | 268414376 || Qcache_hits             | 0         || Qcache_inserts          | 2         || Qcache_lowmem_prunes    | 0         || Qcache_not_cached       | 3         || Qcache_queries_in_cache | 2         || Qcache_total_blocks     | 7         |+-------------------------+-----------+查询缓存会生成碎片,可以通过下面命令来清理碎片
mysql> flush query cache;
Query OK, 0 rows affected (0.00 sec)
如果想清理内存中的碎片:
mysql> reset query cache;
Query OK, 0 rows affected (0.00 sec)
两个命令同时使用,彻底清理碎片。






MySQL 可调节设置可以应用于整个 mysqld进程,也可以应用于单个客户机会话。

服务器端的设置

每个表都可以表示为磁盘上的一个文件,必须先打开,后读取。为了加快从文件中读取数据的过程,mysqld对这些打开文件进行了缓存,其最大数目由 /etc/mysqld.conf 中的table_cache 指定。清单 4给出了显示与打开表有关的活动的方式。

清单 4. 显示打开表的活动

mysql> SHOW STATUS LIKE 'open%tables';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Open_tables  | 5000 |
| Opened_tables | 195  |
+---------------+-------+
2 rows in set (0.00 sec)

清单 4 说明目前有 5,000 个表是打开的,有 195个表需要打开,因为现在缓存中已经没有可用文件描述符了(由于统计信息在前面已经清除了,因此可能会存在 5,000 个打开表中只有 195个打开记录的情况)。如果 Opened_tables 随着重新运行SHOW STATUS 命令快速增加,就说明缓存命中率不够。如果Open_tables 比table_cache设置小很多,就说明该值太大了(不过有空间可以增长总不是什么坏事)。例如,使用 table_cache =5000 可以调整表的缓存。

与表的缓存类似,对于线程来说也有一个缓存。 mysqld在接收连接时会根据需要生成线程。在一个连接变化很快的繁忙服务器上,对线程进行缓存便于以后使用可以加快最初的连接。

清单 5 显示如何确定是否缓存了足够的线程。

清单 5. 显示线程使用统计信息

mysql> SHOW STATUS LIKE 'threads%';
+-------------------+--------+
| Variable_name   | Value |
+-------------------+--------+
| Threads_cached  | 27   |
| Threads_connected | 15   |
| Threads_created  | 838610 |
| Threads_running  | 3   |
+-------------------+--------+
4 rows in set (0.00 sec)

此处重要的值是 Threads_created,每次mysqld 需要创建一个新线程时,这个值都会增加。如果这个数字在连续执行SHOW STATUS 命令时快速增加,就应该尝试增大线程缓存。例如,可以在my.cnf 中使用 thread_cache = 40 来实现此目的。

关键字缓冲区保存了 MyISAM 表的索引块。理想情况下,对于这些块的请求应该来自于内存,而不是来自于磁盘。清单 6显示了如何确定有多少块是从磁盘中读取的,以及有多少块是从内存中读取的。

清单 6. 确定关键字效率

mysql> show status like '%key_read%';
+-------------------+-----------+
| Variable_name   | Value   |
+-------------------+-----------+
| Key_read_requests | 163554268 |
| Key_reads     | 98247   |
+-------------------+-----------+
2 rows in set (0.00 sec)

Key_reads 代表命中磁盘的请求个数,Key_read_requests是总数。命中磁盘的读请求数除以读请求总数就是不中比率 —— 在本例中每 1,000 个请求,大约有 0.6 个没有命中内存。如果每1,000 个请求中命中磁盘的数目超过 1 个,就应该考虑增大关键字缓冲区了。例如,key_buffer =384M 会将缓冲区设置为 384MB。

临时表可以在更高级的查询中使用,其中数据在进一步进行处理(例如 GROUPBY字句)之前,都必须先保存到临时表中;理想情况下,在内存中创建临时表。但是如果临时表变得太大,就需要写入磁盘中。清单 7给出了与临时表创建有关的统计信息。

清单 7. 确定临时表的使用

mysql> SHOW STATUS LIKE 'created_tmp%';
+-------------------------+-------+
| Variable_name      | Value |
+-------------------------+-------+
| Created_tmp_disk_tables | 30660 |
| Created_tmp_files    | 2   |
| Created_tmp_tables   | 32912 |
+-------------------------+-------+
3 rows in set (0.00 sec)

每次使用临时表都会增大 Created_tmp_tables;基于磁盘的表也会增大 Created_tmp_disk_tables。对于这个比率,并没有什么严格的规则,因为这依赖于所涉及的查询。长时间观察Created_tmp_disk_tables会显示所创建的磁盘表的比率,您可以确定设置的效率。 tmp_table_size和 max_heap_table_size都可以控制临时表的最大大小,因此请确保在 my.cnf 中对这两个值都进行了设置。

每个会话 的设置

下面这些设置针对于每个会话。在设置这些数字时要十分谨慎,因为它们在乘以可能存在的连接数时候,这些选项表示大量的内存!您可以通过代码修改会话中的这些数字,或者在 my.cnf 中为所有会话修改这些设置。

当 MySQL必须要进行排序时,就会在从磁盘上读取数据时分配一个排序缓冲区来存放这些数据行。如果要排序的数据太大,那么数据就必须保存到磁盘上的临时文件中,并再次进行排序。如果 sort_merge_passes状态变量很大,这就指示了磁盘的活动情况。清单 8 给出了一些与排序相关的状态计数器信息。

清单 8. 显示排序统计信息

mysql> SHOW STATUS LIKE "sort%";
+-------------------+---------+
| Variable_name   | Value  |
+-------------------+---------+
| Sort_merge_passes | 1    |
| Sort_range    | 79192  |
| Sort_rows     | 2066532 |
| Sort_scan     | 44006  |
+-------------------+---------+
4 rows in set (0.00 sec)

如果 sort_merge_passes 很大,就表示需要注意sort_buffer_size。例如,sort_buffer_size = 4M 将排序缓冲区设置为 4MB。

MySQL也会分配一些内存来读取表。理想情况下,索引提供了足够多的信息,可以只读入所需要的行,但是有时候查询(设计不佳或数据本性使然)需要读取表中大量数据。要理解这种行为,需要知道运行了多少个 SELECT语句,以及需要读取表中的下一行数据的次数(而不是通过索引直接访问)。实现这种功能的命令如清单 9 所示。

清单 9. 确定表扫描比率

mysql> SHOW STATUS LIKE "com_select";
+---------------+--------+
| Variable_name | Value |
+---------------+--------+
| Com_select  | 318243 |
+---------------+--------+
1 row in set (0.00 sec)
mysql> SHOW STATUS LIKE "handler_read_rnd_next";
+-----------------------+-----------+
| Variable_name     | Value   |
+-----------------------+-----------+
| Handler_read_rnd_next | 165959471 |
+-----------------------+-----------+
1 row in set (0.00 sec)

Handler_read_rnd_next /Com_select 得出了表扫描比率 —— 在本例中是 521:1。如果该值超过4000,就应该查看 read_buffer_size,例如read_buffer_size = 4M。如果这个数字超过了8M,就应该与开发人员讨论一下对这些查询进行调优了!

查看数据库缓存配置情况

mysql> SHOW VARIABLES LIKE ‘%query_cache%';
+——————————+———+
| Variable_name | Value |
+——————————+———+
| have_query_cache | YES | –查询缓存是否可用
| query_cache_limit | 1048576 | –可缓存具体查询结果的最大值
| query_cache_min_res_unit | 4096 |
| query_cache_size | 599040 | –查询缓存的大小
| query_cache_type | ON | –阻止或是支持查询缓存
| query_cache_wlock_invalidate | OFF |
+——————————+———+

配置方法:

在MYSQL的配置文件my.ini或my.cnf中找到如下内容:

# Query cache is used to cache SELECT results and later returnthem

# without actual executing the same query once again. Having thequery

# cache enabled may result in significant speed improvements, ifyour

# have a lot of identical queries and rarely changing tables.See the

# "Qcache_lowmem_prunes" status variable to check if the currentvalue

# is high enough for your load.

# Note: In case your tables change very often or if your queriesare

# textually different every time, the query cache may result ina

# slowdown instead of a performance improvement.

query_cache_size=0

以上信息是默认配置,其注释意思是说,MYSQL的查询缓存用于缓存select查询结果,并在下次接收到同样的查询请求时,不再执行实际查询处理而直接返回结果,有这样的查询缓存能提高查询的速度,使查询性能得到优化,前提条件是你有大量的相同或相似的查询,而很少改变表里的数据,否则没有必要使用此功能。可以通过Qcache_lowmem_prunes变量的值来检查是否当前的值满足你目前系统的负载。注意:如果你查询的表更新比较频繁,而且很少有相同的查询,最好不要使用查询缓存。

具体配置方法:

1. 将query_cache_size设置为具体的大小,具体大小是多少取决于查询的实际情况,但最好设置为1024的倍数,参考值32M。

2. 增加一行:query_cache_type=1

query_cache_type参数用于控制缓存的类型,注意这个值不能随便设置,必须设置为数字,可选项目以及说明如下:

如果设置为0,那么可以说,你的缓存根本就没有用,相当于禁用了。但是这种情况下query_cache_size设置的大小系统是否要为其分配呢,这个问题有待于测试?

如果设置为1,将会缓存所有的结果,除非你的select语句使用SQL_NO_CACHE禁用了查询缓存。

如果设置为2,则只缓存在select语句中通过SQL_CACHE指定需要缓存的查询。

OK,配置完后的部分文件如下:

query_cache_size=128M

query_cache_type=1

保存文件,重新启动MYSQL服务,然后通过如下查询来验证是否真正开启了:

mysql> show variables like '%query_cache%';

+——————————+———–+

| Variable_name      |Value  |

+——————————+———–+

| have_query_cache     |YES   |

| query_cache_limit     |1048576  |

| query_cache_min_res_unit  |4096   |

| query_cache_size     | 134217728|

| query_cache_type     |ON    |

| query_cache_wlock_invalidate | OFF   |

+——————————+———–+

6 rows in set (0.00 sec)

主要看query_cache_size和query_cache_type的值是否跟我们设的一致:

这里query_cache_size的值是134217728,我们设置的是128M,实际是一样的,只是单位不同,可以自己换算下:134217728 = 128*1024*1024。

query_cache_type设置为1,显示为ON,这个前面已经说过了。

总之,看到上边的显示表示设置正确,但是在实际的查询中是否能够缓存查询,还需要手动测试下,我们可以通过show statuslike '%Qcache%';语句来测试,现在我们开启了查询缓存功能,在执行查询前,我们先看看相关参数的值:

mysql> show status like '%Qcache%';

+————————-+———–+

| Variable_name    |Value  |

+————————-+———–+

| Qcache_free_blocks   |1    |

| Qcache_free_memory   | 134208800|

| Qcache_hits     |0    |


浏览965 评论0
返回
目录
返回
首页
Apache HTTP Server权限提升漏洞(CVE-2019-0211) simple-Log_v1.7程序使用ueditor编译器,pre标签内容显示异常