-
你真的了解数据库工程师吗?写给想从事数据库方面工作的朋友
所属栏目:[MySql教程] 日期:2019-01-29 热度:147
每当我给别人介绍我的职位是数据库工程师的时候,别人都会用疑惑的眼睛看着我。总会抛出一个问题:数据库工程师是做什么的? 对于经常听到数据库管理员(DBA),数据分析师,数据库开发工程师,数据挖掘工程师,数据架构师,ETL工程师等这些职位,之前我也是[详细]
-
浅谈SQL Server内部运行机制
所属栏目:[MySql教程] 日期:2019-01-29 热度:84
副标题#e# 对于已经很熟悉T-SQL的读者,或者对于较专业的DBA来说,逻辑的增删改查,或者较复杂的SQL语句,都是非常简单的,不存在任何挑战,不值得一提,那么,SQL的哪些方面是他们的挑战 或者软肋呢? 那就是sql优化。然而,要想成为一个好的Sql优化高手,[详细]
-
数据库的“行式存储”和“列式存储”
所属栏目:[MySql教程] 日期:2019-01-29 热度:73
传统的关系型数据库,如 Oracle、DB2、MySQL、SQL SERVER 等采用行式存储法(Row-based),在基于行式存储的数据库中, 数据是按照行数据为基础逻辑存储单元进行存储的, 一行中的数据在存储介质中以连续存储形式存在。 我们知道,当今的数据处理大致可分为[详细]
-
FoundationDB Record Layer 宣布开源,提供关系数据库功能
所属栏目:[MySql教程] 日期:2019-01-26 热度:154
昨日,FoundationDB 数据库宣布开源 FoundationDB Record Layer。既然提到了层(layer)这个概念,我们不妨在这里简单说一下 FoundationDB 和层之间的渊源 。层(layer)源于 FoundationDB 创立之初的理念 FoundationDB 的愿景是从一个简单且强大的核内核开始[详细]
-
大牛是怎么思考设计MySQL优化方案的?
所属栏目:[MySql教程] 日期:2019-01-26 热度:73
副标题#e# 在进行MySQL的优化之前,必须要了解的就是MySQL的查询过程,很多查询优化工作实际上就是遵循一些原则,让MySQL的优化器能够按照预想的合理方式运行而已。 图-MySQL查询过程 一、优化的哲学 注:优化有风险,涉足需谨慎 1、优化可能带来的问题 优[详细]
-
数据库分库分表,何时分?怎样分?
所属栏目:[MySql教程] 日期:2019-01-26 热度:116
副标题#e# 一. 数据切分 关系型数据库本身比较容易成为系统瓶颈,单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后,由于查询维度较多,即使添加从库、优化索引,做很多操作时性能仍下降严重。此时就要考虑对其进行切分了,切分的[详细]
-
为什么企业依赖于NoSQL
所属栏目:[MySql教程] 日期:2019-01-26 热度:123
如果你关注大数据科技动向,你对 NoSQL 一定不陌生,NoSQL 是一个分布式数据库。在过去时间,数据存储一直关系型数据库天下,有着良好的控制并发操作、事务功能。虽然 RDBMS 很优秀,但是随着时间的推移就出现了两个关系数据库解决不了的问题:快速增长的[详细]
-
值得收藏:一份非常完整的MySQL规范
所属栏目:[MySql教程] 日期:2019-01-26 热度:71
副标题#e# 一、数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来) 数据库对象的命名要能做到见名识意,并且最后不要超过32个字符 临时库[详细]
-
高吞吐低延迟的 NoSQL 数据库——Scylla 3.0 发布
所属栏目:[MySql教程] 日期:2019-01-26 热度:192
开源 NoSQL 数据库 Scylla Open Source 发布第 3 个主要版本更新,这个版本提高了查询效率并减少存储的容量需求,尽可能降低维护时间,同时也还加强了整体数据库的执行效率,官方表示,Scylla 是目前性能最高的 NoSQL 数据库,包括布署于生产环境的 Apache[详细]
-
苹果 FoundationDB 开源 CloudKit 使用的数据层
所属栏目:[MySql教程] 日期:2019-01-26 热度:158
苹果公司旗下的 FoundationDB 今天宣布,将开源 FoundationDB 数据记录层,它提供了基于 FoundationDB 的关系数据库语义,具有模式管理,索引功能和丰富的查询功能集。 苹果使用数据记录层为数亿用户提供应用程序和服务,并与 FoundationDB 相结合,构成了[详细]
-
是否值得付费?Oracle,Open JDK等四大JVM性能全面对比
所属栏目:[MySql教程] 日期:2019-01-26 热度:129
副标题#e# 市面上可供选择的JVM发行版还是有不少的。选择合适的JVM需要考虑不同的因素。性能是其中一个重要的因素。靠谱的性能研究是很困难的。在本文中,我创建了一个测试,在不同的JVM上执行对比测试。测试程序包括Spring Boot REST应用,使用Prometheus[详细]
-
实用排坑帖:SQL语句性能优化操作策略大全
所属栏目:[MySql教程] 日期:2019-01-26 热度:109
副标题#e# 本文会提到52条SQL语句性能优化策略。 1、对查询进行优化,应尽量避免全表扫描,首先应考虑在where及order by涉及的列上建立索引。 2、应尽量避免在where子句中对字段进行null值判断,创建表时NULL是默认值,但大多数时候应该使用NOT NULL,或者[详细]
-
Redis实现分布式锁的正确姿势
所属栏目:[MySql教程] 日期:2019-01-26 热度:68
副标题#e# 一、前言 在我们日常工作中,除了Spring和Mybatis外,用到最多无外乎分布式缓存框架Redis。但是很多工作很多年的朋友对Redis还处于一个最基础的使用和认识。所以我就像把自己对分布式缓存的一些理解和应用整理一个系列,希望可以帮助到大家加深对[详细]
-
MySQL基本知识点梳理和查询优化
所属栏目:[MySql教程] 日期:2019-01-01 热度:66
副标题#e# 目录 一、索引相关 二、EXPLIAN中有用的信息 三、字段类型和编码 四、SQL语句总结 五、踩坑 六、千万大表在线修改 七、慢查询日志 八、查看sql进程和杀死进程 九、一些数据库性能的思考 本文主要是总结了工作中一些常用的操作,以及不合理的操作[详细]
-
MySQL每秒57万的写入,带你飞~
所属栏目:[MySql教程] 日期:2018-12-15 热度:166
一、需求 一个朋友接到一个需求,从大数据平台收到一个数据写入在20亿+,需要快速地加载到MySQL中,供第二天业务展示使用。 二、实现再分析 对于单表20亿, 在MySQL运维,说真的这块目前涉及得比较少,也基本没什么经验,但对于InnoDB单表Insert 如果内存[详细]
-
MySQL分布式架构扩缩容的初步设计
所属栏目:[MySql教程] 日期:2018-12-15 热度:191
MySQL分布式架构的扩缩容是一个很有意思的话题。严格的说,我们所说的这种架构方案是一种伪分布式架构,我们就做下统称。重点是扩缩容的思路上。 如果一套环境的主从完整,分为多个逻辑分片的情况下,大体是这样的架构。 这个架构采用了4个物理分片,每个[详细]
-
免费电子书|MongoDB入门到实践
所属栏目:[MySql教程] 日期:2018-12-15 热度:191
都说技术在飞速发展,新技术也在不断涌现,但我认为,其实程序员所用的基础技术的发展是相对缓慢的,你可以好几年不学习但还能混得下去。令人惊讶的其实是成熟技术的被替换速度。就像在一夜之间,那些长期稳定成熟的技术发现它们不再被开发者关注。 最好的[详细]
-
记一次生产数据库意外重启的经历
所属栏目:[MySql教程] 日期:2018-12-15 热度:69
副标题#e# 前言 在一个阳光明媚的下午,电脑右下角传来一片片邮件提醒,同时伴随着微信钉钉的震动,打开一看,应用各种出错,天兔告警,数据库服务器内存爆红,MySql 数据库实例挂掉了。 排查 先交代一下数据库版本: mysqlstatus -------------- mysqlVer1[详细]
-
携程一次Redis迁移容器后Slowlog“异常”分析
所属栏目:[MySql教程] 日期:2018-12-15 热度:94
副标题#e# 容器化对于Redis自动化运维效率、资源利用率方面都有巨大提升,携程在对Redis在容器上性能和稳定性进行充分验证后,启动了生产Redis迁移容器化的项目。其中第一批次两台宿主机,第二批次五台宿主机。 本次异常是第二批次迁移过程中发现的,排查过[详细]
-
携程一次Redis迁移容器后的Slowlog“异常”分析
所属栏目:[MySql教程] 日期:2018-12-15 热度:134
副标题#e# 容器化对于Redis自动化运维效率、资源利用率方面都有巨大提升,携程在对Redis在容器上性能和稳定性进行充分验证后,启动了生产Redis迁移容器化的项目。其中第一批次两台宿主机,第二批次五台宿主机。 本次异常是第二批次迁移过程中发现的,排查过[详细]
-
使用systemtap调试工具分析MySQL的性能
所属栏目:[MySql教程] 日期:2018-12-05 热度:53
【工具】 SystemTap是Linux下的动态跟踪工具,可以方便的监控、跟踪运行中的程序或Linux内核操作,我们通过写SystemTap脚本(与C语言类似),编译为内核模块,然后加载到内核中运行,它带来的性能损耗比较[详细]
-
MySQL8.0里GROUP BY有变化,注意了
所属栏目:[MySql教程] 日期:2018-12-05 热度:80
如题所示,MySQL 8.0开始 group by 默认是没有排序的,那MySQL 8.0之前和 8.0 就有可能结果出现不同,需要警惕。 运行如下SQL: 下面是8.0 版本: 运行相同的SQL: 如果这种情况下,进行分页。 5.7 版本: 8.0版本: 由上可见,两个结果是不一样的,原因是[详细]
-
为什么我们做分布式使用Redis?
所属栏目:[MySql教程] 日期:2018-12-05 热度:162
副标题#e# 绝大部分写业务的程序员,在实际开发中使用 Redis 的时候,只会 Set Value 和 Get Value 两个操作,对 Redis 整体缺乏一个认知。这里对 Redis 常见问题做一个总结,解决大家的知识盲点。 1、为什么使用 Redis 在项目中使用 Redis,主要考虑两个角[详细]
-
数据库中为什么不推荐使用外键约束
所属栏目:[MySql教程] 日期:2018-12-05 热度:163
引言 其实这个话题是老生常谈,,很多人在工作中确实也不会使用外键。包括在阿里的JAVA规范中也有下面这一条 【强制】不得使用外键与级联,一切外键概念必须在应用层解决。 但是呢,询问他们原因,大多是这么回答的 每次做DELETE 或者UPDATE都必须考虑外键[详细]
-
全聚德如今的情况,确实已经今非昔比了?
所属栏目:[MySql教程] 日期:2018-12-05 热度:86
济南站长网(http://www.0531zz.com)了解到早在1994年,全聚德无形资产价值就达到了2.69亿元人民币。2004年6月28日在世界品牌实验室和世界经济论坛主办召开的世界品牌大会上,全聚德品牌评估价值上升到84.58亿元人民币2005年8月6日,世界品牌实验室宣布全[详细]