互联网DBA需要做那些事

很早前就想写篇文章介绍一下互联网DBA需要干的一些事情,但苦于没有时间,忙于平台建设,最近,各个模块都初具规模,故有时间静下心来,介绍一下。

众所周知,互联网DBA与传统行业DBA有很大的不同,那就是管理的机器多,新技术更新快,面对的开发多、网络环境复杂、要求7*24待机;这样就 导致互联网DBA的工作在传统DBA工作之上,增加了更多的复杂性,我们必须考虑如何大批量部署,如何集中化监控、如何解决单点故障而保障7*24,而为 了做到这些,不是靠堆人力,我们必须有一个完整的平台作为支撑,那么数据库平台到底要建成什么样子呢?

1、强有力的监控系统(监+控):

监控是我们的眼睛,我们不可能7*24个小时盯着我们的DB,所以,我们需要监控系统来帮我们盯着,一旦异常,监控不仅仅通知我们,而必须要有控 制,例如:MySQL 从库宕机了我们通过监控自动让其下线;从库同步状态失效了,可以自动修复同步等;并且,随着机器的增加、实例daemon的增加,我们会发现我们的手机报 警会急剧增加,为了我们自己晚上能睡一个安稳觉,我们怎么去降低我们的报警,例如:哪些该短信,哪些该邮件;所有机器的磁盘空间报警是否可以整合后在报 呢?这就是我们监控系统必须考虑的,

MySQL数据库实时同步数据到Hadoop分布式文件系统的工具Applier

通过Map/Reduce进行批处理递送到Apache Hadoop仍然是中枢环节。,但随着要从“超思维速度“分析方面获取竞争优势的压力递增,因此Hadoop(分布式文件系统)自身经历重大的发展。科技的发展允许实时查询,如Apache Drill, Cloudera ImpalaStinger Initiative正脱颖而出,新一代的资源管理Apache YARN 支持这些。

为了支持这种日渐强调实时性操作,我们正发布一个新MySQL Applier for Hadoop(用于Hadoop的MySQL Applier)组件。它能够把MySQL中变化的事务复制到Hadoop / Hive / HDFS。Applier 组件补充现有基于批处理Apache Sqoop的连接性。

这个组件(MySQL Applier for Hadoop)的复制是通过连接MySQL主服务,一旦二进制日志被提交,就读取二进制日志事务,并且把它们写到HDFS.

mysql-applier-hdfs-hadoop-one

MySQL5.6主键的在线DDL变更测试

导读:本文主要详细测试online DDL中的删除,添加主键操作。关于MySQL5.6在线DDL的全文信息,请参照:MySQL5.6版本InnoDB存储引擎在线DDL变更的官方信息中文翻译版,
文章地址:http://www.mysqlops.com/2013/03/26/mysql56-innodb-ddl.html

测试目的主要有以下几点:
(1):以alter table的方式新增主键,MySQL需要做什么
(2):ALGORITHM=inplace与ALGORITHM=copy 增删主键的不同之处,和适用于怎么的环境
(3):inplace与copy对于重建主键的效率,考虑哪些元素
(4):online DDL是如何控制DML,查询的并发

1:测试online DDL新增主键操
mysql> show variables like ‘%sql_mode%’;
+—————+————————+
| Variable_name | Value |
+—————+————————+
| sql_mode | NO_ENGINE_SUBSTITUTION |
+—————+————————+
1 row in set (0.00 sec)

自动化运维之企业实际案例分析

 随着IT行业的迅猛发展,传统的运维方式靠大量人力比较吃力,近几年自动化运维管理快速的发展,得到了很多IT运维人员的青睐,一个完整的自动化运维包括系统安装、配置管理、服务监控三个方面。那今天咱们大家一起来学习一下puppet实际运维中的案例。仅供参考,欢迎大家提更多的意见!

一、应用背景
某公司新到500台服务器,需要安装Linux系统,并部署上线以及后期的管理配置。对于系统安装,这个时候肯定得采用批量安装的,常见批量安装方式有大家熟知的Kickstart和Cobbler,具体配置方法,网上也有很多好文章,这里略过。
提示:如果采用自动安装的话,我们可以自动初始化系统、内核简单优化、及常见服务、软件客户端等安装。当然puppet客户端也可以放在kickstart中安装并配置完毕。
当系统稳定运行后,现在我们需要调整和管理部分服务器,例如要修改100台服务器的系统参数、远程执行命令等,这时候如何操作呢?我们可能会想到脚本,想法很好,如果让你手动去100台服务器执行同样的脚本、或者修改某一个配置,是不是也浪费时间呢,利用puppet可以在几分钟、甚至数秒内全部搞定。

联想集团上海公司大客户部年薪20万招聘企业级产品售前技术专家

职位名称:联想集团大客户部企业级产品售前技术专家

工作地点:上海

负责区域:上海区域互联网和运营商行业客户

入职时间要求:5月1日前

薪资待遇:12-20万/年

职位类型:直接发送给部门负责人

 

知识要求:

1、大学本科及以上学历;

2、精通PC服务器相关软硬件技术;

想从事DBA工作,该挑选哪一款数据库产品

知乎问这原题:

现在主流数据库有很多,作为一个学生以后想从事dba的工作,应该学哪一种呢?

 

标题修改为:想从事DBA工作,该如何挑选一款数据库产品

 

mysqlops回答:

 

  1. 基础知识

不管你想选择哪种数据库产品,有些基础理论知识必须打扎实,尤其是:数据库系统概论、Linux操作系统、SQL标准语言、数据结构(重点排序算法)、开发语言(至少懂几款脚本语言,SHELL必须要会,其次最好能再掌握一种脚本语言,例如:PHP、Python、Perl、Ruby等都可以);

公益行动:2013年MySQL数据库DBA门生培养计划启动

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

n  申明信息

 

l  不会对门生收任何费用;

 

l  本期门生名额为:12名,2名候补,每届只招收12名学员;

 

l  门徒学期:为期一年的学习和交流;

 

l  学习方式:以电子邮件交流为主,其次是即时通信和电话交流,最后有条件的时候,才是面对面交流;

 

n  试卷作答要求

 

l  涉及MySQL的问题:不准使用搜索引擎,不准咨询任何人,只允许阅读官方英文版本手册;

 

l  MySQL知识领域的问答题,则属于开放型,但是依然不准咨询任何人;

 

l  试卷作答时间为:15天;

 

l  如实回答每个问题,不会对外公布你的作答结果;

欧飞网南京市招聘高级Oracle数据库DBA

职位名称:DBA(Oracle数据库)
工作地点:江苏-南京
公司名称:欧飞网

 

职位类型:非猎头职位,简历直递技术负责人

 

职位描述:
1、负责数据库系统的架构设计、优化、分布式负载部署、安全;
2、负责数据库的日常操作、安装、配置、监控、负载均衡、实时备份、灾难恢复和管理;