2014中华架构师大会蓄势待发

会议官网

【大会介绍】
中华架构师大会又将与大家见面了!

2014年11月15日-16日,上海长城假日酒店,我们诚挚地欢迎您的参加!

自2010年11月首次举办以来,大会云集了国内水平最高的IT架构师、技术总监、项目经理、运维总监/经理、DBA经理、研发工程师等IT技术大牛,由最初的百人规模扩展到现今超千人的技术饕餮盛宴。大会一直受到业界广泛关注与赞誉,是目前华东与华南地区最受欢迎、人气最高的架构师技术交流盛会。本次大会将继续秉承分享IT最佳应用实践的宗旨,以“发现架构之美,实战为王”为主题,邀请国内知名互联网企业的资深架构师和工程师,探讨实下最热门的行业趋势与技术热点,分享架构在企业中的最佳实践。大会关键词:分布式文件系统、大数据、GO语言、自动化、分布式数据库、云计算架构设计等。

欢迎大家踊跃报名参会,大会期间将与各行精英面对面的交流,绝对让您不虚此行。

本届会议官方报名网站:http://meeting.zhdba.com

【大会详情】
会议名称: 2014中华架构师大会
会议时间: 2014年11月15日-16日
会议举办具体地址:上海恒丰路585号 上海广场长城假日酒店
票价: 免费
会议主办方:中华数据库行业协会
联系人:朱颖丹
电话:136 5197 9898
邮箱:zhuyingdan@zhdba.com

【主持人】

分布式对象存储系统Sheepdog性能测试

Sheepdog是一个分布式对象存储系统,专为虚拟机提供块存储,号称无单点、零配置、可线性扩展(省略更多优点介绍)。本文主要关注其性能究竟如何,测试版本为目前的最新稳定版0.7.4。

测试环境

  • 节点数量:6个
  • 磁盘:各节点都配备7200转SATA硬盘,型号WDC WD10EZEX-22RKKA0,容量为1TB,另外测试节点(即用于启动虚拟客户机的宿主机)多配置一块SSD硬盘,型号INTEL SSDSA2CW300G3,容量为300GB
  • 网络:测试节点配备PCI-E双千兆网卡,通过bonding进行负载均衡
  • 文件系统:ext4fs,挂载参数:rw,noatime,barrier=0,user_xattr,data=writeback
  • sheepdog集群
    • 可用空间:6个节点各分配100GB,总共600GB
    • 对象副本数量:3个,客户机实际最大可用空间为200GB,接近项目规划的容量
    • 对象缓存:使用SSD硬盘,分配256GB,可完全缓存客户机文件系统,随测试项目需要挂载或卸载

淘宝分布式文件系统TFS安装配置手册–JAVA Client实战

TFS Java客户端的说明

 

tfs-client-java版本选择:

—————————————

tfs-client-java的版本有:
release-2.0.0/
tfs-with-large-2.1.1/
tfs-client-java-2.1.3/
release-2.2.2/
release-2.2.3/
release-2.2.4/
release-2.2.6/
最终我选用了tfs-client-java-2.1.3/ 版本,因为最高的2.2.x版本,工作时必需要与rcserver通信。
我目前不需要rcserver所有没有安装rcserver,所以使用2.1.3版本。

淘宝分布式文件系统TFS安装配置手册–NameServer配置

ns.conf 中注意修改的项目
—————————————————–
public->log_level=debug #日志文件的级别
public->port = 8108  #nameserver监听端口
public->work_dir=/usr/local/tfs  #工作目录,也就是tfs的安装目录
public->dev_name= eth0  #网络设备,即通信网卡,一般用内网
public->ip_addr = 192.168.119.145 #本机IP地址(vip),配置ha时为vip,没配置可以为主ns的ip

nameserver->ip_addr_list = 192.168.119.145|192.168.119.147  #nameserver IP地址列表(master, salve的ip地址,只能以’|'分隔)
nameserver->block_max_size = 67108864  #Block size的最大值, 单位(字节),必须 >= dataserver的mainblock_size,推荐设置一致。

淘宝分布式文件系统TFS安装配置手册-DataServer配置

目前的情况,tfs安装在/usr/local/tfs/
在 /usr/local/tfs/conf/目录,共有三个文件需要配置:ns.conf、ads.conf和ds.conf
各个文件功能
ns.conf用于配置nameserver,
ds.conf用于配置dataserver,
ads.conf为可选配置文件,用于配置nameserver和dataserver地址信息,可用于快速启动ns和ds。
rc.conf为可选配置文件,用于配置rcserver相关信息,主要适用于集群多,应用多的用户,可实现应用资源和集群资源的管理。
meta.conf为可选配置文件,用于配置metaserver相关信息,主要用于自定义文件名功能。
rs.conf为可选配置文件,用于配置rootserver相关信息,主要用于自定义文件名功能。

淘宝分布式文件系统TFS安装配置手册(一)

文章目录:
一、TFS(Taobao File System)安装方法
二、TFS(Taobao File System)配置dataServer、分区、挂载数据盘
三、TFS(Taobao File System)配置NameServer
四、TFS(Taobao File System)Java Client
————————————————————————
      TFS(Taobao File System)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器 集群上,可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储,通常文件大小不超过1M,满足了淘宝对小文件存储的需求,被广泛地应用 在淘宝各项应用中。它采用了HA架构和平滑扩容,保证了整个文件系统的可用性和扩展性。同时扁平化的数据组织结构,可将文件名映射到文件的物理地址,简化了文件的访问流程,一定程度上为TFS提供了良好的读写性能。