- 利用Twemperf测试Memcache的性能 11-25
- 影响PHP开发工程师薪资的因素都有哪些? 11-25
- wamp安装memcache拓展(附相关文件下载地址 11-25
- 网易视频云分享:Facebook memcache优 11-25
- 程序员技术面试中,关于session相关的内容整理 11-25
- Java互联网架构-深度剖析MySQL 事务处理机制 11-25
- DB分库分表 11-25
- 全球分布式,多模数据库Azure Cosmos DB 11-25
- 游戏日志DB迁移总结 11-25
- Oreint DB 远程代码执行漏洞 11-25
利用Twemperf测试Memcache的性能
发布者: superzhang | 发布时间:2017-11-25小强软件测试,因为不是天生丽质,所以必须天生励志。性能、python自动化班长期招生
官网:http://xqtesting.sxl.cn
QQ群:229390571
介绍
Twemperf又名mcperf,是一款memcached的性能测试工具。它使用memcached的ASCII协议并且能够快速的产生大量memcached连接和请求。该工具主要用于memcached性能测试,模拟大并发set、get等操作,mcperf只能运行在unix/linux环境下。
安装
下载:https://github.com/twitter/twemperf
安装就是普通的三部曲,此处不写了,不会的朋友自行Google
用法
第一种:创建1000个并发连接,来连接本机的11211端口(此端口是该工具的默认端口),连接创建的速度是每秒1000个,每一个连接发送“set”请求10次(相当于迭代10次),这10次请求在每秒1000的请求的速度下发送,发送的数据大小在(也就是存入到memcached中的value的大小)1~16个字节中正态分布。
命令为:mcperf --linger=0 --timeout=5 --conn-rate=1000 --call-rate=1000
影响PHP开发工程师薪资的因素都有哪些?
发布者: superzhang | 发布时间:2017-11-25影响PHP开发IT工程师薪资的因素都有哪些?济南优就业IT培训的小编整理了以下原因,你占了几条?赶紧收拾收拾避雷吧:
1、 技术能力1)初级PHP: Thinkphp,Yii, Laravel等驾轻就熟,增删改查必备。
2)中级PHP: get进阶技--数据库索引和优化自不必说,分表分库还是要有的,memcache和redis的使用频率不能低于月次,不了解前端是不是说不过去了?
3)高级PHP: 除了上面的条件外,还要有门面担当的素质,玩转Linux常用指令,熟悉memcache和redis 原理,对于算法和数据结构有你敢问我就敢答的自信,Hadoop,hive,spark不过是平常的玩具,最重要的还是经历过大场面(有处理过百万日PV网站高并发,大数据的经验)。
4)当然在Github开淘宝店或有个人站点是HR大爱,在各大极客社区里有头有脸的那是极好的。
1) 我们在这里讨论的是普遍情况下北京PHP薪资水平。
2
wamp安装memcache拓展(附相关文件下载地址)
发布者: superzhang | 发布时间:2017-11-25一,下载PHP对应版本的安装程序,分32位和64位。解压到指定的安装目录即可,共6个文件。
32位地址链接: http://pan.baidu.com/s/1bKbvMQ 密码: 67yg
64位地址链接: http://pan.baidu.com/s/1pL6ZVzt 密码: cmdn
二、 打开CMD命令窗口后,进入到memcache的解压目录,执行命令
memcached.exe -d install (安装)
memcached.exe -d start (运行)
注意:执行CMD命令,一定要以管理员身份运行程序,否则会报错:“failed to install service or service already installed”。最简单的方法就是开始菜单——程序——附件,找到CMD命令图标后右键以管理员身份运行。如果WIN10系统,可以点击小娜输入CMD再右键点击程序图标以管理员身
网易视频云分享:Facebook memcache优化经验
发布者: superzhang | 发布时间:2017-11-25网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术,提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PAAS服务,在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在,网易视频云的技术专家给大家分享一则技术文:Facebook memcache优化经验。
memcache是facebook的重要基础设施, 有数据为证: 缓存了T级记录, 支持每秒G级别访问次数, 单页面经常访问上千次memcache。 facebook从memcache节点、集群、region、跨region等各层次对memcache做了大量优化和改造, 本文简单介绍facebook在memcache节点和集群层次做的一些优化工作。
降低延迟的方法:
并行请求。根据数据依赖关系构建DAG, 无依赖的数据批量发送到memache服务端, 根据统计平均每个请求包括24个key。
通讯优化。get操作使用UDP,删除和更新操作使用TCP, 响应时间降低20%。
流量控制。通过滑动窗口控制单个客户端发出的并发请求数目,避免服务器过载。
降低负载的方法:
Lease, 用于解决 memcache应用过程常见的两个问题: (1)stale
程序员技术面试中,关于session相关的内容整理
发布者: superzhang | 发布时间:2017-11-25本文以PHP语言实现session为例:
Session共享:
Web开发中经常使用到session
php支持把会话数据存储到某台memcache服务器,你也可以手工把session文件存放的目录改为nfs网络文件系统,从而实现文件的跨机器共享。
session运行原理:
为什么session依赖cookie:
Java互联网架构-深度剖析MySQL 事务处理机制
发布者: superzhang | 发布时间:2017-11-25概述
MySQL的事务支持不是绑定在MySQL服务器本身,而是与存储引擎相关1.MyISAM:不支持事务,用于只读程序提高性能 2.InnoDB:支持ACID事务、行级锁、并发 3.Berkeley DB:支持事务
一个事务是一个连续的一组数据库操作,就好像它是一个单一的工作单元进行。换言之,永远不会是完整的事务,除非该组内的每个单独的操作是成功的。如果在事务的任何操作失败,则整个事务将失败。
实际上,会俱乐部许多SQL查询到一个组中,将执行所有的人都一起作为事务的一部分。
事务的特性:
事务有以下四个标准属性的缩写ACID,通常被称为:
原子性: 确保工作单元内的所有操作都成功完成,否则事务将被中止在故障点,和以前的操作将回滚到以前的状态。
一致性: 确保数据库正确地改变状态后,成功提交的事务。
隔离性: 使事务操作彼此独立的和透明的。
持久性: 确保提交的事务的结果或效果的系统出现故障的情况下仍然存在。
事务
数据库事务
数据库事务(Database Transaction),是指作为单个逻辑工作单元执行的一系列操作,要么完全执行,要么完全地不执行。
ACID
事务必须具备ACID四个特性
DB分库分表
发布者: superzhang | 发布时间:2017-11-25DB分库分表
最近事情比较多,这期就简单跟大家水一期DB分库分表的概念,希望大家能喜欢,如果内容不够干,还希望能多多担待。
数据切分
通过特定条件将数据库中的数据散列到多个数据库实例中,达到分散访问压力的效果。
数据根据指定规则切分不同类型,有两种切分方法。
垂直切分,不同的表切分到不同的数据库实例
水平切分,表中不同的数据按照规则,将同一表中的数据拆分到多台数据库实例中
垂直切分
垂直切分的规则简单,实现起来简单,适合业务之间耦合度低且相互影响很小的业务系统。根据不同系统的模块进行表的拆分,分散到不同的数据库实例集群中。
水平切分
水平切分的规则复杂的多,需要将同一个表中不同的分类的数据拆分到不同的数据库实例中,对于程序设计上,考虑无时无刻需要考虑分组规则。
切分方法分析
垂直切分
一个数据库实例由多个表构成,各个表被不同的业务模块使用,那么垂直切分就是将表进行分类,分散到不同的数据库实例中去,这样就很好的将请求压力分散到各个机器中。
Cosmos DB 最值得吹牛的就是他宣传的SLA能力:(真牛逼)
1)全球分布式,自动解决数据中心复制等问题。
2)支持5种一致性模型,见下图,让用户自主选择,解决应用一致性和性能的平衡。
3)99%的低时延。
4)99.99%的高可靠。
5)多种数据库模型(K/V,列簇,文档,图),保留多种AP
游戏日志DB迁移总结
发布者: superzhang | 发布时间:2017-11-25上周,游戏logdb磁盘空间不足,检查发现没有配置innodb_file_per_table=1,数据库空间无法收缩,从A1到A1或A1到A5采用那种方式比较合适呢?
感谢大家关注本头条号,每天分享高质量的游戏开发经验,游戏运营经验和从零到一完整开发一款产品方法一:数据文件迁移安装好新MYSQL
停掉原DB
拷贝原DB的/data/mysqldata/innodb/data目录到新机器覆盖
scp -r /data/mysqldata/innodb/data mysql@***.17.142.100#36000:/data/mysqldata/innodb
scp -r /data/mysqldata/innodb/log mysql@***.17.142.100#36000:/data/mysqldata/innodb
scp -r /data/mysqldata/relay-log mysql@172.17.142.100#36000:/data/mysqldata
拷贝原DB的/data/mysqldata/data到新机器覆盖
scp -r /data/mysqldata/data mysql@***.17.142.100#36000:/data/mysqldata
Oreint DB 远程代码执行漏洞
发布者: superzhang | 发布时间:2017-11-250×01 关于orient db数据库
OrientDB是一个开源NoSQL数据库管理系统。 NoSQL数据库提供了一种用于存储和检索引用除表式数据之外的数据(例如文档数据或图形数据)的NO关系或非关系数据的机制。 NoSQL数据库越来越多地用于大数据和实时Web应用程序。 NoSQL系统有时也被称为“Not Only SQL”,以强调它们可能支持类似SQL的查询语言。
OrientDB也属于NoSQL系列。 OrientDB是第二代分布式数据库,具有灵活性的文档在一个产品与Apache 2许可证的开放源代码。 在OrientDB之前市场上有几个NoSQL数据库,其中一个是MongoDB。
0×01 orient db 数据库的基础知识
步骤1 – 下载OrientDB二进制设置文件
下载地址:http://orientdb.com/download社区版和企业版都可以在任何实现Java虚拟机(JVM)的操作系统上运行。 OrientDB需要1.7或更
