首 页 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 439 440 441 442 443 444 445 446 447 448 449 450 451 452 453 454 455 456 457 458 459 460 461 462 463 464 465 466 467 468 469 470 471 472 473 474 475 476 477 478 479 480 481 482 483 484 485 486 487 488 489 490 491 492 493 494 495 496 497 498 499 500 501 502 503 504 505 506 507 508 509 510 511 512 513 514 515 516 517 518 519 520 521 522 523 524 525 526 527 528 529 530 531 532 533 534 535 536 537 538 539 540 541 542 543 544 545 546 547 548 549 550 551 552 553 554 555 556 557 558 559 560 561 562 563 564 565 566 567 568 569 570 571 572 573 574 575 576 577 578 579 580 581 582 583 584 585 586 587 588 589 590 591 592 593 594 595 596 597 598 599 600 601 602 603 604 605 606 607 608 609 610 611 612 613 614 615 616 617 618 619 620 621 622 623 624 625 626 627 628 629 630 631 632 633 634 635 636 637 638 639 640 641 642 643 644 645 646 647 648 649 650 651 652 653 654 655 656 657 658 659 660 661 662 663 664 665 666 667 668 669 670 671 672 673 674 675 676 677 678 679 680 681 682 683 684 685 686 687 688 689 690 691 692 693 694 695 696 697 698 699 700 701 702 703 704 705 706 707 708 709 710 711 712 713 714 715 716 717 718 719 720 721 722 723 724 725 726 727 728 729 730 731 732 733 734 735 736 737 738 739 740 741 742 743 744 745 746 747 748 749 750 751 752 753 754 755 756 757 758 759 760 761 762 763 764 765 766 767 768 769 770 771 772 773 774 775 776 777 778 779 780 781 782 783 784 785 786 787 788 789 790 791 792 793 794 尾 页

Memcached与Redis各自特点

发布者: superzhang | 发布时间:2018-05-09

说到redis就会联想到memcached,反之亦然。了解过两者的同学有那么个大致的印象:redis与memcached相比,比仅支持简单的key-value数据类型,同时还提供list,set,zset,hash等数据结构的存储;redis支持数据的备份,即master-slave模式的数据备份;redis支持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进行使用等等,这似乎看起来redis比memcached更加牛逼一些,那么事实上是不是这样的呢?存在即合理,我们来根据几个不同点来一一比较一下。

网络IO模型

memcached是多线程,非阻塞IO复用的网络模型,分为监听主线程和worker子线程,监听线程监听网络连接,接受请求后,将连接描述字pipe传递给worker线程,进行读写IO,网络层使用libevent封装的事件库,多线程模型可以发挥多核作用,但是引入了cache coherency和锁的问题,比如:memcached最常用的stats命令,实际memcached所有操作都要对这个全局变量加锁,进行技术等工作,带来了性能损耗。

redis使用单线程的IO复用模型,自己封装了一个简单的AeEvent事件处理框架,主要实现了epoll, kqueue和select,对于单存只有IO操作来说,单线程可以将速度

想读更多 ->

Mysql 8 重要新特性-CTE 通用表表达式

发布者: superzhang | 发布时间:2018-05-09

前言

Mysql 8 重要新特性-CTE 通用表表达式

Mysql 8 正式发布了,新增了很多优秀特性,之后我会挑些重点来分享。

下面和大家一起熟悉下CTE(Common Table Expressions)通用表表达式。

CTE 是什么

派生表大家都比较熟悉了,CTE 就是针对派生表来的,可以说是增强的派生表,或者说时派生表的替换。

派生表是FROM中的子查询,例如:

SELECT ... FROM (subquery) AS derived, t1 ...

CTE 就像派生表,但它的声明是在查询块儿之前,而不是在FROM中,例如:

WITH derived AS (subquery)SELECT ... FROM derived, t1 ...CTE 的语法

想读更多 ->

世界上最昂贵的数据库——Oracle数据库即将走上花式作死之路吗?

发布者: superzhang | 发布时间:2018-05-09

世界上最昂贵的数据库——Oracle数据库即将走上花式作死之路吗?

oracle数据库

众所周知,Oracle DataBase是一款关系型数据库管理系统。同类的产品还有mySql,sqlServer等,大多数情况下,我们会把那个承载我们核心数据的系统笼统地成为数据库服务器,但从严格意义上来讲Oracle DataBase是由两个部分组成:  

世界上最昂贵的数据库——Oracle数据库即将走上花式作死之路吗?

实例:实例是数据库启动时初始化的一组进程和内存结构;

数据库:数据库则指的是用户存储数据的一些物理文件;

正因为如此我们一般才会说 关闭和启动实例,加载卸载数据库。

从实例和数据库的概念上来看,我们能知道,实例暂时的

想读更多 ->

大神教你自动发现监控mysql从库状态

发布者: superzhang | 发布时间:2018-05-09

导读zabbix从库如果复制有问题,在主库机器有问题的时候,切为主就会导致数据的丢失。或者主从分离的时候,如果从库出现延时状态的话,会导致前端页面展示的数据不是为最新的数据。因此,监控mysql从库的状态是必要的。

mysql从库的状态主要监控的值有三个,分别为Slave SQL Running,Slave IO Running和Seconds Behind Master。只有当Slave SQL Running,Slave IO Running为yes,然后Seconds Behind Master为0的时候,从库才有可能运行在正常的状态下(有时候这三个值都符合要求,从库数据也会有问题)。先看下监控的效果:

大神教你自动发现监控mysql从库状态

由于是自动发现监控的mysql从库状态,因此,先贴下自动发现规则的配置,使用mysql.slave.discover去获取mysql从库的端口,在从库安装zabbix agentd,并添加配置(UserParameter=mysql.slave.discover,p

想读更多 ->

mysql字符集的设置

发布者: superzhang | 发布时间:2018-05-09

查看服务器字符集设置

mysql> SHOW VARIABLES WHERE Variable_name LIKE'character%'OR Variable_name LIKE'collation%';

+--------------------------+--------------------+

| Variable_name | Value |

+--------------------------+--------------------+

| character_set_client | utf8mb4 |

| character_set_connection | utf8mb4 |

| character_set_database | utf8mb4 |

| character_set_filesystem | binary |

| character_set_results | utf8mb4 |

| character_set_server | utf8mb4 |

| character_set_system | utf8 |

| collation_connection | utf8mb4_unicode

想读更多 ->

利用Zipkin追踪Mysql数据库调用链

发布者: superzhang | 发布时间:2018-05-09

利用Zipkin追踪Mysql数据库调用链

概述

在前面:微服务调用链追踪中心搭建 一文中我们利用Zipkin搭建了一个微服务调用链的追踪中心,并且模拟了微服务调用的实验场景。利用Zipkin的库Brave,我们可以收集一个客户端请求从发出到被响应 经历了哪些组件、哪些微服务、请求总时长、每个组件所花时长 等信息。

本文将讲述如何利用Zipkin对Mysql数据库的调用进行追踪,这里同样借助OpenZipkin库Brave来完成。

扩展ZipkinTool组件

ZipkinTool是在《微服务调用链追踪中心搭建》一文中编写的与Zipkin通信的工具组件,利用其追踪微服务调用链的,现在我们想追踪Mysql数据库调用链的话,可以扩展一下其功能。

pom.xml添加依赖:

<dependency> <groupId>io.zipkin.brave</groupId> <artifactId>brave-mysql&

想读更多 ->

关于Navicat和MYSQL字符集不统一出现中文乱码解决方案(原创)

发布者: superzhang | 发布时间:2018-05-09

关于Navicat和MYSQL字符集不统一出现中文乱码解决方案

先打开mysql目录下的my.ini文件

关于Navicat和MYSQL字符集不统一出现中文乱码解决方案(原创)

确认俩处值为为utf8

关于Navicat和MYSQL字符集不统一出现中文乱码解决方案(原创)

在Navicat连接属性中

MySQL中的自增列

当然,最近还有个网友问了我一个自增列的问题,描述的场景略微复杂些,我做了简化和抽象。

我们创建两个表t1,t2,在t2里面插入数据,然后使用insert into select的方式插入数据。

mysql> create table t1(id int auto_increment primary key,name varc

想读更多 ->

从HDFS同步数据到mysql:搭建数据分析体系第30篇

发布者: superzhang | 发布时间:2018-05-09

DATAX配置文件

使用datax替换sqoop,感觉差不多,看业务需要选择。

datax将数据从hdfs同步到mysql的配置

假设hdfs中文件有三列,读取这个HDFS上的文件,向mysql中同步。

获取配置模板

python datax.py -r hdfsreader -w mysqlwriter

先要创建mysql表

create table people1(

id VARCHAR(100),

name VARCHAR(100),

age VARCHAR(100),

)

从HDFS同步数据到mysql:搭建数据分析体系第30篇

如下是json文件的配置信息

{

"job": {

"content": [

{

"reader": {

"name": "hdfsreader",

"parameter":{

"column": [

{<

想读更多 ->

部署hive创建元数据库到mysql中:搭建数据分析体系第27篇

发布者: superzhang | 发布时间:2018-05-09

部署了hive后,创建hive元数据库到mysql中。

hive的配置主要是mysql的连接方式配置如下:

jdbc:mysql://127.0.0.1:3306/people?useUnicode=true&amp;characterEncoding=UTF-8&amp;createDatabaseIfNotExist=true

部署hive创建元数据库到mysql中:搭建数据分析体系第27篇

具体配置如下

<?xml version="1.0" encoding="UTF-8" standalone="no"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

<name>hive.exec.scratchdir</name>

想读更多 ->