首 页 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 439 440 441 442 443 444 445 446 447 448 449 450 451 452 453 454 455 456 457 458 459 460 461 462 463 464 465 466 467 468 469 470 471 472 473 474 475 476 477 478 479 480 481 482 483 484 485 486 487 488 489 490 491 492 493 494 495 496 497 498 499 500 501 502 503 504 505 506 507 508 509 510 511 512 513 514 515 516 517 518 519 520 521 522 523 524 525 526 527 528 529 530 531 532 533 534 535 536 537 538 539 540 541 542 543 544 545 546 547 548 549 550 551 552 553 554 555 556 557 558 559 560 561 562 563 564 565 566 567 568 569 570 571 572 573 574 575 576 577 578 579 580 581 582 583 584 585 586 587 588 589 590 591 592 593 594 595 596 597 598 599 600 601 602 603 604 605 606 607 608 609 610 611 612 613 614 615 616 617 618 619 620 621 622 623 624 625 626 627 628 629 630 631 632 633 634 635 636 637 638 639 640 641 642 643 644 645 646 647 648 649 650 651 652 653 654 655 656 657 658 659 660 661 662 663 664 665 666 667 668 669 670 671 672 673 674 675 676 677 678 679 680 681 682 683 684 685 686 687 688 689 690 691 692 693 694 695 696 697 698 699 700 701 702 703 704 705 706 707 708 709 710 711 712 713 714 715 716 717 718 719 720 721 722 723 724 725 726 727 728 729 730 731 732 733 734 735 736 737 738 739 740 741 742 743 744 745 746 747 748 749 750 751 752 753 754 755 756 757 758 759 760 尾 页

将MongoDB数据加载到Elasticsearch

发布者: PHPYuan | 发布时间:2018-08-08

一、前言

由于业务需要,需要将放在MongoDB的数据加载到Elasticsearch,Elasticsearch天生具有全文检索优势。MongoDB虽然新的版本也支持fulltext,但目前尚未支持中文。所以这里我们就用比较流行的Elasticsearch。

另外,为了方便,我会基于Docker搭建MongoDB和Elasticsearch集群

二、docker的安装和使用

环境:Ubuntu 16.04.5 LTS

2.1 如果存在旧版本docker,先删除旧版本

<code>$ sudo apt-get remove docker docker-engine docker.io</code>

2.2 更新apt-get

$sudo apt-get update

2.3 添加docker官方 GPG key

$ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

$ sudo apt-key fingerprint 0EBFCD88

pub 4096R/0EBFCD88 2017-02-22

K

想读更多 ->

mongodb aggregate 聚合管道分组查询

发布者: PHPYuan | 发布时间:2018-08-08

多个分组统计求和查询

db.getCollection('col').aggregate([

{

$match:{

"column":/牛/,

"createUtcTime": { $gte: 1533332000000, $lte: 1543139200000}

}

},

{

$group: {_id : {column1:"$column1",column2:"$column2"} , count : {$sum : 1}}

}

]);

match 匹配查询

group 分组

/../ 模糊查询

$gte 大于等于

$gt 大于

$lte 小于等于

$lt 小于

mongodb aggregate 聚合管道分组查询

分组求和

想读更多 ->

linux内存性能分析

发布者: PHPYuan | 发布时间:2018-08-08

step1,top 命令查看 内存占用情况

linux内存性能分析

主要的指标

注意:buffer cache 缓冲器高速缓冲存储器。是linux利用空余内存更好的优化应用程序的读写,这一部分内存在应用程序内存不够的时候linux会请求释放

可以yum install iotop,通过iotop查看进程利用情况

step2,如果应用程序占用较高

可通过jmap 分析应用内存利用情况

jmap -histo:live 8888 | head -n 100

想读更多 ->

Linux 安全关机——shutdown

发布者: PHPYuan | 发布时间:2018-08-08

原因:由于Linux是多用户,多任务操作系统,其所有程序或服务都是在后台运行,当前用户使用时,后台可能也有很多用户在使用;关于数据,系统在处理数据的时候,基本上都是先保存在内存中,在一定时间后才会写入硬盘,做持久化;基于以上两个要求,安全关机要做下以下:观察系统状态:who --> 当前在线用户;netstat -a -->网络状态;ps -aux -->当前后台执行的程序;手动同步内存数据到硬盘做持久化 : sync 命令通知在线用户关机时间 : shutdown 命令可实现使用正确的关机命令 : shutdown 、 reboot等Shutdown 命令详解:

可实现的功能:

自由选择关机模式: 关机?重启?进入单用户械?设置关机时间: 定时或立刻?自定义关机信息:将关机信息发送给在线用户仅发出警告,并不关机: shutdown 实现是否要用fsck检查文件系统

语法:

shutdown [-t 秒] [-arkhncfF] [时间] [警告信息]

参数说明,如果不加入时间参数,则会进入单用户模式:

-t sec : 多少秒后关机-k : 不关机,只发警告-r : 停止服务后重启-h : 停止服务后关机-n : 不经过init,直接关机-f : 关机并启用后,强制略过fsck的磁盘检查-F : 重启后,强制进行fsc

想读更多 ->

渐进式学习 Linux

发布者: PHPYuan | 发布时间:2018-08-08

学习步骤:硬件基础知识,至少听过或者有概念了解Linux的基础知识,如:用户、用户组的概念、权限概念、程序的定义vi或者vim文字编辑器,处理文字基本都要使用到 -- 【重点】Shell学习与其脚本的学习 ---【重点】网络部分 -- IP的概念、路由、TCP/IP

相关的参考网站:

http://www.study-area.orghttp://linux.vbird.org

FAQ相关:

/usr/share/doc # Linux 自带的文档http://www.tldp.orghttp://www.linux.org.tw学习建议:系统的设计文件目录,不要到处保存,否则会无法记得它和它的作用养成做记录的习惯,把错误信息、引发问题的状况与解决方法记录并归档,定期整理网络上好的文档也要保存,并自己归档整理作为用户,人要迁就机器;作为开发人员,要机器迁就人边学,边“偷”,再从“偷”中改,改则变,变则通 ---->把抄也说得这么光明正大!不同环境下,解决问题的办法有多种,只要行得通,就是好方法

系统帮助文档

MAN /usr/share/manINFO /usr/share/infoLinux说明 /usr/share/doc : 包括一些软件包的帮助文档

想读更多 ->

Linux Shell for in 输出数组

发布者: PHPYuan | 发布时间:2018-08-08

PHP思想:

$arr = array(1, 54, 6, 2); for.... 或者 foreach($arr as $item)..

在Shell里面定数组定义:

$arr=(1, 2, 5, 3) ;

输出为:

for item in $arr[@]

do

echo ${item}

done

在Shell中,不能直接使用 $arr这个变量,错误的写法:

for item in $arr

do

echo ${item}

done

如果使用字符串的形式定义数据:

$arr="123 456 abc"

echo $item[$index] # 就不能使用这样的索引来输出数组了

想读更多 ->

“懒惰”的 Linux 管理员都会的 10 个关键技巧

发布者: PHPYuan | 发布时间:2018-08-08

好的系统管理员区分在效率上。如果一位高效的系统管理员能在 10 分钟内完成一件他人需要 2 个小时才能完成的任务,那么他应该受到奖励(得到更多报酬),因为他为公司节约了时间,而时间就是金钱,不是吗?以下这些技巧可以节约时间 —— 即使没有因为高效而得到更多的报酬,但至少可以有更多的自由支配时间。

技巧 1:卸载无响应的 DVD 驱动器

网络新手的经历:按下服务器(运行基于 Redmond 的操作系统)DVD 驱动器上的 Eject 按钮时,它会立即弹出。他然后抱怨说,在大多数企业 Linux 服务器中,如果在那个目录中运行某个进程,弹出就不会发生。作为一名长期的 Linux 管理员,我会重启机器。如果我不清楚正在运行什么,以及为何不释放 DVD 驱动器,我则会弹出磁盘。但这样效率很低。

下面介绍如何找到保持 DVD 驱动器的进程,并轻松弹出 DVD 驱动器:首先进行模拟。在 DVD 驱动器中放入磁盘,打开一个终端,装载 DVD 驱动器:

# mount /media/cdrom

# cd /media/cdrom

# while [ 1 ]; do echo "All your drives are belong to us!"; sleep 30; done

现在打开第二个终端并试着弹出 D

想读更多 ->

如何查看Linux当前缓存实用工具

发布者: PHPYuan | 发布时间:2018-08-08

Linux用户可能经常遇到的一个问题是内存大部分都被Buff和Cache占用了,但是有时候我们想知道到底Cache了些什么内容却没有一个直观好用的工具。今天给你介绍一个可以查看Linux当前缓存了哪些文件的小工具hcache。

hcache

hcache是基于pcstat的,pcstat可以查看某个文件是否被缓存和根据进程pid来查看都缓存了哪些文件。hcache在其基础上增加了查看整个操作系统Cache和根据使用Cache大小排序的特性。

官网:https://github.com/silenceshell/hcache

安装

hcache是使用GO开发的,安装非常简单,开箱即用。

如何查看Linux当前缓存实用工具

使用

查看使用Cache最多的3个进程。

美团内推:java高级开发(一面+二面+三面),面试58题实拍!

美团内推(一面+二面+三面)面试题目

美团一面(电话)自我介绍项目介绍Redis介绍了解redis源码么了解redis集群么Hashmap的原理,增删的情况后端数据结构如何位移hashmap容量为什么是2的幂次hashset的源码object类你知道的方法hashcode和equals你重写过hashcode和equals么,要注意什么假设现在一个学生类,有学号和姓名,我现在hashcode方法重写的时候,只将学号参与计算,会出现什么情况?往set里面put一个学生对象,然后将这个学生对象的学号改了,再put进去,可以放进set么?并讲出为什么Redis的持久化?有哪些方式,原理是什么?讲一下稳定的排序算法和不稳定的排序算法讲一下快速排序的思想美团二面(现场)自我介绍讲一下数据的acid什么是一致性什么是隔离性Mysql的隔离级别每个隔离级别是如何解决Mysql要加上nextkey锁,语句该怎么写J

想读更多 ->