首 页 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 439 440 441 442 443 444 445 446 447 448 449 450 451 452 453 454 455 456 457 458 459 460 461 462 463 464 465 466 467 468 469 470 471 472 473 474 475 476 477 478 479 480 481 482 483 484 485 486 487 488 489 490 491 492 493 494 495 496 497 498 499 500 501 502 503 504 505 506 507 508 509 510 511 512 513 514 515 516 517 518 519 520 521 522 523 524 525 526 527 528 529 530 531 532 533 534 535 536 537 538 539 540 541 542 543 544 545 546 547 548 549 550 551 552 553 554 555 556 557 558 559 560 561 562 563 564 565 566 567 568 569 570 571 572 573 574 575 576 577 578 579 580 581 582 583 584 585 586 587 588 589 590 591 592 593 594 595 596 597 598 599 600 601 602 603 604 605 606 607 608 609 610 611 612 613 614 615 616 617 618 619 620 621 622 623 624 625 626 627 628 629 630 631 632 633 634 635 636 637 638 639 640 641 642 643 644 645 646 647 648 649 650 651 652 653 654 655 656 657 658 659 660 661 662 663 664 665 666 667 668 669 670 671 672 673 674 675 676 677 678 679 680 681 682 683 684 685 686 687 688 689 690 691 692 693 694 695 696 697 698 699 700 701 702 703 704 705 706 707 708 709 710 711 712 713 714 715 716 717 718 719 720 721 722 723 724 725 726 727 728 729 730 731 732 733 734 735 736 737 738 739 740 741 742 743 744 745 746 747 748 749 750 751 752 753 754 755 756 757 758 759 760 761 762 763 764 765 766 767 768 769 770 771 772 773 774 775 776 777 778 779 780 781 782 783 784 785 786 787 788 789 790 791 792 793 794 795 796 797 798 799 800 801 802 803 804 805 806 尾 页

腾讯云11·11:千亿订单背后的安全“暗战”

发布者: superzhang | 发布时间:2017-11-13

作者:戴唯伟

前言

每年的电商大促,就像是一次次的系统检阅仪式,接受着来自用户、同行以及老板的审视。而在一次次订单量记录刷新,成交额飙出新高的同时,平台架构也在面临巨大的挑战,如页面打不开、服务不可用、优惠券被薅、网络被攻击、支付延迟等都有可能发生。那么针对这些问题,腾讯云是如何助力其电商客户解决?本文将从海量并发、安全性、用户体验几个方面,深入讲解腾讯云电商平台最佳实践方案。

海量并发弹性扩容

回顾近年来的电商大促,最具特色的便是抢购、秒杀活动了,而这也使得 Web 访问量可能瞬间陡增十倍甚至是数十倍,对接入层、逻辑层的按需、实时、快速平行扩展能力提出了较高的要求,如选用传统的硬件设备搭建集群,会遇到成本高昂,运维繁琐等问题。对于这些问题,可以采用负载均衡配合云监控、弹性伸缩(Auto Scaling)、消息队列、分布式缓存、分布式数据库等服务来解决。

负载均衡服务:CLB 单集群的最大并发连接数超过 1.2 亿,可处理峰值 40Gbps 的流量,每秒处理包量为 600 万,负载均衡服务曾在历年的春节微信“抢红包”历练; 弹性伸缩可以根据需求和策略,比如 CPU 利用率达到阀值,就自动扩容指定数量的云服务器,也可根据定时、周期或监控策略,相应地增加或减少 CVM 实例,并完成配置,保证业务平稳健康运行。

想读更多 ->

格斗类帧同步游戏的优化

发布者: superzhang | 发布时间:2017-11-13

由于现在4g手机网络越来越普及,绝大多数用户的时延都可以在150ms以内,所以一些快节奏的帧同步网络游戏开始大行其道,现在最火的帧同步游戏无疑是某农药了。帧同步技术除了可以用来做MOBA类游戏,同样可以用来做需要大量快速操作的格斗类游戏,本文就是尝试提出一些解决帧同步方案下格斗游戏的优化措施。(本文中涉及一些使用Unity引擎的术语,但大多数其他游戏引擎也有类似的概念,所以并不仅仅是针对使用Unity的游戏)

概念

我们一般认为,LockStep游戏由于网络延迟,画面的反应会比直接本地渲染要慢很多,所以我们希望画面能对玩家的输入有即刻的反应。但也希望对其他用户的交互是一致的。

所以有一些游戏采用所谓“预渲染”策略:

一、逻辑与渲染分别驱动:所谓渲染模块,就是用来给本地客户端表现的画面,使用本地渲染驱动,也就是Unity的Update()事件;所谓逻辑模块,就用来运行所有的攻击判定(角色位置、攻击与受击区域)的变化,使用服务器发来的网络包进行驱动,也就是通过同步服务器得到包后再运行。

二、纠正渲染误差:由于本地客户

想读更多 ->

学习笔记TF064:TensorFlow Kubernetes

发布者: superzhang | 发布时间:2017-11-13

AlphaGo,每个实验1000个节点,每个节点4个GPU,4000 GPU。Siri,每个实验2个节点,8个GPU。AI研究,依赖海量数据计算,离性能计算资源。更大集群运行模型,把周级训练时间缩短到天级小时级。Kubernetes,应用最广泛容器集群管理工具,分布式TensorFlow监控、调度生命周期管理。容器集群自动化部署、扩容、运维开源平台,提供任务调度、监控、失败重启。TensorFlow、Kubernetes都是谷歌公司开源。https://kubernetes.io/ 。谷歌云平台化解决方案。https://cloud.google.com/

分布式TensorFlow在Kubernetes运行。

部署、运行。安装Kubernetes。Minikube创建本地Kubernetes集群。Mac 先安装VirtualBox虚拟机。https://www.virtualbox.org/ 。Minikube Go语言编写,发布形式独立二进制文件,下载入到对应目录。命令:

curl

想读更多 ->

学习笔记TF065: TensorFlowOnSpark

发布者: superzhang | 发布时间:2017-11-13

Hadoop生态大数据系统分为Yam、 HDFS、MapReduce计算框架。TensorFlow分布式相当于MapReduce计算框架,Kubernetes相当于Yam调度系统。TensorFlowOnSpark,利用远程直接内存访问(Remote Direct Memory Access,RDMA)解决存储功能和调度,实现深度学习和大数据融合。TensorFlowOnSpark(TFoS),雅虎开源项目。https://github.com/yahoo/TensorFlowOnSpark 。支持ApacheSpark集群分布式TensorFlow训练、预测。TensorFlowOnSpark提供桥接程序,每个Spark Executor启动一个对应TensorFlow进程,通过远程进程通信(RPC)交互。

TensorFlowOnSpark架构。TensorFlow训练程序用Spark集群运行,管理Spark集群步骤:预留,在Executor执行每个TensorFlow进程保留一个端口,启动数据消息监听器。启动,在Executor启动TensorFlow主函数。数据获取,TensorFlow Readers和QueueRunne

想读更多 ->

学习笔记TF063:TensorFlow Debugger

发布者: superzhang | 发布时间:2017-11-13

TensorFlow Debugger(tfdbg),TensorFlow专用调试器。用断点、计算机图形化展现实时数据流,可视化运行TensorFlow图形内部结构、状态。有助训练推理调试模型错误。https://www.tensorflow.org/programmers_guide/debugger

常见错误类型,非数字(nan)、无限值(inf)。tfdbg命令行界面(command line interface,CLI)。

Debugger示例。错误运行MNIST训练,通过TensorFlow Debugger找到出错地方,改正。https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/debug/examples/debug_mnist.py

先直接执行。<

想读更多 ->

学习笔记TF062:TensorFlow线性代数编译框架XLA

发布者: superzhang | 发布时间:2017-11-13

XLA(Accelerated Linear Algebra),线性代数领域专用编译器(demain-specific compiler),优化TensorFlow计算。即时(just-in-time,JIT)编译或提前(ahead-of-time,AOT)编译实现XLA,有助于硬件加速。XLA还在试验阶段。https://www.tensorflow.org/versions/master/experimental/xla/

XLA优势。线性代数领域专用编译器,优化TensorFlow计算的执行速度(编译子图减少生命周期较短操作执行时间,融合管道化操作减少内存占用)、内存使用(分析、规划内存使用需求,消除许多中间结果缓存)、自定义操作依赖(提高自动化融合底层操作low-level op性能,达到手动融合自定义操作custom op效果)、移动端内存占用(提前AOT编译子图减少TensorFlow执行时间,共享头文件对被其他程序直接链接)、可移植性方面(为新硬件开发新后端,TensorFlow不需要更改很多代码用在新硬件设备上)。

XLA工作原理。LLVM编译器框架系统,C++编

想读更多 ->

信息熵在游戏直播封面筛选上的应用

发布者: superzhang | 发布时间:2017-11-13

导语: 日常生活中,我们经常会听到这样的语句:1、你说了等于没说,2、你说的信息量很大啊,我需要消化一下。很明显,这两个语句对信息量的大小做了度量,一个是你说的话信息量很小,一个是信息量很大。那么问题来了,我们该如何衡量一句话甚至是一张图片所带来的信息量的大小呢?

信息熵是什么

先看两个场景。

场景一:早餐时间,你在万利达二楼餐厅找座位时巧遇同事小李,坐下之后,小李一脸兴奋地跟你说:嘿,你知道吗?刘德华是男人。想必只有黑人问号能代表你此刻的心情!你心想:我去,这有什么好说的,我华仔必然是个男的啊!

场景二:午餐时间,为了不再遇到小李,你特地选择去腾大饭堂吃饭,很巧,你遇到了老同学小强,你们一起排队打饭,突然小强对你说:刘德华抛妻弃女,在记者招待会上宣布出柜了!此时你的第一反应应该是:不会吧,怎么可能!卧槽震惊!

两个场景相比,场景二中小强说的信息量明显比场景一中小李说的大,所以这里引出一个小结论:信息量的大小与事件的不确定性有关,如果一件事情必然发生,那么它的信息量就很小;如果一件事不可能发生而又发生了,带给人一种出乎意料的感觉,那么它的信息量就很大。

信息熵的定义是:如果一个事件发生的概率是腾讯云技术社区来开刀, 哈, 经典皮卡丘开头

这次我通过利用Python爬虫加上一个"不完美"的分词系统构建了,腾讯云技术社区所有文章的词云,来看看总体大概都写了什么嘻嘻嘻:)

正文

编程思路

获取所有文章的地址 对单文章页进行内容提取 将所有文章进行内容提取,并将结果存入MongoDB数据库中 利用分词系统和wordcloud进行词云的构建

注:存储所有文章地址前,我加了一个随机数,后期随机抽取文章进行提取防止因日期不同导致结果具有局部性

获取文章列表页,所有的文章信息

保存格式为:

index 随机数索引 title 文章名 address 文章地址 content 文章内容 def get_one_page_all(self,

想读更多 ->

现代 Vim 插件介绍

发布者: super | 发布时间:2017-11-13

原标题:现代 Vim 插件介绍

Vim出现已经二十多年了。作为一个一直处在鄙视链顶端的编辑器,你可能很难想象它为什么这么难用,即便是历尽千辛万苦学会了 hjkl 这些快捷键。至于网上的文章大多还停留在vim 7 时代,vim 8 的发布加入了以“异步”为首的众多好用新功能,而玩法自然也需要做相应的调整。

无论是靠着高三的记忆力强行记住了快捷键的初学者,还是玩了好几年 vim 但很少重量使用的进阶玩家,还是因为受到其他编辑器的诱惑而叛变 vim 的用户,都可以尝试着加上这些插件。试着开始全新的 vim 生活。

包管理器

Vim的包管理最近终于有了官方标准,之前基本上是社区自由发挥。而目前来看还是社区的实现更加简单易用。目前用得多的应该是 Vundle 了,不过它有一个问题:慢。假如你有30个插件,那么它是第一个安装完再安装第二个。一个韩国人写的vim-plug(https://github.com/junegunn/vim-plug)就解决了这个问题:并行处理,shadowclone,而且启动的时候可以按需加载插件,最主要的的是很容易用,只要执行一个命令就可以了,不像 vundle 那

想读更多 ->

青少年黑客马拉松 | 一次最适合青少年的 STEAM 初体验!

发布者: super | 发布时间:2017-11-13

原标题:青少年黑客马拉松 | 一次最适合青少年的 STEAM 初体验!

科技是第一生产力,而针对青少年的科技教育则是对于未来科技发展进程十分重要的一环。在美国,青少年科技教育已经发展的如火如荼。而国内的家长们也愈发重视对于青少年们的科技教育!

正因如此,在这次 TechCrunch 国际创新峰会 2017 < 上海站> 中,我们除了往届针对成年人的黑客马拉松以外,更将精心为大家准备一场针对 8-16 周岁的青少年的黑客马拉松!

11 月 25 日,我们将为广大青少年带来 Workshop Day!编程、机器人、3D 建模这些 Workshop 体验 STEAM 教育领域的时下最为热门的内容都将在本次 Workshop Day 中呈现。而 26 日我们将联合 Tinkercad 举办一场青少年黑客马拉松,你可以通过这场黑

想读更多 ->