在线精品99_中国九九盗摄偷拍偷看_91免费版在线观看_91.app_91高清视频在线_99热最新网站

如何理解Storm的性能测试报告

259次阅读
没有评论

共计 1256 个字符,预计需要花费 4 分钟才能阅读完成。

本篇文章为大家展示了如何理解 Storm 的性能测试报告,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。

在一次面试的过程之中,有 CTO 详细的询问了 对于机器性能的测试,如下所示:

配置如下:

1                   Cpu     8 核   ×2 台机器

2                   主频     2.26

3                     操作系统 redhat

4                     网络千 M 的以太网

5                   Storm 的版本号:0.6.1

测试方法

Storm 是一个流处理系统,它以 tuple 为基本单位,每个 tuple 可以包含多个字段(field)。我们给 tuple 定义两个字段:

Data:存放原始的数据,这里是 1000 字节的数据,此测试中我们仅仅是直接的转发数据,所以唯一的处理开销就是 1000 字节的内存拷贝

ltsInfo:时间戳信息,每经过一个处理模块,我们就在此字段中追加上当时的时间戳,最后统计模块就可以根据这些时间信息计算出总延迟等。由于不同的机器时间戳并不同步,这给计算延迟带来了固有误差,解决的办法就是把数据发送模块和最后的统计模块放到一台物理机上。

关于在分布式集群上测试 storm 的一个说明:在 storm 上,我们很难给某个模块(component)指定其运行的物理机,storm 总是自动的把任务平均分配给集群中的各个机器,因此在测试中我们将使用 storm 的工作方式来扩展,而非设计非典型的情景(给某个 component 指定特定的机器来运行,从而打破这种平均分配原则)。

也就是采取了淘测试的机制来处理

内存的使用

如何理解 Storm 的性能测试报告

淘宝的测试结果为 2 万条 / 秒左右。

在我本地机器上测试是超过了 2.5 万条,其中的区别可能是淘宝在测试的过程之中加入了一些时间 TimeStamp。

到目前位置还没有新加机器来进行一些横向的扩展。没有对比新加入的机器对于系统集群的计算能力有多少增加。

具体的测试方式请参考

淘测试的连接:

http://blog.linezing.com/?p=1048 replytocom=828

在我们的实际测试之中,GC 将对于数据的处理造成比较大的速度的改变。Tuple 的处理会积压是一个特别常见现象。

测试结论

经过上面的测试我们可以得出以下的结论:

storm 单条流水线的处理能力大约为 20000 tupe/s, (每个 tuple 大小为 1000 字节)

storm 系统本省的处理延迟为毫秒级

在集群中横向扩展可以增加系统的处理能力,实测结果为 1.6 倍

Storm 中大量的使用了线程,即使单条处理流水线的系统,也有十几个线程在同时运行,所以几乎所有的 16 个 CPU 都在运行状态,load average 约为 3.5

Jvm GC 一般情况下对系统性能影响有限,但是内存紧张时,GC 会成为系统性能的瓶颈

使用外部处理程序性能下降明显,所以在高性能要求下,尽量使用 storm 内建的处理模式

测试的工具是用的:nmon

上述内容就是如何理解 Storm 的性能测试报告,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注丸趣 TV 行业资讯频道。

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-25发表,共计1256字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)
主站蜘蛛池模板: 天堂精品高清1区2区3区 | 人妻 日韩精品 中文字幕 | 色拍拍在精品视频69影院在线 | 亚洲熟妇av日韩熟妇在线 | 99爱在线视频这里只有精品 | 久久成人国产精品二三区 | 国产一区二区三区日韩精品 | 国产久操视频 | 久久精品国产福利国产琪琪 | 日本资源在线 | 久久高清内射无套 | 极品人妻videosss人妻 | 免费无码又黄又爽又刺激 | 青青国产成人久久激情911 | a天堂专区一区二区三区 | 九色视频极品论坛区 | 公交车忘穿内裤被挺进小说网站 | 亚洲精品美女久久久久99 | 精品无码成人久久久久久 | 免费国精产品wnw2544 | 亚洲综合在线观看视频 | 看全免费的一级毛片 | 日本一级淫片观看 | 国产高清在线精品一区 | 欧美成在人线a免费 | 奇米网狠狠干 | 在线观看aaa | 农村欧美丰满熟妇xxxx | 伊人色综合久久天天小片 | 免费黄色电影在线观看 | 午夜日韩在线 | 午夜神| 77米奇影院 | 中文在线а√天堂官网 | 欧美日韩视频在线第一区 | 国产精品久久香蕉免费播放 | 国产成人精品久久一区二区小说 | 西野翔有码中文字幕在线 | 少妇人妻偷人精品无码视频 | 日韩av无码成人无码免费 | 精品久久人人爽天天玩人人妻 |