在线精品99_中国九九盗摄偷拍偷看_91免费版在线观看_91.app_91高清视频在线_99热最新网站

如何将实时计算Flink与自身环境打通

150次阅读
没有评论

共计 2182 个字符,预计需要花费 6 分钟才能阅读完成。

这期内容当中丸趣 TV 小编将会给大家带来有关如何将实时计算 Flink 与自身环境打通,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。

如何使用实时计算 Flink 搞定数据处理难题?下面将介绍如何实时计算 Flink 与自身环境打通。

一、运行作业的 Jar 如何存储在 OSS 上

在 VVP 平台有两种方法可以上传作业的 jar。

方法一,借助 VVP 提供的资源上传功能,可以直接使用这个功能对 Jar 进行上传目前该功能支持 200 兆以内的 Jar 包上传。使用时,直接在创建作业的时候选择上传的 jar 包就可以了,演示如下:

● 进入到 VVP 平台,点击左侧资源上传功能,然后在打开页面点击右上角的上传资源,选择要上传的 Jar 包,完成上传;

● 上传成功后,点击左侧创建作业,完善作业名等信息。在 Jar URI 栏,下拉选择刚刚上传的 Jar 包,点击确定完成创建作业,然后启动即可使用。

方法二,直接在 OSS 的控制台上面,将要使用的 Jar 上传上去,然后使用 OSS 是提供的 Jar 链接来行使用。使用的时候也比较简单,直接使用 OSS 提供的 Jar 链接,演示如下:

● 打开 OSS 控制台,选择在创建 VVP 时候使用的 Bucket,再选择目录,点击上传文件,上传时可以将它的权限设置为公共读,点击上传文件即完成;
● 使用时,OSS 控制台上点击已上传包右侧的“详情”,获取该 Jar 包的 URL 链接。

● 创建作业时,将 jar 包的 URL 的链接填入 Jar URI。

需要注意,OSS 详情页面提供的链接是公网访问的,开通的 VVP 并不能直接访问公网,所以在创建作业使用 HTTPS 的时候,需要使用 VPC 访问的 endpoint,这样才能正常的启动作业。

如果想用公网获取一个 HTTPS 的链接,怎么操作呢?可以首先对 VVP 进行公网打通,简单来说步骤如下:

● 首先,创建一个 NAT 网关。创建时选择“组合购买 ERP”,然后选择区域并补充名称等信息,然后绑定弹性公网 IP,完成创建;
● 其次,创建 SNAT 条目。创建好 NAT 之后,点击“创建 SNAT 条目”,在弹窗选择交换机并补充名称信息,完成创建。

完成上述两个步骤,该 VVP 实例就已经打通公网,在创建 Deployment 时就可以直接使用 https 公网可访问的 jar 包了。

二、在 VVP 平台上 Flink 如何与典型数据源进行交互

介绍如何通过 SQL 以及 connectors 与外部的一些数据存储系统进行交互,以 SLS,Kafka 作为数据源读写数据为例。

(实操演示)点击 SQL 编辑器,创建一个 Datagen Table,它是用于数据的随机生成的,然后点击运行。然后再点击生成一个 SLS Table,补充所需参数信息,然后点击创建完成。

创建完成后,写入 SQL 语句,比如 insert into sls select id, name from datagen,然后另存后点击运行,创建 Deployment 并启动。

当作业成功运行后,在 SLS 上查询数据。说明 datagen 已经生成数据并成功写入 SLS。

类似的,我们可以按照上面的步骤从 SLS 读数据然后写入 Kafka:

● 在 vvp 的 sql 编辑器页面创建一个 Kafka table
● 用 SQL 语法从 SLS 读取数据写入 Kafka 中并启动
● 作业运行成功后,即开始从 SLS 读数据写入 Kafka 中

三、如何将 VVP 平台上 Flink 的指标打入外部 Metrics 系统

接下介绍如果想把运行作业的指标放入到一些系统当中去,并进行指标观测。VVP 提供了两种方法:

方法一,VVP 默认的将 Flink 作业指标打入到 arms,不需要额外的处理,直接运行作业之后,就能通过指标按钮看到。

方法二,如果自己有指标系统,想把 Flink 的作业指标打入到自己的系统里,主要有两点:首先保证 VVP 上作业与自己指标系统网络的连通性;其次在 Flink conf 中配置好相应的 metrics reporter。在创建作业过程中,进行 metric 配置。

例:使用 premetheus 的 pushGateway 方式,所以 reporter class 就选择 org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter。按上图所示配置 pushGateway 的 port 和 host,Metric reporter 就配置完成了。作业启动成功后在配置好的 grafana 大盘上查看指标。

四、如何将 Flink 作业日志打入到外部系统

如果在作业运行中,突然运行失败,我们想要查看运行失败作业的日志,就需要把 Flink 作业的日志保存下来。在 VVP 平台为这个目的提供了两种方案,将 Logs 写入 OSS 中或 SLS 中,简单来说,在创建作业的时候,在 Log 配置项里面配置一些 Log 参数。

方法一,将日志写入 OSS 中。在创建作业的时候,在高级配置中的 Log 配置里,选择使用用户自定义,然后将(帮助文档)里面的配置放在自定义的配置中去,再将一些参数换成 OSS 的必要参数就可以了。

需要查看日志时,可以通过帮助文档的指导,找到日志存放的文件,然后点击下载查看。

方法二,将日志写入 SLS 中。与方法一类似,只是 LOG 配置项稍有差异;下载和查看方法与方法一一致。

上述就是丸趣 TV 小编为大家分享的如何将实时计算 Flink 与自身环境打通了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注丸趣 TV 行业资讯频道。

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-16发表,共计2182字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)
主站蜘蛛池模板: 黄色一级毛片看一级毛片 | 99精品视频在线在线视频观看 | 久草福利在线播放 | 狠狠色噜噜狠狠狠777米奇 | av国产剧情md精品麻豆 | 亚洲久久久久 | 亚洲综合一区二区精品久久 | 成年免费看片在线观看 | 成年人黄国产 | 欧美黑人又粗又硬xxxxx喷水 | 日本一级毛片大片免费 | 一级黄色a级片 | 一级毛片真人不卡免费播 | 无码人妻一区二区三区免费n鬼沢 | 欧美激情日韩精品久久久 | 伊人精品综合 | 国产成人精品一区二区三区免费 | 一级片黄色免费 | 国产v综合v亚洲欧美冫 | 一级特黄一欧美俄罗斯毛片 | 日韩在线网 | 久久精品久久精品国产大片 | 欧美成人观看免费完全 | 国产亚洲精品aa片在线观看网站 | 西西444www无码大胆 | 亚洲中文字幕成人无码 | 成年1314在线观看 | 男人的天堂日本 | 毛片6| 无码日韩精品一区二区三区免费 | 亚洲综合图色国模40p | 日本免费特黄aa毛片 | 欧美精品日日鲁夜夜 | 女人体1963免费观看视频 | 91欧美激情一区二区三区成人 | 暴力调教一区二区三区 | 美女脱裤子让男人捅 | 国产在视频线精品视频 | 国产一级aa大片毛片 | 久久最新网址 | 久久电影网午夜鲁丝片免费 |