登陆

spark实时监控sqlserver文件办法(追寻~增修改查)

admin 2019-09-07 301人围观 ,发现0个评论

思路

Spark对SQLserve监控一旦不单只要增量监控(指增修正查全要监控)后,据我所知,现在就我个人主意只要两方面下手

一个是不断spark实时监控sqlserver文件办法(追寻~增修改查)遍历该表然后新表比照后表,即可准实时完成改变追寻,这样的完成办法最简略,但其耗费资源与时刻是非常严峻spark实时监控sqlserver文件办法(追寻~增修改查)的.特别当源表非常巨大时,这做法就显得适当不沉着了.(其实这办法原本就不沉着)

第二个则是使用SQLserver的CDC功用让其自主监控源表并生成一个只会呈现增量改变周雄斌的CDC表,经过 flume-ng-sql-source(这是一个大咖自主写的 第三方flume中sourspark实时监控sqlserver文件办法(追寻~增修改查)ce组件) flume-kafka监控该表并传至spark进行剖析

完成

1.敞开代理服务器。

SqlServer启用CDC功用有必要敞开代理服务器!!!

SqlServer启用CDC功用有必要敞开代理服务器!!!

SqlServer启用CDspark实时监控sqlserver文件办法(追寻~增修改查)C功用有必要敞开代理服务器!!!

2.创立CDC表

本次典范源表为test库里的table1表

1.敞开数据库的监控功用

检测源表地点数据库是否敞开监控,由于想监控源表有必要先敞开源表地点数据库的监控

指令为

select name,is_cdc_enabled from sys.databases

从上图咱们能够看到test库状况为0,即未敞开监控。因而需求咱们转到库下敞开监控

use test
go
exec sp_cdc_enable_db
select name,spark实时监控sqlserver文件办法(追寻~增修改查)is_cdc_enabled from sys.databases

咱们能够看到test状况由0成功变成1,阐明咱们已敞开test库的监控功用

2.设置监控表

输入以下指令

use test
exec sp_cdc_enable_table
@source_schema = 'dbo',
@source_name = 'table1',
@role_name = cdc_admin,
@index_name = NULL,
@supports_net_changes = 1

运转,咱们便会看到以下画面

阐明咱们监控文件创立成功,改写test数据库咱们能够看到



能够看到在体系表中生成一个cdc.dbo_table1_CT的监控表,

源表table1格局

当我咱们在table1中增加新内容如 id 18 name 蔡徐坤打篮球

table1

可见监控表成功追寻到了咱们的增量操作,如安在该表检查咱们的操作状况呢?在_$operation列中能够检查

1 = delete,2 = insert,3 = updatspark实时监控sqlserver文件办法(追寻~增修改查)e(旧值),4 = update(新值)。

注增加或删去操作只会增加一行,而修正则会增加2行,榜首行为旧值而第二行为修正的新值

3.flume中增加第三方包

咱们都知道flume是一个非常好的监控东西,可是flume官网里并没有找到能够直接衔接SQLserver功用,因而咱们需求自行增加该功用的东西包flume-ng-sql-source

  • 极彩彩票平台登录网址-*ST华业9月17日盘中跌停
  • 同益股份9月17日快速上涨
  • 极彩彩票平台登录网址-金鸿顺9月17日快速反弹
  • 请关注微信公众号
    微信二维码
    不容错过
    Powered By Z-BlogPHP