Skip to content
项目
群组
代码片段
帮助
正在加载...
帮助
提交反馈
为 GitLab 提交贡献
登录
切换导航
L
label
项目
项目
详情
动态
版本
周期分析
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
统计图
成员
成员
收起侧边栏
Close sidebar
动态
分支图
统计图
提交
打开侧边栏
zhenxin.ma
label
提交
ac165450
提交
ac165450
编写于
8月 19, 2021
作者:
weicheng.mao
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
新增刷底表代码,session 和sessionterm 过滤 ACTION_WEB_AFTER 该事件
上级
49e0566f
变更
4
展开全部
隐藏空白字符变更
内嵌
并排
正在显示
4 个修改的文件
包含
259 行增加
和
1 行删除
+259
-1
MyConfigSession.scala
src/main/scala/com/config/MyConfigSession.scala
+4
-0
LoopPicaLogTraceAppPart.scala
src/main/scala/com/session/LoopPicaLogTraceAppPart.scala
+252
-0
SessionProcessTerm.scala
src/main/scala/com/session/SessionProcessTerm.scala
+1
-0
Driver.scala
src/main/scala/com/utils/Driver.scala
+2
-1
未找到文件。
src/main/scala/com/config/MyConfigSession.scala
浏览文件 @
ac165450
...
@@ -54,6 +54,7 @@ object MyConfigSession {
...
@@ -54,6 +54,7 @@ object MyConfigSession {
|component_tag,app_version,device_type,device_brand,device_model,network_type,created from pica_log.picalog_trace_app_part
|component_tag,app_version,device_type,device_brand,device_model,network_type,created from pica_log.picalog_trace_app_part
| where pseudo_session is not null and pseudo_session !=''
| where pseudo_session is not null and pseudo_session !=''
| and pseudo_id !='' and extra_info !='com.picahealth.patient' and serviceName != 'trace3'
| and pseudo_id !='' and extra_info !='com.picahealth.patient' and serviceName != 'trace3'
| and action!='ACTION_WEB_AFTER'
| and FROM_UNIXTIME(cast(substring(created,1,10) as bigint),'yyyy-MM-dd')=created_day and created is not null and created!=''
| and FROM_UNIXTIME(cast(substring(created,1,10) as bigint),'yyyy-MM-dd')=created_day and created is not null and created!=''
"""
.
stripMargin
//and `action`!='ACTION_EQUIP_INFO'
"""
.
stripMargin
//and `action`!='ACTION_EQUIP_INFO'
...
@@ -185,4 +186,7 @@ object MyConfigSession {
...
@@ -185,4 +186,7 @@ object MyConfigSession {
final
val
JDBC_PSSWORD
=
"5$7FXgz#e5JWP08e"
final
val
JDBC_PSSWORD
=
"5$7FXgz#e5JWP08e"
final
val
JDBC_TABLE
=
"schedule_job_record"
final
val
JDBC_TABLE
=
"schedule_job_record"
final
val
MENU_CODE_VIEW_PATH_SQL
:
String
=
"select distinct full_path, menu_code from pica_ds.pica_bi_bi_menu_code_h5 where view_path is not Null"
}
}
src/main/scala/com/session/LoopPicaLogTraceAppPart.scala
0 → 100644
浏览文件 @
ac165450
此差异已折叠。
点击以展开。
src/main/scala/com/session/SessionProcessTerm.scala
浏览文件 @
ac165450
...
@@ -81,6 +81,7 @@ object SessionProcessTerm {
...
@@ -81,6 +81,7 @@ object SessionProcessTerm {
| from pica_log.picalog_trace_app_part
| from pica_log.picalog_trace_app_part
| where pseudo_session is not null and pseudo_session !='' and pseudo_id !='' and extra_info !='com.picahealth.patient'
| where pseudo_session is not null and pseudo_session !='' and pseudo_id !='' and extra_info !='com.picahealth.patient'
| and action!='ACTION_EQUIP_INFO'
| and action!='ACTION_EQUIP_INFO'
| and action!='ACTION_WEB_AFTER'
| and created is not null and created!='' and FROM_UNIXTIME(cast(substring(created,1,10) as bigint),'yyyy-MM-dd')='${scnData}'
| and created is not null and created!='' and FROM_UNIXTIME(cast(substring(created,1,10) as bigint),'yyyy-MM-dd')='${scnData}'
| and created_day='${scnData}' and ${elseFiler}
| and created_day='${scnData}' and ${elseFiler}
|"""
.
stripMargin
|"""
.
stripMargin
...
...
src/main/scala/com/utils/Driver.scala
浏览文件 @
ac165450
package
com.utils
package
com.utils
import
com.session.
{
SessionMenuCalc
,
SessionProcess
,
SessionProcessPath
,
SessionProcessPathNew
,
SessionProcessTerm
}
import
com.session.
{
LoopPicaLogTraceAppPart
,
SessionMenuCalc
,
SessionProcess
,
SessionProcessPath
,
SessionProcessPathNew
,
SessionProcessTerm
}
import
org.apache.hadoop.util.ProgramDriver
import
org.apache.hadoop.util.ProgramDriver
/**
/**
...
@@ -16,6 +16,7 @@ object Driver {
...
@@ -16,6 +16,7 @@ object Driver {
driver
.
addClass
(
"SessionMenuCalc"
,
classOf
[
SessionMenuCalc
],
"传递日期参数--用户Session数据分析导入到dw_fact_log_session_menu_calc表"
)
driver
.
addClass
(
"SessionMenuCalc"
,
classOf
[
SessionMenuCalc
],
"传递日期参数--用户Session数据分析导入到dw_fact_log_session_menu_calc表"
)
driver
.
addClass
(
"SessionProcessTerm"
,
classOf
[
SessionProcessTerm
],
"传递日期参数--用户Session数据etl导入到dw_fact_log_sesson_term表"
)
driver
.
addClass
(
"SessionProcessTerm"
,
classOf
[
SessionProcessTerm
],
"传递日期参数--用户Session数据etl导入到dw_fact_log_sesson_term表"
)
driver
.
addClass
(
"SessionProcessPathNew"
,
classOf
[
SessionProcessPathNew
],
"用户Session数据分析导入到dw_fact_log_session_path_new表"
)
driver
.
addClass
(
"SessionProcessPathNew"
,
classOf
[
SessionProcessPathNew
],
"用户Session数据分析导入到dw_fact_log_session_path_new表"
)
driver
.
addClass
(
"LoopPicaLogTraceAppPart"
,
classOf
[
LoopPicaLogTraceAppPart
],
"弃用以前的menucode与viepath 对应表,启用新的一套"
)
driver
.
run
(
args
)
driver
.
run
(
args
)
}
}
...
...
写
预览
Markdown
格式
0%
请重试
or
附加一个文件
附加文件
取消
您添加了
0
人
到此讨论。请谨慎行事。
先完成此消息的编辑!
取消
想要评论请
注册
或
登录