提交 64f9fd42 编写于 作者: weicheng.mao's avatar weicheng.mao

新路径漏斗分析底表

上级 25f7602b
...@@ -54,7 +54,7 @@ object SessionPathConvert { ...@@ -54,7 +54,7 @@ object SessionPathConvert {
//获取MYSQL连接 //获取MYSQL连接
val connSql: sql.Connection = JDBCUtil.getConnection() val connSql: sql.Connection = JDBCUtil.getConnection()
//向 record 表插入数据 //向 record 表插入数据
// val flag: Int = JDBCUtil.insertRecord(connSql, insertSQL, insertArr) val flag: Int = JDBCUtil.insertRecord(connSql, insertSQL, insertArr)
val session_path_convert = SessionPathConvert() val session_path_convert = SessionPathConvert()
try { try {
val sparkSession: SparkSession = session_path_convert.getSparkSession("Session_path_convert") val sparkSession: SparkSession = session_path_convert.getSparkSession("Session_path_convert")
...@@ -110,7 +110,7 @@ object SessionPathConvert { ...@@ -110,7 +110,7 @@ object SessionPathConvert {
|update ${MyConfigSession.JDBC_TABLE} set status=?,exception=?,end_time=? where job_id=0 and start_time='${startTime}' |update ${MyConfigSession.JDBC_TABLE} set status=?,exception=?,end_time=? where job_id=0 and start_time='${startTime}'
""".stripMargin """.stripMargin
val errorArr = Array[String]("2", e.getMessage, DateUtils.getTodayTime) val errorArr = Array[String]("2", e.getMessage, DateUtils.getTodayTime)
// JDBCUtil.insertRecord(connSql, exceptionSQL, errorArr) JDBCUtil.insertRecord(connSql, exceptionSQL, errorArr)
connSql.close() connSql.close()
} }
...@@ -123,8 +123,9 @@ object SessionPathConvert { ...@@ -123,8 +123,9 @@ object SessionPathConvert {
class SessionPathConvert { class SessionPathConvert {
def getSparkSession(appName: String): SparkSession = { def getSparkSession(appName: String): SparkSession = {
val conf: SparkConf = new SparkConf().setAppName(appName).setMaster("local[*]") val conf: SparkConf = new SparkConf().setAppName(appName)
.set("dfs.client.use.datanode.hostname","true") // .setMaster("local[*]")
// .set("dfs.client.use.datanode.hostname","true")
UseUtil.setConfigure(conf) UseUtil.setConfigure(conf)
val sparkSession: SparkSession = SparkSession.builder().config(conf).enableHiveSupport().getOrCreate() val sparkSession: SparkSession = SparkSession.builder().config(conf).enableHiveSupport().getOrCreate()
sparkSession sparkSession
......
package com.utils package com.utils
import com.session.{SessionMenuCalc, SessionProcess, SessionProcessPath, SessionProcessPathNew, SessionProcessTerm} import com.session.{SessionMenuCalc, SessionPathConvert, SessionProcess, SessionProcessPath, SessionProcessPathNew, SessionProcessTerm}
import org.apache.hadoop.util.ProgramDriver import org.apache.hadoop.util.ProgramDriver
/** /**
...@@ -16,6 +16,7 @@ object Driver { ...@@ -16,6 +16,7 @@ object Driver {
driver.addClass("SessionMenuCalc",classOf[SessionMenuCalc],"传递日期参数--用户Session数据分析导入到dw_fact_log_session_menu_calc表") driver.addClass("SessionMenuCalc",classOf[SessionMenuCalc],"传递日期参数--用户Session数据分析导入到dw_fact_log_session_menu_calc表")
driver.addClass("SessionProcessTerm",classOf[SessionProcessTerm],"传递日期参数--用户Session数据etl导入到dw_fact_log_sesson_term表") driver.addClass("SessionProcessTerm",classOf[SessionProcessTerm],"传递日期参数--用户Session数据etl导入到dw_fact_log_sesson_term表")
driver.addClass("SessionProcessPathNew",classOf[SessionProcessPathNew],"用户Session数据分析导入到dw_fact_log_session_path_new表") driver.addClass("SessionProcessPathNew",classOf[SessionProcessPathNew],"用户Session数据分析导入到dw_fact_log_session_path_new表")
driver.addClass("SessionPathConvert",classOf[SessionPathConvert],"用户Session数据分析导入到dw_fact_log_session_path_convert表")
driver.run(args) driver.run(args)
} }
......
Markdown 格式
0% or
您添加了 0 到此讨论。请谨慎行事。
先完成此消息的编辑!
想要评论请 注册