提交 64f9fd42 编写于 作者: weicheng.mao's avatar weicheng.mao

新路径漏斗分析底表

上级 25f7602b
......@@ -54,7 +54,7 @@ object SessionPathConvert {
//获取MYSQL连接
val connSql: sql.Connection = JDBCUtil.getConnection()
//向 record 表插入数据
// val flag: Int = JDBCUtil.insertRecord(connSql, insertSQL, insertArr)
val flag: Int = JDBCUtil.insertRecord(connSql, insertSQL, insertArr)
val session_path_convert = SessionPathConvert()
try {
val sparkSession: SparkSession = session_path_convert.getSparkSession("Session_path_convert")
......@@ -110,7 +110,7 @@ object SessionPathConvert {
|update ${MyConfigSession.JDBC_TABLE} set status=?,exception=?,end_time=? where job_id=0 and start_time='${startTime}'
""".stripMargin
val errorArr = Array[String]("2", e.getMessage, DateUtils.getTodayTime)
// JDBCUtil.insertRecord(connSql, exceptionSQL, errorArr)
JDBCUtil.insertRecord(connSql, exceptionSQL, errorArr)
connSql.close()
}
......@@ -123,8 +123,9 @@ object SessionPathConvert {
class SessionPathConvert {
def getSparkSession(appName: String): SparkSession = {
val conf: SparkConf = new SparkConf().setAppName(appName).setMaster("local[*]")
.set("dfs.client.use.datanode.hostname","true")
val conf: SparkConf = new SparkConf().setAppName(appName)
// .setMaster("local[*]")
// .set("dfs.client.use.datanode.hostname","true")
UseUtil.setConfigure(conf)
val sparkSession: SparkSession = SparkSession.builder().config(conf).enableHiveSupport().getOrCreate()
sparkSession
......
package com.utils
import com.session.{SessionMenuCalc, SessionProcess, SessionProcessPath, SessionProcessPathNew, SessionProcessTerm}
import com.session.{SessionMenuCalc, SessionPathConvert, SessionProcess, SessionProcessPath, SessionProcessPathNew, SessionProcessTerm}
import org.apache.hadoop.util.ProgramDriver
/**
......@@ -16,6 +16,7 @@ object Driver {
driver.addClass("SessionMenuCalc",classOf[SessionMenuCalc],"传递日期参数--用户Session数据分析导入到dw_fact_log_session_menu_calc表")
driver.addClass("SessionProcessTerm",classOf[SessionProcessTerm],"传递日期参数--用户Session数据etl导入到dw_fact_log_sesson_term表")
driver.addClass("SessionProcessPathNew",classOf[SessionProcessPathNew],"用户Session数据分析导入到dw_fact_log_session_path_new表")
driver.addClass("SessionPathConvert",classOf[SessionPathConvert],"用户Session数据分析导入到dw_fact_log_session_path_convert表")
driver.run(args)
}
......
Markdown 格式
0% or
您添加了 0 到此讨论。请谨慎行事。
先完成此消息的编辑!
想要评论请 注册