# spark-log

**Repository Path**: differentman/spark-log

## Basic Information

- **Project Name**: spark-log
- **Description**: spark log 日志分析，得到app的总能耗，总运行时长，每个job的运行时间以及能耗，每个stage的运行时长以及能耗，每个task的运行时长以及能耗
- **Primary Language**: Java
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 2
- **Created**: 2018-05-21
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# spark-log
spark log 日志分析，得到app的总能耗，总运行时长，每个job的运行时间以及能耗，每个stage的运行时长以及能耗，每个task的运行时长以及能耗

# 如何生成空的策略表

* 从服务器上down下来的experiment-FIFO-FAIR.zip压缩包，解压到工作目录下    
例如我的工作目录为
    > C:\Users\TomWang\Desktop\学术\spark实验\experiment-5\

解压后截图为![FIFO-FAIR解压截图](./img/FIFO-FAIR解压截图.png "FIFO-FAIR解压截图")

* 启动eclipse,在spark-log程序中指定当前工作目录    
修改cqupt.spark_log.contrant.Contant类中的常量
    > APP_NAME表示当前要生成空策略表的算法名称    
    > BASE_PATH表示当前工作目录的绝对路径，以及指定调度算法-分区数-次数。这里生成空策略表与调度算法无关，只与分区数有关    
    > 例如：APP_NAME可以指定为sort    
    > BASE_PATH可以指定为C:/Users/TomWang/Desktop/学术/spark实验/experiment-5/FIFO-10-1/    
    > 这样就可以在C:/Users/TomWang/Desktop/学术/spark实验/experiment-5/FIFO-10-1/下生成sort算法在10个分区下的空策略表，依次类推可以生成其他算法的不同分区的策略表

* 运行生成空策略表的程序    
生成策略表的程序入口在
    > cqupt.spark_log.main.InitTableMain.main(String[])

    成功运行后会在指定目录下生成名字为：$APP_NAME-init的策略表

* 将生成的空策略表按照__$算法名称-$分区数__的形式保存在工作目录下的initable文件夹下

    ![initable截图](./img/initable截图.png "initable截图")

* 将空策略表拷贝到服务器上目录/root/sparkTable/emptytable/

# 如何将实验结果转化为excel数据表

* 从服务器上down下来的experiment-FIFO-FAIR.zip，experiment-ENERGY.zip压缩包，解压到工作目录下    
例如我的工作目录为
    > C:\Users\TomWang\Desktop\学术\spark实验\experiment-5\

* 启动eclipse,在spark-log程序中指定当前工作目录    
修改cqupt.spark_log.contrant.Contant类中的常量
    > APP_NAME表示当前要生成空策略表的算法名称    
    > BASE_PATH表示当前工作目录的绝对路径，以及指定调度算法-分区数-次数。这里生成空策略表与调度算法无关，只与分区数有关    
    > 例如：APP_NAME可以指定为sort    
    > BASE_PATH可以指定为C:/Users/TomWang/Desktop/学术/spark实验/experiment-5/FIFO-10-1/    

* 运行生成空策略表的程序    
生成策略表的程序入口在
    > cqupt.spark_log.main.ExcelMain.main(String[])

    成功运行后会在/excel下生成excel文件

* 这样就可以统计实验结果了