SPEC CPU简介和使用 |
您所在的位置：网站首页 › spec排名 › SPEC CPU简介和使用 |
SPEC CPU简介和使用
|
前言
SPEC CPU是一套行业标准的CPU密集型基准测试套件。SPEC设计了此套件，以使用实际用户应用程序开发的工作负载，在最广泛的实际硬件范围内提供计算密集型性能的比较度量。这些基准作为源代码提供，要求用户习惯使用编译器命令以及通过控制台或命令提示窗口通过命令解释器使用的其他命令，以便生成可执行二进制文件。 SPEC CPU2006和SPEC CPU2017说明SPEC CPU2006是2006年6月推出的基准测试套件，它有几种不同的方法来衡量计算机性能。一种方法是测量计算机完成单个任务的速度。这是速度测量。另一种方法是测量计算机在一定时间内可以完成多少个任务。这称为吞吐量，容量或速率测量。 SPEC CPU2006包含12个Integer Benchmarks，和17个Floating Point Benchmarks 详细说明参考：SPEC CPU2006 Documentation SPEC CPU2017是2017年6月发布的，基准测试包包含43个基准，分为四个套件： SPECrate 2017 Integer SPECspeed 2017 Integer SPECrate 2017 Floating Point SPECspeed 2017 Floating Point SPEC CPU2017分别包含：10个Integer rate，10个Integer speed，13个Floating Point rate，10个Floating Point speed cpu2017目录结构： benchspec -> CPU -> 主要500-999，43个基准 -> 1) src：源码文件 2）build：编译目录 3）run：运行目录 4）exe：可执行文件目录 5）data：三个数据集目录benchspec -> Makefile.defaults makefile模板文件bin -> runcpu runcpu命令文件bin -> harnessconfig -> Example-gcc-linux-x86.cfg 模板配置文件，例如：gcc_dir, label, optimize优化参数等result 存放运行日志详细说明参考：SPEC CPU2017 Documentation SPEC CPU 2006使用及注意事项 修改config目录下的.cfg配置文件(如果是使用的cpu2017的配置文件，需要修改intspeed为int，fpspeed为fp)。在cpu2006目录下source shrc。基本使用： // runspec测试433 benchmark，test.cfg配置文件，test数据集，运行一次 runspec -c test.cfg -a run --rebuild -i test -n 1 --noreportable 433选项说明： -c 等价于--config 或--conf-a 等价于 --action (此处参数run代表运行，常用参数还有build等)-D 等价于 --rebuild, 表示运行时重新build目录，如果不加此选项不会生效你修改过的test.cfg配置文件，如果已经build成功了，只需要run则可以不加此选项-i 等价于--size 表示数据集大小，数据集共有三种：test、train、ref-n 等价于--iterations 表示每个benchmark的运行次数output_format 输出文件的格式，选项有：txt,html,cfg,pdf,csv注意事项： -n参数，默认值为3不加--noreportable则默认为reportable，表示生成的结果是用于可报告的，则每个benchmark它至少为你运行两遍，如果使用--noreportable，则-n指定运行几遍就运行几遍（取值为1，2，3）对于一个--reportable的运行，必须在编译时和运行时都验证目录内容，即需要加上strict_rundir_verify。如果运行时你修改了配置文件，但你不想让它重新编译，可以把--rebuild选项换成--nobuild SPEC CPU2017使用及注意事项 配置文件区分intrate、intspeed、fprate和fpspeed使用前也需要source shrc基本使用： // runcpu测试500 benchmark，test.cfg配置文件，test数据集，运行一次 runcpu -c test.cfg -a run --rebuild -i test -n 1 --noreportable 500选项说明： cpu2017中移除选项-rate ，-speed， -parallel_setup新增重要选项--threads，默认值为1。如果在配置中使用了openmp选项OMP_NUM_THREADS 则会忽略该选项。-tune tuning，选择tuning使用base或是peak，默认使用base-C 等价于 --copies，表示rate运行多少个copies，根据系统选择32或是64正确运行效果应该如下： 除了使用以上命令测试之外，通常也可以使用脚本进行批量测试，示例脚本使用说明如下： SPEC CPU2017 GCC测试脚本如下（SPEC CPU2006，ICC、AOCC、LLVM脚本只需简单修改即可）： #!/bin/bash function config() { source /home/zgl/cpu2017/0-setenv-gcc.sh source /home/zgl/cpu2017/shrc path=/home/zgl/cpu2017/test-log filename=${1}-`date`-gcc.log cfg='gcc.cfg --noreportable' } # 可增加一些方法进行每次测试前的memory、cache等清理， # 使得到的结果更准确 function build(){ config $1 echo '****** buildstart time '`date +%Y-%m-%d-%H-%M-%S`' *****'>>${path}/${filename} cfg>&1 runcpu -c $cfg -a clean $1 >>${path}/${filename} 2>&1 runcpu -c $cfg -a clobber $1 >>${path}/${filename} 2>&1 runcpu -c $cfg -a build --rebuild $1>>${path}/${filename} 2>&1 echo '****** build-end time is '`date +%Y-%m-%d-%H-%M-%S`' ******'>>${path}/${filename} cfg>&1 } function run(){ echo '****** run start time '`date +%Y-%m-%d-%H-%M-%S`' *****'>>${path}/${filename} cfg>&1 runcpu -c $cfg -a run --nobuild -i ref -n 1 $1 >>${path}/${filename} 2>&1 echo '****** run-end time is '`date +%Y-%m-%d-%H-%M-%S`' *****'>>${path}/${filename} cfg>&1 } #build fprate #run fprate #build intrate #run intrate #build intspeed #run intspeed #build fpspeed #run fpspeed config文件可从Spec Results上下载模板之后进行修改：https://www.spec.org/cpu2017/results/cfp2017.html SPEC CPU与benchmark关系SPEC CPU包含多个benchmark，每个benchmark有不同的应用领域，采用语言是C，C++，Fortran，benchmark位于spec cpu目录下的benchspec/CPU目录，每个benchmark包含build，data，Docs，exe，run，Spec等目录。 Q: 每个 benchmark 的运行与 runcpu（或者 runspec）有什么关系?benchmark 的这些目录如何生成的？以及每个目录作用是什么？对于 rate benchmark（例如：500.perlbench_r）和 speed benchmark（例如：600.perlbench_r）有什么关系？A: 关于 spec 的运行机制：首先 spec 有一个Makefile.defaults模板文件，spec 先读取 cfg 配置文件，根据模板文件生成对应 benchmark 的Makefile.spec文件，再根据Makefile.spec中的优化选项和配置信息进行编译和运行。也就是说 benchmark 的 build，exe，run 目录是由 spec 生成，对应文件作用也就分别是存放源码已经 build 生成的中间文件，存放了可执行文件，可执行文件运行目录，包含输出模板信息和输入文件及输入参数信息等。对于500.perlbench_r 和 600.perlbench_r 这样的 benchmark 打开他们的目录你会发现，它们目录的区别就是 500.perlbench_r 中多一个 src 目录，因为这样的 benchmark，源码是存放在这里的。两个benchmark 的不同还在于它们的 binary 文件可能不一样，输入参数可能不一样，一个是测试rate 另一个测试 speed。 其实我们更应该学会这样使用SPEC：需要运行哪个benchmark 就进入哪个 benchmark 的 build 目录（前提是你运行过runcpu命令生成了目录），直接修改 Makefile.spec 配置，再执行make clean 和 make -j 重新编译生成 binary，再把生成的binary copy到run目录运行，如何运行？在run目录下面你会看到speccmds.cmd文件，文件的最后给出了该benchmark的运行参数和输入，如下所示： |
然后你就可以在run目录执行time -p ...，得到运行时间，具体操作如下：【本文地址】
今日新闻 |
推荐新闻 |