美国HPCMPCREATETM软件质量保证分析

陈丽艳　过旭艳

摘要：本文阐述了美国国防领域下一代多物理航空设计工具的成功运用，CREATE-AV配套工具确认与验证方面所开展的工作，为国内相关领域提供借鉴和参考。

[关键词]HPCMPCRBATE航空软件开发软件质量国防采办

1HPCMPCREATE计划

美国于2006年出台了HPCMPCREATE计划。该计划下有航空飞行器、海军舰船无线天线以及网格与外形四个项目，共有9个产品，其中3个产品用于航空飞行器，见表1。

CREATE每个项目的软件产品分为两类，一类是低保真度的概念研发工具，用于生成设计方案并对其可行性和性能进行分析，例如DaVinci、RSDE/HDE以及SENTRi组件;另一类是高保真度的系统性能精确预测工具，例如Kestrel、Helios、NESM、NavyFOAM以及SENTRi.

2工业标准与实践考虑

2.1质量管理标准

当前使用两个质量管理标准，一个是ISO9000系列标准，另一个是CarnegieMellon能力成熟度模型综合标准（CMMI）。这两个管理体系更多的是关注工艺流程。然而，软件包的质量在很大程度上取决于其开发、测试和运维工艺流程的品质。在商业环境下，外部对于工艺流程质量的鉴定具有重要意义，但是规模较小的软件研发工作，则不允许花费更多的成本和时间来进行质量鉴定。

2.2鉴定与验证标准

美国航空航天协会（AIAA）和美国机械工程师协会（ASME）分别发布了关于软件鉴定与验证的准则。AIAA重点关注计算流体力学，1998年发布了第一个准则;ASME重点关注计算结构力学，2006年发布了相关准则。这些准则为确认、验证及不确定度量化（VV&UQ）奠定了坚实的基础.随着AIAA准则越来越被认可，其建模与模拟所要求的精准度和确定性并非是一成不变的。CREATEV&V的典范实践，进一步完善和发展了这些标准体系，并与美国学术界近期发布的准则相一致。

2.3實践应用中的局限性

CBE软件用户有以下5种期望：

（1）鲁棒性;

（2）精准性;

（3）效率（耗时少）;

（4）可用性（用户界面、文件分类、训练）;

（5）一致性。

其中，前三种期望对于任何质量保证计划都具有相当难度，取决于经验水平和用户行为。可用性是随着不同用户而变化的，取决于个人因素。

可用性测评要有一定的方法，其中一种开源式方法就是USE问卷调查，USE分别指“可用性”（Usefulness）、“满意度”（Satisfaction）及使用/学习的“便利性”（EaseofUse/Learning）。USE结果的管理、收集和分析很可能对“可用性”提出科学问题。

“一致性”对于软件研制至关重要。由于软件开发者人员众多且地点分散，容易造成代码交叉混杂进而导致出错。另外，对于不同版本之间的升级过渡，用户期望按类别（1）-（4）进行区分，例如N+1版本比N版本鲁棒性更强，精准性更高，效率更快，可用性更好。因此，QA必须进行一整套的衰减测试（在可能的情况下可自动进行）。

3案例—CREATE-AV质量保证因素分析

3.1用户群与QA团队

为了更好地服务客户，QA需要不断创建客户群。截止2015年2月，CREATE-AV参与项目的注册软件用户350个，CREATE-AV用户分别来自美国陆海空三军、NASA、工业界与学术界。QA团队总部设在美国马里兰州（MD）帕图森河流域海军的一个航空站，成员主要包括NASA阿姆斯研究中心、怀特帕特森空军基地和艾格林空军基地，并与美国其他AV研制团队保持密切合作。

3.2确认、验证与不确定度量化（VV&UQ）

CREATE-AV项目曾在2014财年向美国航空航天工业部门发起了一个通告，鼓励在生产环境下对CREATE工具的安全缺陷、固有流程以及不同计算环境进行评估。

CREATE-AV质量保证测试宗旨与美国科学院《确认、验证与不确定度量化》报告中的提议是一致的。为确保模拟的基本物理现象充分可信，CREATE质量保证团队选定了一组感兴趣的现象（PoI）（红色框）及验证算例，对一些现象（灰色框）进行了研究，如表2所示。从Boeing、Lockheed以及Sikorsky公司的评估结果，获得了重要的工作流反馈信息，随后将这些反馈信息嵌入了产品开发路线图中。近期对2D和3D气动外形、非定常武器舱气动声学、海军和空军特种应用、低速旋翼飞行器机身气动特性以及旋翼飞行器悬停计算等项目进行了研究。

3.3质量保证测试

3.3.1通过检测进行事项确认

无论过渡产品还是正式产品，其发布都要经过QA的最终检测，确认以下事项：

（1）不存在明显的未求解“区块”问题，过于严谨将延缓产品发布。当然，也存在一定的功能欠缺，有待完善;

（2）所有软件都配有最新的记录文件;

（3）版本发布都配有最新的注释文件;

（4）CREATE-AV项目负责人与QA联合制定软件发布时间表;

（5）通常，软件发布要求其培训资料也必须更新，且与软件同步发行。

3.3.2测试程序

在CREATE-AV计划中，在计算工具发布前通常要经过6级测试，测试的时间顺序、测试之间的关系以及负责人由左至右见图1。

第①、③级详见参考文献[5]，也常见于软件开发教材中。前两级（单项测试与综合测试）开发团队将其设置成夜间自动运行。第③级（a测试）包含对任意新增功能的衰退测试和V&V检测，第④级和第⑤级由质量保证团队负责，第⑥级（或β测试）是软件开发领域的常规测试程序。

3.3.3軟件培训

DoD各机构要求在全国各地举办现场培训会，每次培训会的规模在3-30人。在培训过程中，学生可以亲自接触软件，导师给出指导意见，导师一学生最合适的比例为1：5。截止目前，93%以上的参与者向朋友推荐了这种培训，这也是对培训质量的一种评测手段。

培训资料非常丰富，也可作为自学课件。此外，用户论坛（每个CREATE-AV都有一个论坛）提供了一一个热烈的学习环境。另外，还准备了短视频辅助材料。

3.4用户问题优先解决

在提交问题时，QA将区分纰漏（低效）或技术请求的优先级，以帮助研发团队确定下一步工作的优先顺序。近期开发了一个程序，将这些问题分为5类，每一类跨0-2两个级别。这五类问题的级别被称为NAVIS级别（即Number，Alternatives，Value，ImpactandSubjectiveAnalysis）一其级别为0-10（优先性从最低到最高），NAVIS级别划分见表3。

4结论

根据Rechard等人关于质量保证（QA）的定义，描述了美国HPCM PCREATE-AV努力追求的产品，“计算软件的QA，是要保证软件一以贯之地满足接收方、购买方或者受益方等不同客户预期”。作者从VV&UQ、质量保证测试、软件使用、用户培训以及用户支持等方面，详细分析了CREATE-AV计划为满足客户预期采取的一些做法，供同行参考。

参考文献

[1]D. E. Post， C. A. Atwood， K. P.Newmeyer， R. L. Meakin，M. M.Hurwitz，S. Dey， J.N. D Angelo，R.L. Vogelsong， N. Hariharan， R.P.Kenda1l，0. A. Goldfarb， and theCREATE Team， The CREATE ProgramSoftware Applications for the Designand Analysis of Air Vehicles， NavalVessels，Radio Frequency Antennas，and Ground Vehicles. 10 JUL 2015.

[2]Gregory P. Brooks， John W.Livingston，Stephen Adamec， WilliamMcGough，HPCMP CREATETM-AV DaVinci3.0 and HPCMP CREATETM-MG Caps toneIntegration. AIAA SciTech， 5-9January 2015， Kissimmee， Florida，53rd AIAA Aerospace Sciences Mee t ing，AIAA 2015-1508.

[3]David R. McDaniel and Scott A.Morton，HPCMP CREATETM-AVKestrelArchitecture， Capabilities， andFuture Directions. AIAA SciTechForum，8-12January 2018， Kissimmee，Florida，2018 AIAA Aerospace ScienceMeet ing.

[4]Tin-Chee Wong and David M. 0 Brien，Jr，Application of CREATETM-AV Heliosin an Engineering Environment：Hover Prediction Assessment Part2.AIAA SciTech Forum， 8-12January2018，Kissimmee， Florida， 2018 AIAAAerospace Science Meet ing.

[5]B. R. Smith， "An Assessment ofCREATE-AV Kestrel for F-35 Aero/Performance Applications，" in 53rdAIAAAerospace Sciences Meeting，Orlando，FL， 2015.

[6]B. Jayaraman， A. M. Wissink，S. Shende， S. Adamec and V.Sankaran， "Extensible SoftwareEngineeringPractices for the HeliosHigh-Fidelity Rotary-Wing SimulationCode， " in 49th AIAA AerospaceSciencesMeeting，Orlando， FL， 2011.