简介 

Hdfs_mock属于单测工具，如果c/c++模块以API方式访问hdfs（相对于脚本模块会使用客户端方式），那么有了hdfs_mock就可以在没有真实hdfs情况下，协助进行手工或自动化测试。 背景

在linkcache模块单元测试（持续集成）时，遇到了一个问题：该模块会以API方式进行hdfs上文件的增删改查等操作，先不说搭建hdfs是一件费时费力得不尝试的事情，即使在单测阶段能够采用搭建真实环境进行测试，仍然存在以下弊端：  • 异常测试：hdfs异常情况难于模拟，导致测试覆盖不全面  • 执行时间：访问真实hdfs，自动化测试执行时间难以保证，给快速持续集成带来挑战  • 环境维护：为了支持持久、频繁的持续集成测试，hdfs环境需要始终维持不能变动  • 环境独立：hdfs环境需要与其他测试模块隔离，才能避免相互影响 思路

分析模块执行过程后发现，c/c++模块在使用API访问hdfs时，采用共享对象so的方式实现。编译时包含标准hdfs.h头文件，运行时查找libhdfs.so中API的实现来完成hdfs访问过程。基于以上分析，设计开发了单测工具hdfs_mock用以替代libhdfs.so，其具有以下特点：  • 异常测试：支持从外部设置hdfs内部状态，能够构造各种异常情况进行测试  • 执行时间：内部以本地文件系统方式实现，无网络通信代价，执行速度快  • 环境维护：因为mock so动态加载，所以使用方面直接拷贝本so即可，易于使用维护  • 环境独立：本地按照hdfs主机名分子目录独立维护数据，彼此间不受影响  • 其他：支持标准hdfs API（linkcache使用的10个API函数） 设计

在没有使用hdfs_mock时的测试过程如下图所示：  apache提供的标准hdfs API包含hdfs.h和hdfs.c，编译后生成libhdfs.so。  rd开发linkcache部分代码（HdfsFile.h/HdfsFile.cpp）依赖需要include hdfs.h，在libhdfs.so存在时编译生成libfile.so；运行时以动态方式加载并调用执行libhdfs.so中的代码，输出结果result  qa开发测试代码test_HdfsFile.cpp依赖rd代码，在libfile.so存在时编译生成test_HdfsFile程序，执行该测试程序时，同样以动态方式加载并调用执行libfile.so中代码，根据测试结果输出测试报告Test result  • hdfsmock_old.JPG:   

在使用hdfs_mock后的测试过程如下图所示：  设计开发了hdfs_mock（hdfs_mock.h/hdfs_mock.cpp），include了apache标准hdfs.h以使得接口报纸一致，编译后生成libhdfs.so（图中黄色方框）。其余步骤不变，唯一区别在于，测试执行时，libfile.so所动态加载并调用执行的hdfs API改成了hdfs_mock中的实现了。在hdfs_mock中使用本地文件系统访问替代了hdfs访问以达到模拟API的效果；此外在运行时，也可根据需要在test_HdfsFile中直接调用mock的libhdfs.so中方法来达到设置测试环境（状态、数据）的目的。  • hdfsmock.JPG:   

使用方式

下面是一个简单使用的例子，配置hdfs为正常状态，然后调用被测函数HDFSSystem::Init链接hdfs成功  QA_TEST_HDFS_MOCK::QA_TEST_HDFS_MOCK* mock = QA_TEST_HDFS_MOCK::getInstance(); mock->resetStat(); mock->_M_stat = QS_TEST_HDFS_STAT_OK; ASSERT_TRUE(HDFSSystem::Init("yx-namenode-v.yx01.baidu.com",64310,"anchorchecker","**")); 下面的简单跟上例是一组，只是配置hdfs为异常状态，然后调用被测函数HDFSSystem::Init链接hdfs失败  QA_TEST_HDFS_MOCK::QA_TEST_HDFS_MOCK* mock = QA_TEST_HDFS_MOCK::getInstance(); mock->resetStat(); mock->_M_stat = QS_TEST_HDFS_STAT_SHUTDOWN; ASSERT_FALSE(HDFSSystem::Init("yx-namenode-v.yx01.baidu.com",64310,"anchorchecker","**")); 下面是稍微复杂一点的例子，首先调用hdfs_mock的createHdfsFile接口，在hdfs_mock上模拟建立testfile文件，内容为给定buf开始的NUM个字节，然后构造HdfsFile对象Open打开testfile文件，最后是调用被测函数hf->Read()读取文件内容与标准数据进行比较  // 构造测试环境 uint32_t NUM = 1024U; char* buf = createNumChar(NUM); QA_TEST_HDFS_MOCK::QA_TEST_HDFS_MOCK* mock = QA_TEST_HDFS_MOCK::getInstance(); mock->createHdfsFile("db-testing-ps7002.db01", "./home/spider/testdir/testfile", buf, NUM); // hdfs_mock提供的辅助接口

// 构造被测对象

const string fp(""); HdfsFile* hf = new HdfsFile(fp); hf->Open(O_RDONLY);

// 调用被测函数

char rcvBuf[4096]; ASSERT_EQ((ssize_t)NUM, hf->Read(rcvBuf, 4096));

// 测试结果检查

ASSERT_STREQ(buf, rcvBuf);

(作者：shaanlan)