让protobuf生成器支持时间戳检查

标签: protobuf 生成器 时间戳 | 发表时间:2011-08-16 11:38 | 作者:战魂小筑 Ease
出处:http://www.cppblog.com/

使用protobuf的生成器可以对proto文件进行解析后生成指定的目标语言代码.随着项目的不断扩大, 协议修改变的非常频繁, 因此每次重编变的异常耗时. 模仿C/C++编译器的时间戳检查生成机制,我给protobuf生成器添加了时间戳检查功能. 下面说下原理:

此功能不是必须的, 可以通过命令行指定—timestampfile FILE 来指定要生成的proto文件对应的时间戳

每次运行解析器时, 解析器通过命令行获取proto文件, 我们可以先读取之前保存的时间戳, 然后与这个文件的当前修改时间进行对比

如果时间戳不相等,说明文件已经被修改, 需要重新生成.之后更新时间戳文件即可.

下面是在protobuf的protoc工程里添加的代码:

command_line_interface.cc

void CommandLineInterface::ReadTimeStampFile( const string& timestampfile )
{
    FILE* f = fopen( timestampfile.c_str(), "rb" );

    if ( f == NULL )
        return;

    time_stamp_map_.clear( );

    while( !feof( f ) )
    {
        size_t read = 0;

        int strlen = 0;
        read = fread( &strlen, 1 , sizeof strlen,  f );

        if ( read == 0 )
            break;

        std::string filename;
        filename.resize( strlen );

        read = fread( (void*)filename.data(), 1, sizeof(char) * strlen, f );

        if ( read == 0 )
            break;


        __time64_t timestamp;
        read = fread( &timestamp, 1, sizeof(timestamp), f );

        if ( read == 0 )
            break;

        time_stamp_map_[filename] = timestamp;
    }

    fclose( f );
}

void CommandLineInterface::WriteTimeStampFile( const string& timestampfile )
{
    FILE* f = fopen( timestampfile.c_str(), "wb" );

    if ( f == NULL )
        return;

    for ( time_stamp_map::iterator it = time_stamp_map_.begin();
        it != time_stamp_map_.end();
        it++)
    {
        const std::string& filename = it->first;
        __time64_t timestamp = it->second;

        int strlen = filename.length();
        fwrite( &strlen, 1, sizeof(strlen), f );
        fwrite( (void*)filename.data(), 1, sizeof(char)*strlen, f );
        fwrite( &timestamp, 1, sizeof( timestamp ), f );
    }
    
    fclose( f );
}

bool CommandLineInterface::NeedGenerate( const std::string& filename )
{
    struct _stat buf;

    if ( _stat( filename.c_str(), &buf ) != 0 )
    {
        // file error
        return true;
    }

    time_stamp_map::iterator it = time_stamp_map_.find( filename );

    
    if ( it != time_stamp_map_.end() )
    {
        __time64_t& timestamp = it->second;

        if ( timestamp == buf.st_mtime )
            return false;
    }

    // don't hold the time stamp or time stamp not match, generate it!
    
    // save to map , then write time stamp
    time_stamp_map_[filename] = buf.st_mtime;

    return true;
}


void CommandLineInterface::CheckFileStamp( const string& timestampfile )
{
    
    ReadTimeStampFile( timestampfile );

    

    for (vector<string>::iterator it = input_files_.begin();
        it != input_files_.end();) {
        
        if ( !NeedGenerate( *it) )
        {
            it = input_files_.erase( it );
        }
        else
        {
            ++it;
        }
    }


    WriteTimeStampFile( timestampfile );
}
 

以上代码为核心逻辑, 之后在int CommandLineInterface::Run(int argc, const char* const argv[]) 函数中添加代码:

int CommandLineInterface::Run(int argc, const char* const argv[]) {
  Clear();
  if (!ParseArguments(argc, argv)) return 1;

  // Set up the source tree.
  DiskSourceTree source_tree;
  for (int i = 0; i < proto_path_.size(); i++) {
    source_tree.MapPath(proto_path_[i].first, proto_path_[i].second);
  }

  // Map input files to virtual paths if necessary.
  if (!inputs_are_proto_path_relative_) {
    if (!MakeInputsBeProtoPathRelative(&source_tree)) {
      return 1;
    }
  }

  // Allocate the Importer.
  ErrorPrinter error_collector(error_format_, &source_tree);
  Importer importer(&source_tree, &error_collector);

  vector<const FileDescriptor*> parsed_files;


  if ( time_stamp_filename_ != "" )
    CheckFileStamp( time_stamp_filename_ );

加黑部分为添加的代码, 这里是检查时间戳的入口

同时,我们还需要添加命令行解析开关, 这里在

bool CommandLineInterface::InterpretArgument(const string& name,
                                             const string& value) {

函数中,找到:

  } else if (name == "--error_format") {
    if (value == "gcc") {
      error_format_ = ERROR_FORMAT_GCC;
    } else if (value == "msvs") {
      error_format_ = ERROR_FORMAT_MSVS;
    } else {
      cerr << "Unknown error format: " << value << endl;
      return false;
    }

  } 
  else if ( name == "--timestampfile" ){
        time_stamp_filename_ = value;
  }
  else if (name == "--plugin") {
    if (plugin_prefix_.empty()) {
      cerr << "This compiler does not support plugins." << endl;
      return false;
    }

加黑部分为解析开关

 

之后在头文件中添加声明代码:

  // Time stamp function
  void ReadTimeStampFile( const string& timestampfile );

  void WriteTimeStampFile( const string& timestampfile );

  bool NeedGenerate( const std::string& filename );

  void CheckFileStamp( const string& timestampfile );

  typedef std::map<std::string, __time64_t> time_stamp_map;    // proto file name as key, timestamp as value
  time_stamp_map time_stamp_map_;
  string time_stamp_filename_;
转载请注明: 战魂小筑http://www.cppblog.com/sunicdavy


战魂小筑 2011-08-16 11:38 发表评论

相关 [protobuf 生成器 时间戳] 推荐:

让protobuf生成器支持时间戳检查

- Ease - C++博客-首页原创精华区
使用protobuf的生成器可以对proto文件进行解析后生成指定的目标语言代码.随着项目的不断扩大, 协议修改变的非常频繁, 因此每次重编变的异常耗时. 模仿C/C++编译器的时间戳检查生成机制,我给protobuf生成器添加了时间戳检查功能. 此功能不是必须的, 可以通过命令行指定—timestampfile FILE 来指定要生成的proto文件对应的时间戳.

集成libevent,google protobuf的RPC框架

- goodman - C++博客-那谁的技术博客
chenshuo的evproto同样也是集成libevent与google protobuf的RPC框架,不过在对libevent的使用上,这里的做法与他不尽相同:. 1) 他使用了libevent自带的RPC功能, 而这里只使用到libevent对网络I/O进行的封装的最基本的功能.. eventrpc项目目前是avidya下的一个子项目,avidya项目的定位是实现一些分布式的玩具系统(比如google已经公开论文的chubby,mapreduce,GFS等),也许以后不一定能被用上,但是也要实践做一把.由于有一个好用的RPC框架是做分布式的必需品,所有首先实现eventrpc这个子项目了,以后也许还会实现其他语言的版本,如python,java..

protobuf,json,xml,binary,Thrift之间的对比

- - 学习笔记
一条消息数据,用protobuf序列化后的大小是json的10分之一,xml格式的20分之一,是二进制序列化的10分之一,总体看来ProtoBuf的优势还是很明显的. protobuf是google提供的一个开源序列化框架,类似于XML,JSON这样的数据表示语言,详情访问protobuf的google官方网站 https://code.google.com/p/protobuf/.

通过netty提供Protobuf服务

- - ITeye博客
1、下载安装Protocol Buffer.     >下载地址: http://code.google.com/p/protobuf/.     >需要下载文件:protobuf-2.5.0.tar.gz(也可以直接下载protobuf-java-2.5.0.jar;这里通过maven生成);protoc-2.5.0-win32.zip(windows平台需要).

zmq-rpc:基于zeromq网络层编写的protobuf RPC框架

- Shengbin - codedump
阅读过zmq的代码之后,感觉这个网络层是我目前见过最高效的–线程之间使用lockfree的消息队列保存消息,可以启动多个I/O线程分担压力等等特性.于是决定基于它写一个protobuf RPC的框架.. 另外,这里使用的protobuf是旧版本2.3.0,新版本2.4.1的生成的RPC service接口跟原来不太一致,暂时还没有去研究它.BTW,升级版本之后导致原来的接口发生变化这是一个很操蛋的事情..

Protobuf在腾讯数据仓库TDW的使用

- - 标点符
protobuf是google提供的一个开源序列化框架,类似于XML、JSON这样的数据表示语言,其最大的特点是基于二进制,因此比传统的XML表示高效短小得多. 虽然是二进制数据格式,但并没有因此变得复杂,开发人员通过按照一定的语法定义结构化的消息格式,然后送给命令行工具,工具将自动生成相关的类,可以支持java、c++、python等语言环境.

Protobuf使用不当导致的程序内存上涨问题

- - 百度质量部 | 软件测试 | 测试技术 | 百度测试|QA
作者:祝兴昌   百度质量部. protocol buffers[1]是google提供的一种将结构化数据进行序列化和反序列化的方法,其优点是语言中立,平台中立,可扩展性好,目前在google内部大量用于数据存储,通讯协议等方面. PB在功能上类似XML,但是序列化后的数据更小,解析更快,使用上更简单.

数据交换格式protobuf/json/xml/binary/Thrift

- - 互联网旁观者
一条消息数据,用 protobuf序列化后的大小是 json的10分之一, xml格式的20分之一,是 二进制序列化的10分之一,总体看来ProtoBuf的优势还是很明显的. protobuf是google提供的一个开源序列化框架,类似于XML,JSON这样的数据表示语言,详情访问 protobuf的google官方网站.

jprotobuf 1.0.3发布,简化java程序员对google protobuf的应用

- - 开源软件 - ITeye博客
jprotobuf是针对Java程序开发一套简易类库,目的是简化java语言对protobuf类库的使用. 使用jprotobuf可以无需再去了解.proto文件操作与语法,直接使用java注解定义字段类型即可. JProtobuf官方网址: https://github.com/jhunters/jprotobuf .

SeaJS 里版本号和时间戳管理的最佳实践

- 别致 - 岁月如歌
用 seajs 组织项目,上线后,经常需要更新特定文件或所有文件的时间戳,以清空浏览器缓存. 这种方式很简单直观,弊端也很明显:文件一多,时间戳会分散在各个文件,维护起来不方便. 第二种方式是利用 alias:. 这种方式用来维护 jquery 等类库模块的版本号是非常方便的. 但用来加时间戳,文件一多时,依旧不方便.