为个小善——发布 Python 库 absolute32

标签: python absolute32 | 发表时间:2011-09-09 06:31 | 作者:lanphaday 非狐外传
出处:http://blog.csdn.net/lanphaday
赖勇浩(http://laiyonghao.com

问题1

在较新版本的 Python 中,当两个 int 相加溢出时,它会自动把把结果转换到 long 类型,比如:
>>> 0x7FFFFFFF + 1
2147483648L
这个特性很好,但是它跟 C 语言的结果不一样。如果你要把结果 pack 到 4 个字节的 buffer 中发送到别的进程,结果就比较纠结:
>>> import struct
>>> struct.pack("i", 0x7FFFFFFF + 1)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
struct.error: long too large to convert to int
我在设计我的 webgame 网络协议时遇到了这个问题。

问题2

在不同的硬件平台,同一个函数的返回值也可能是不一样的,比如 hash(),在 32-bit 和 64-bit 都是返回 int,但大小却大有不同:
>>> hash('copyright' * 10) # 32-bit platform
-942199392
>>> hash('copyright' * 10) # 64-bit platform
-6555514777893392992
想像一下你在 32-bit 下写了一个 k/v 存储的文件放到 64-bit 去读,或者反过来,是不是让你很抓狂?

问题3

在不同的 python 版本里,不少函数的返回值也是不一样的,举个例子,zlib 里的 crc32  函数,嗯,是的,别以为它以 32 结尾就一致了!以下引用自 python manuals:
Changed in version 2.6: The return value is in the range [-2**31, 2**31-1] regardless of platform. In older versions the value is signed on some platforms and unsigned on others.

Changed in version 3.0: The return value is unsigned and in the range [0, 2**32-1] regardless of platform.
看到了吧,zlib.crc32(及 zlib.adler32) 虽然跟 32/64 位平台无关,但是 3.x 和 2.x 版本的返回值范围是不一致的,想象一下你设计的网络协议采用了 crc/adler 算法来计算 checksum,然后用于 3.x 和 2.x 版本的 Python 程序通信,会不会想抓狂呢?

解决方案

解决方案显然是一致化,编写这些操蛋的函数的替代品,确保它们在不同的硬件、不同的版本下有同样的返回值。
所以我就编写了自己版本的 add、hash、crc 和 adler 函数,确保它们的返回值为带符号的 32 位整型(即值范围 [-2**31, 2**31-1])。经过在 ubuntu 10.04 LTS 32-bit/64-bit + python 2.6/3.1 测试后,我们把它用在了我们的网络协议处理中。
后来,我把它打成了一个 lib,起名为 absolute32,扔到 google code 托管起来(http://code.google.com/p/absolute32/),同时在 pypi 注册一下,方便有需要的朋友使用它,算是为个小善。

absolute32 安装、使用

安装很简单,因为它已经上传到 pypi,所以简单地执行:
easy_install -U absolute32
就安装好啦,最后送上示例,享用吧,亲!
import absolute32 as a

assert a.add(0x7FFFFFFF, 2) == -0x7FFFFFFF
assert a.hash('copyright') == -174803930
assert a.adler(b'copyright') == 322503642
assert a.crc(b'copyright') == 947983859
作者:lanphaday 发表于2011-9-8 23:31:00 原文链接
阅读:967 评论:2 查看评论

相关 [python absolute32] 推荐:

为个小善——发布 Python 库 absolute32

- 非狐外传 - 赖勇浩的编程私伙局
赖勇浩(http://laiyonghao.com). 在较新版本的 Python 中,当两个 int 相加溢出时,它会自动把把结果转换到 long 类型,比如:. 这个特性很好,但是它跟 C 语言的结果不一样. 如果你要把结果 pack 到 4 个字节的 buffer 中发送到别的进程,结果就比较纠结:.

dropbox讲python

- chuang - Initiative
dropbox定制优化CPython虚拟机,自己搞了个malloc调度算法. 那个 !!!111cos(0). 期待这次PyCon China 2011.

Python调试

- - 企业架构 - ITeye博客
原文地址: http://blog.csdn.net/xuyuefei1988/article/details/19399137. 1、下面网上收罗的资料初学者应该够用了,但对比IBM的Python 代码调试技巧:. IBM:包括 pdb 模块、利用 PyDev 和 Eclipse 集成进行调试、PyCharm 以及 Debug 日志进行调试:.

Python WSGI 初探

- - 坚实的幻想
在构建 Web 应用时,通常会有 Web Server 和 Application Server 两种角色. 其中 Web Server 主要负责接受来自用户的请求,解析 HTTP 协议,并将请求转发给 Application Server,Application Server 主要负责处理用户的请求,并将处理的结果返回给 Web Server,最终 Web Server 将结果返回给用户.

Python实现逻辑回归(Logistic Regression in Python)

- - 神刀安全网
Logistic Regression in Python ,作了中文翻译,并相应补充了一些内容. 本文并不研究逻辑回归具体算法实现,而是使用了一些算法库,旨在帮助需要用Python来做逻辑回归的训练和预测的读者快速上手. 逻辑回归是一项可用于预测二分类结果(binary outcome)的统计技术,广泛应用于金融、医学、犯罪学和其他社会科学中.

python 下载文件

- Eric - python相关的python 教程和python 下载你可以在老王python里寻觅
之前给大家分享的python 多线程抓取网页,我觉的大家看了以后,应该会对python 抓取网页有个很好的认识,不过这个只能用python 来抓取到网页的源代码,如果你想用做python 下载文件的话,上面的可能就不适合你了,最近我在用python 做文件下载的时候就遇到这个问题了,不过最终得以解决,为了让大家以后碰过这个问题有更好的解决办法,我把代码发出来:.

python代码调试

- - 阿里古古
【转自: http://blog.csdn.net/luckeryin/article/details/4477233】. 本文讨论在没有方便的IDE工具可用的情况下,使用pdb调试python程序. 例如,有模拟税收计算的程序:. debug_demo函数计算4500的入账所需的税收. 在需要插入断点的地方,加入红色部分代码:如果_DEBUG值为True,则在该处开始调试(加入_DEBUG的原因是为了方便打开/关闭调试).

python编程规范

- - 互联网 - ITeye博客
@FileName: @Author:[email protected] @Create date: @description:用一行文字概述模块或脚本,用句号结尾. 不影响编码的效率,不与大众习惯冲突.. 使代码的逻辑更清晰,更易于理解..   *所有的 Python 脚本文件都应在文件头标上如下标识或其兼容格式的标识.

Python 编程速成

- - SegmentFault 最新的文章
本文首发微信公众号:前端先锋. 欢迎关注,每天都给你推送新鲜的前端技术文章. Python是一种非常流行的脚本语言,而且功能非常强大,几乎可以做任何事情,比如爬虫、网络工具、科学计算、树莓派、Web开发、游戏等各方面都可以派上用场. 同时无论在哪种平台上,都可以用 Python 进行系统编程. 机器学习可以用一些 Python 库来实现,比如人工智能常用的 TensorFlow.

《Dive into Python 3》中文版

- hama - Wow! Ubuntu
Dive Into Python 是一份很知名的 Python 入门教程,由 Mark Pilgrim 编写,用户可以免费获取电子版本,而中文版则由啄木鸟社区翻译发布 [ 英文版 / 中文版 ]. 前阵子,Mark Pilgrim 又发布了 《Dive into Python 3》,此版本的内容涵盖了 Python 3 及其与 Python 2 的区别.