短网址服务两种不同算法JAVA实现

标签: 短网址 服务 算法 | 发表时间:2014-11-10 21:03 | 作者:泪雨的终结
出处:http://www.iteye.com
       短网址(Short URL) ,顾名思义就是看起来很短的网址。自从twitter推出短网址服务以后,各大互联网公司都推出了自己的短网
址服务。个人感觉短网址最大的优点就是短,字符少,便于发布、传播、复制和存储。

       通过网上的搜索,感觉流传了2种短网址算法,一种是基于MD5码的,一种是基于自增序列的。
       1、基于MD5码 : 这种算法计算的短网址长度一般是5位或者6位,计算过程中可能出现碰撞(概率很小),可表达的url数量为62
的5次方或6次方。感觉google(http://goo.gl),微博用的是类似这种的算法(猜的),可能看起来比较美观。
       2、基于自增序列 : 这种算法实现比较简单,碰撞的可能性为0,可表达的URL可达无穷大,长度从1开始。貌似百度的短网址服
务( http://dwz.cn/)是这种算法.

具体算法
1、MD5码 :假设url的长度为N
    a.计算长地址的MD5码,将32位的MD码分成4段,每段8个字符
    b.将a得到的8个字符串看成一个16进制的数,与N * 6个1表示的二进制数进行&操作
    得到一个N * 6长的二进制数
    c.将b得到的数分成N段,每段6位,然后将这N个6位数分别与61进行&操作,将得到的
    数作为INDEX去字母表取相应的字母或数字,拼接就是一个长度为N的短网址。
static final char[] DIGITS = 
{ '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'a', 'b', 'c', 'd', 'e', 'f', 'g',
'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x',
'y', 'z', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J', 'K', 'L', 'M', 'N', 'O',
'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y', 'Z' };


public String shorten(String longUrl, int urlLength) {
		if (urlLength < 0 || urlLength > 6) {
			throw new IllegalArgumentException("the length of url must be between 0 and 6");
		}
		String md5Hex = DigestUtils.md5Hex(longUrl);
		// 6 digit binary can indicate 62 letter & number from 0-9a-zA-Z
		int binaryLength = urlLength * 6;
		long binaryLengthFixer = Long.valueOf(StringUtils.repeat("1", binaryLength), BINARY);
		for (int i = 0; i < 4; i++) {
			String subString = StringUtils.substring(md5Hex, i * 8, (i + 1) * 8);
			subString = Long.toBinaryString(Long.valueOf(subString, 16) & binaryLengthFixer);
			subString = StringUtils.leftPad(subString, binaryLength, "0");
			StringBuilder sbBuilder = new StringBuilder();
			for (int j = 0; j < urlLength; j++) {
				String subString2 = StringUtils.substring(subString, j * 6, (j + 1) * 6);
				int charIndex = Integer.valueOf(subString2, BINARY) & NUMBER_61;
				sbBuilder.append(DIGITS[charIndex]);
			}
			String shortUrl = sbBuilder.toString();
			if (lookupLong(shortUrl) != null) {
				continue;
			} else {
				return shortUrl;
			}
		}
		// if all 4 possibilities are already exists
		return null;
	}


2、自增序列:
   a. 或者序列的自增值,将值用62进制表示。

	private AtomicLong sequence = new AtomicLong(0);

	@Override
	protected String shorten(String longUrl) {
		long myseq = sequence.incrementAndGet();
		String shortUrl = to62RadixString(myseq);
		return shortUrl;
	}

	private String to62RadixString(long seq) {
		StringBuilder sBuilder = new StringBuilder();
		while (true) {
			int remainder = (int) (seq % 62);
			sBuilder.append(DIGITS[remainder]);
			seq = seq / 62;
			if (seq == 0) {
				break;
			}
		}
		return sBuilder.toString();
	}


       MAVEN工程中的代码用2个MAP来模拟存放长-短网址的互相映射,实际使用中可能是基于数据库表配合索引或者一些分布式KV系统来实现。



已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [短网址 服务 算法] 推荐:

短网址服务两种不同算法JAVA实现

- - Java - 编程语言 - ITeye博客
       短网址(Short URL) ,顾名思义就是看起来很短的网址. 自从twitter推出短网址服务以后,各大互联网公司都推出了自己的短网. 个人感觉短网址最大的优点就是短,字符少,便于发布、传播、复制和存储.        通过网上的搜索,感觉流传了2种短网址算法,一种是基于MD5码的,一种是基于自增序列的.

短网址还原的Bookmarklet

- Danny - 阮一峰的网络日志
但是有时候,我们需要知道真实网址是什么. 何况在国内,很多网址是点不开的. 我一直希望,有人做一个通用接口,提供所有短网址的还原服务. 现在,这样的服务终于出现了,它就是unshort.me. 在该网站的首页,输入短网址,点击按钮后就会看到真实网址. 更令人满意的是,它还慷慨地提供了调用接口API.

Google短网址的API

- fish - 阮一峰的网络日志
2009年底,Google发布了短网址服务goo.gl. "......(这是)互联网上最稳定、最安全、最快速的短网址服务. 有人做了比较,证明确实如此. 从上图可以看到,goo.gl的响应和跳转时间是最短的. 除了速度快,goo.gl还提供详细的点击统计. 比如,Yahoo首页的短网址是http://goo.gl/QuXj,那么它的统计数据就在http://goo.gl/info/QuXj.

四部门:用户可选择关闭算法推荐服务

- - 财经频道
人民网北京1月4日电 (申佳平)近年来,算法应用在给政治、经济、社会发展注入新动能的同时,算法歧视、“大数据杀熟”、诱导沉迷等算法不合理应用导致的问题也深刻影响着正常的传播秩序、市场秩序和社会秩序,给维护意识形态安全、社会公平公正和网民合法权益带来挑战. 据国家互联网信息办公室官网消息,近日,国家互联网信息办公室、工业和信息化部、公安部、国家市场监督管理总局联合发布《互联网信息服务算法推荐管理规定》(以下简称《规定》),自2022年3月1日起施行.

腾讯云FPGA联合团队:国内首款FPGA云服务器的深度学习算法

- - 业界
 由腾讯云基础产品中心、腾讯架构平台部组成的腾讯云FPGA联合团队,在这里介绍国内首款FPGA云服务器的工程实现深度学习算法(AlexNet),讨论深度学习算法FPGA硬件加速平台的架构. 背景是这样的:在1 月 20 日,腾讯云推出国内首款高性能异构计算基础设施——FPGA 云服务器,将以云服务方式将大型公司才能长期支付使用的 FPGA 普及到更多企业,企业只需支付相当于通用CPU约40%的费用,性能可提升至通用CPU服务器的30倍以上.

国家网信办关于《互联网信息服务算法推荐管理规定(征求意见稿)》公开征求意见的通知

- -
据微信公众号“网信中国”27日发布消息,为了规范互联网信息服务算法推荐活动,维护国家安全和社会公共利益,保护公民、法人和其他组织的合法权益,促进互联网信息服务健康发展,我办起草了《互联网信息服务算法推荐管理规定(征求意见稿)》,现向社会公开征求意见. 公众可通过以下途径和方式提出反馈意见:. 1.登录中华人民共和国司法部 中国政府法制信息网(www.moj.gov.cn、www.chinalaw.gov.cn),进入首页主菜单的“立法意见征集”栏目提出意见.

缓存算法

- lostsnow - 小彰
没有人能说清哪种缓存算法由于其他的缓存算法. (以下的几种缓存算法,有的我也理解不好,如果感兴趣,你可以Google一下  ). 大家好,我是 LFU,我会计算为每个缓存对象计算他们被使用的频率. 我是LRU缓存算法,我把最近最少使用的缓存对象给踢走. 我总是需要去了解在什么时候,用了哪个缓存对象.

BFPRT算法

- zii - 小彰
BFPRT算法的作者是5位真正的大牛(Blum 、 Floyd 、 Pratt 、 Rivest 、 Tarjan),该算法入选了在StackExchange上进行的当今世界十大经典算法,而算法的简单和巧妙颇有我们需要借鉴学习之处. BFPRT解决的问题十分经典,即从某n个元素的序列中选出第k大(第k小)的元素,通过巧妙的分析,BFPRT可以保证在最坏情况下仍为线性时间复杂度.

贪心算法

- Shan - 博客园-首页原创精华区
顾名思义,贪心算法总是作出在当前看来最好的选择. 也就是说贪心算法并不从整体最优考虑,它所作出的选择只是在某种意义上的局部最优选择. 当然,希望贪心算法得到的最终结果也是整体最优的. 虽然贪心算法不能对所有问题都得到整体最优解,但对许多问题它能产生整体最优解. 如单源最短路经问题,最小生成树问题等.

缓存算法

- 成 - FeedzShare
来自: 小彰 - FeedzShare  . 发布时间:2011年09月25日,  已有 2 人推荐. 没有人能说清哪种缓存算法由于其他的缓存算法. (以下的几种缓存算法,有的我也理解不好,如果感兴趣,你可以Google一下  ). 大家好,我是 LFU,我会计算为每个缓存对象计算他们被使用的频率.