码迷,mamicode.com
首页 > 编程语言 > 详细

微博URL短网址生成算法原理及(java版、php版实现实例)

时间:2014-08-20 19:46:43      阅读:307      评论:0      收藏:0      [点我收藏+]

标签:http   java   使用   os   io   数据   for   ar   

短网址(Short URL),顾名思义就是在形式上比较短的网址。通常用的是asp或者php转向,在Web 2.0的今天,不得不说,这是一个潮流。目前已经有许多类似服务,借助短网址您可以用简短的网址替代原来冗长的网址,让使用者可以更容易的分享链接。
例如:http://t.cn/SzjPjA

短网址服务,可能很多朋友都已经不再陌生,现在大部分微博、手机邮件提醒等地方已经有很多应用模式了,并占据了一定的市场。估计很多朋友现在也正在使用。
看过新浪的短连接服务,发现后面主要有6个字符串组成,于是第一个想到的就是原来公司写的一个游戏激活码规则,也就是下面的算法2,
26个大写字母 26小写字母,10个数字,随机生成6个然后插入数据库对应一个id,短连接跳转的时候,根据字符串查询到对应id,即可实现相应的跳转!不过2的62次方,不知道有没有重复的,小概率可以,但是对应不是很大的网站应该足够了
自从twitter推出短网址(shorturl),继之国内各大微博跟风,google公开goo.gl使用API,短网址之风愈演愈烈.不得不说这是一个新兴又一大热门web2.0服务.现整理一下,包括完整短网址网站,短网址生成原理,算法举例,以及优劣比较,同时还介绍几个phper个人实现的。

短链接的好处:

1、内容需要;2、用户友好;3、便于管理。

为什么要这样做的,原因我想有这样几点:
微博限制字数为140字一条,那么如果我们需要发一些连接上去,但是这个连接非常的长,以至于将近要占用我们内容的一半篇幅,这肯定是不能被允许的,所以短网址应运而生了。
短网址可以在我们项目里可以很好的对开放级URL进行管理。有一部分网址可以会涵盖暴力,广告等信息,这样我们可以通过用户的举报,完全管理这个连接将不出现在我们的应用中,应为同样的URL通过加密算法之后,得到的地址是一样的。
我们可以对一系列的网址进行流量,点击等统计,挖掘出大多数用户的关注点,这样有利于我们对项目的后续工作更好的作出决策。

算法原理
算法一
1)将长网址md5生成32位签名串,分为4段, 每段8个字节;
2)对这四段循环处理, 取8个字节, 将他看成16进制串与0x3fffffff(30位1)与操作, 即超过30位的忽略处理;
3)这30位分成6段, 每5位的数字作为字母表的索引取得特定字符, 依次进行获得6位字符串;
4)总的md5串可以获得4个6位串; 取里面的任意一个就可作为这个长url的短url地址;
这种算法,虽然会生成4个,但是仍然存在重复几率,下面的算法一和三,就是这种的实现.
算法二
a-zA-Z0-9 这64位取6位组合,可产生500多亿个组合数量.把数字和字符组合做一定的映射,就可以产生唯一的字符串,如第62个组合就是aaaaa9,第63个组合就是aaaaba,再利用洗牌算法,把原字符串打乱后保存,那么对应位置的组合字符串就会是无序的组合。
把长网址存入数据库,取返回的id,找出对应的字符串,例如返回ID为1,那么对应上面的字符串组合就是bbb,同理 ID为2时,字符串组合为bba,依次类推,直至到达64种组合后才会出现重复的可能,所以如果用上面的62个字符,任意取6个字符组合成字符串的话,你的数据存量达到500多亿后才会出现重复的可能。
具体参看这里彻底完善新浪微博接口和超短URL算法,算法四可以算作是此算法的一种实现,此算法一般不会重复,但是如果是统计的话,就有很大问题,特别是对域名相关的统计,就抓瞎了。

java语言实现:
Java代码
package com.test;

import java.security.MessageDigest;

public class ShortURL {

private final static String[] hexDigits = {
      "0", "1", "2", "3", "4", "5", "6", "7", 
      "8", "9", "a", "b", "c", "d", "e", "f"}; 

    public static String byteArrayToHexString(byte[] b){
        StringBuffer resultSb = new StringBuffer();
        for (int i = 0; i < b.length; i++){
            resultSb.append(byteToHexString(b[i]));
        }
        return resultSb.toString();
    }

    private static String byteToHexString(byte b){
        int n = b;
        if (n < 0)
            n = 256 + n;
        int d1 = n / 16;
        int d2 = n % 16;
        return hexDigits[d1] + hexDigits[d2];
    }

    public static String MD5Encode(String origin){
        String resultString = null;
            try {

                resultString=new String(origin);
                MessageDigest md = MessageDigest.getInstance("MD5");

                resultString.trim();

                resultString=byteArrayToHexString(md.digest(resultString.getBytes("UTF-8")));
            }catch (Exception ex){}
            return resultString;
        }

public static void main(String[] args) { 
    String url = "http://www.bai.com"; 
    for (String string : ShortText(url)) { 
        print(string); 
    } 
} 

public static String[] ShortText(String string){ 
    String key = "XuLiang";                 //自定义生成MD5加密字符串前的混合KEY 
    String[] chars = new String[]{          //要使用生成URL的字符 
        "a","b","c","d","e","f","g","h", 
        "i","j","k","l","m","n","o","p", 
        "q","r","s","t","u","v","w","x", 
        "y","z","0","1","2","3","4","5", 
        "6","7","8","9","A","B","C","D", 
        "E","F","G","H","I","J","K","L", 
        "M","N","O","P","Q","R","S","T", 
        "U","V","W","X","Y","Z" 
    }; 

    String hex = MD5Encode(key + string); 
    int hexLen = hex.length(); 
    int subHexLen = hexLen / 8; 
    String[] ShortStr = new String[4]; 

    for (int i = 0; i < subHexLen; i++) { 
        String outChars = ""; 
        int j = i + 1; 
        String subHex = hex.substring(i * 8, j * 8); 
        long idx = Long.valueOf("3FFFFFFF", 16) & Long.valueOf(subHex, 16); 

        for (int k = 0; k < 6; k++) { 
            int index = (int) (Long.valueOf("0000003D", 16) & idx); 
            outChars += chars[index]; 
            idx = idx >> 5; 
        } 
        ShortStr[i] = outChars; 
    } 

    return ShortStr; 
} 

public static void print(Object messagr){ 
    System.out.println(messagr); 
}

}

以下为php语言实现:
Php代码
function shorturl($input) {
$base32 = array (

‘a‘, ‘b‘, ‘c‘, ‘d‘, ‘e‘, ‘f‘, ‘g‘, ‘h‘,   
‘i‘, ‘j‘, ‘k‘, ‘l‘, ‘m‘, ‘n‘, ‘o‘, ‘p‘,   
‘q‘, ‘r‘, ‘s‘, ‘t‘, ‘u‘, ‘v‘, ‘w‘, ‘x‘,   
‘y‘, ‘z‘, ‘0‘, ‘1‘, ‘2‘, ‘3‘, ‘4‘, ‘5‘   
);

$hex = md5($input);
$hexLen = strlen($hex);
$subHexLen = $hexLen / 8;
$output = array();
for ($i = 0; $i < $subHexLen; $i++) {

$subHex = substr ($hex, $i * 8, 8);   
$int = 0x3FFFFFFF & (1 * (‘0x‘.$subHex));   
$out = ‘‘;   
for ($j = 0; $j < 6; $j++) {   
  $val = 0x0000001F & $int;   
  $out .= $base32[$val];   
  $int = $int >> 5;   
}   
$output[] = $out;

}
return $output;
}
?>

Php代码
function random($length, $pool = ‘‘)

{   
    $random = ‘‘;   
    if (emptyempty($pool)) {   
        $pool    = ‘abcdefghkmnpqrstuvwxyz‘;   
        $pool   .= ‘23456789‘;   
    }   
    srand ((double)microtime()*1000000);   
    for($i = 0; $i < $length; $i++)    
    {   
        $random .= substr($pool,(rand()%(strlen ($pool))), 1);   
    }   
    return $random;   
}

?>

跳转原理
当我们生成短链接之后,只需要在表中(数据库或者NoSql )存储原始链接与短链接的映射关系即可。当我们访问短链接时,只需要从映射关系中找到原始链接,即可跳转到原始链接。

微博URL短网址生成算法原理及(java版、php版实现实例),布布扣,bubuko.com

微博URL短网址生成算法原理及(java版、php版实现实例)

标签:http   java   使用   os   io   数据   for   ar   

原文地址:http://my.oschina.net/fuweiwei/blog/304852

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!