【风控数据】 GPS数据机器处理方法

GPS 坐标系

在开发中用到定位和地图功能的都会知道位置信息会有多个坐标系来表示,而不同地图厂商使用的坐标系也可能是不一样的, 因此需要对坐标系进行统一.

坐标系	解释	使用地图
WGS84	地球坐标系,国际上通用的坐标系.设备一般包含GPS芯片或者北斗芯片获取的经纬度为WGS84地理坐标系,最基础的坐标,谷歌地图在非中国地区使用的坐标系	GPS/谷歌地图卫星
GCJ02	火星坐标系,是由中国国家测绘局制订的地理信息系统的坐标系统.并要求在中国使用的地图产品使用的都必须是加密后的坐标,而这套WGS84加密后的坐标就是gcj02.	腾讯(搜搜)地图,阿里云地图,高德地图,谷歌国内地图
BD09	百度坐标系,百度在GCJ02的基础上进行了二次加密,官方解释是为了进一步保护用户隐私	百度地图
小众坐标系	类似于百度地图,在GCJ02基础上使用自己的加密算法进行二次加密的坐标系	搜狗地图、图吧地图等

坐标系转换逻辑

整体逻辑可参考:

wgs84, gcj02, bd09 三种坐标的互相转换

public static double pi = 3.1415926535897932384626;
public static double x_pi = 3.14159265358979324 * 3000.0 / 180.0;
public static double a = 6378245.0;
public static double ee = 0.00669342162296594323;

地球坐标系-火星坐标系互转

WGS84 TO GCJ02

火星坐标系(GCJ02) 是中国为防止地理测绘信息外泄, 从而研发针对地球坐标系的加密结果.其历史及其分析可看从地球到火星:论GCJ-02及其衍生, 该博主写的非常好

GCJ02加密步骤:

若非中国地区, 则直接返回GPS, 否则进行如下计算
将经度减去105, 纬度减去 35, 进而求偏移距离
将偏移距离转化为在 SK-42 椭球下的经纬度大小
往原坐标加偏移量

public static double transformLat(double x, double y) {
    double ret = -100.0 + 2.0 * x + 3.0 * y + 0.2 * y * y + 0.1 * x * y
            + 0.2 * Math.sqrt(Math.abs(x));
    ret += (20.0 * Math.sin(6.0 * x * pi) + 20.0 * Math.sin(2.0 * x * pi)) * 2.0 / 3.0;
    ret += (20.0 * Math.sin(y * pi) + 40.0 * Math.sin(y / 3.0 * pi)) * 2.0 / 3.0;
    ret += (160.0 * Math.sin(y / 12.0 * pi) + 320 * Math.sin(y * pi / 30.0)) * 2.0 / 3.0;
    return ret;
}

public static double transformLon(double x, double y) {
    double ret = 300.0 + x + 2.0 * y + 0.1 * x * x + 0.1 * x * y + 0.1
            * Math.sqrt(Math.abs(x));
    ret += (20.0 * Math.sin(6.0 * x * pi) + 20.0 * Math.sin(2.0 * x * pi)) * 2.0 / 3.0;
    ret += (20.0 * Math.sin(x * pi) + 40.0 * Math.sin(x / 3.0 * pi)) * 2.0 / 3.0;
    ret += (150.0 * Math.sin(x / 12.0 * pi) + 300.0 * Math.sin(x / 30.0
            * pi)) * 2.0 / 3.0;
    return ret;
}

public static boolean outOfChina(double lat, double lon) {
    if (lon < 72.004 || lon > 137.8347)
        return true;
    if (lat < 0.8293 || lat > 55.8271)
        return true;
    return false;
}

public static double[] gps84_To_Gcj02(double lat, double lon) {
    // 1: 非中国区域直接返回
    if (outOfChina(lat, lon)) {
        return new double[]{lat,lon};
    }
    // 2: 官方计算经纬度偏移距离
    double dLat = transformLat(lon - 105.0, lat - 35.0);
    double dLon = transformLon(lon - 105.0, lat - 35.0);
    // 3: 计算在 SK-42 上的经纬度大小
    double radLat = lat / 180.0 * pi;
    double magic = Math.sin(radLat);
    magic = 1 - ee * magic * magic;
    double sqrtMagic = Math.sqrt(magic);
    dLat = (dLat * 180.0) / ((a * (1 - ee)) / (magic * sqrtMagic) * pi);
    dLon = (dLon * 180.0) / (a / sqrtMagic * Math.cos(radLat) * pi);
    // 4: 原坐标累加偏移量
    double mgLat = lat + dLat;
    double mgLon = lon + dLon;
    return new double[]{mgLat, mgLon};
}

GCJ02 TO WGS84

反解基于 GCJ02 性质:

局部线性:\(f(y) - y \approx f(x) - x\)
相对位置近似:\(f(y) - f(x) \approx y - x\)
初步反解:\(x \approx f(x) - (f(f(x)) - f(x))\)
精确反解:\(x \approx y - (f(y) - f(x))\)

// 基于初步反解性质
public static double[] gcj02_To_Gps84(double lat, double lon) {
    double[] gps = gps84_To_Gcj02(lat, lon);
    double lontitude = lon * 2 - gps[1];
    double latitude = lat * 2 - gps[0];
    return new double[]{latitude, lontitude};
}
// 基于精确反解性质: 利用迭代逼近误差边界, 一般采用初步反解即可
public static double[] gcj02_To_Gps84(double lat, double lon, double err, int iter) {
    int i = 0;
    double diff_lat = 10000, diff_lon = 10000;
    double lontitude, latitude;
    while(Math.max(Math.abs(diff_lat), Math.abs(diff_lon)) > err) &&
        (i < iter)) {
        double[] gps = gps84_To_Gcj02(lat, lon);
        diff_lat = lat - gps[0];
        diff_lon = lon - gps[1];
        latitude = lat - diff_lat;
        lontitude = lon - diff_lon;
    }
    return new double[]{latitude, lontitude};
}

火星坐标系-百度坐标系互转

百度基于火星坐标又进行一层加密, 从而形成 BD09 编码, 该部分反解来自于火星坐标系 (GCJ-02) 与百度坐标系 (BD-09) 的转换算法

GCJ02 TO BD09

BD09 加密步骤

将 GCJ-02 转成极坐标后偏移
转回直角坐标, 加上一个常数偏移量

直角坐标-极坐标互换公式(工作后很多数学知识还给老师啦~)如下:

\[ \begin{cases} x &= r \times \cos(\theta) \\ y &= r \times \sim(\theta) \\ r &= \sqrt(x^2 + y^2) \\ \theta &= \arctan \frac{y}{x} \end{cases} \]

public static double[] gcj02_To_Bd09(double lat, double lon) {
    double x = lon, y = lat;
    // 1: 转极坐标并对半径 z 和角度 theta 进行偏移
    double z = Math.sqrt(x * x + y * y) + 0.00002 * Math.sin(y * x_pi);
    double theta = Math.atan2(y, x) + 0.000003 * Math.cos(x * x_pi);
    // 2: 转回直接坐标并加上常数偏移量
    double tempLon = z * Math.cos(theta) + 0.0065;
    double tempLat = z * Math.sin(theta) + 0.006;
    double[] gps = {tempLat,tempLon};
    return gps;
}

BD09 TO GCJ02

public static double[] bd09_To_Gcj02(double lat, double lon) {
    double x = lon - 0.0065, y = lat - 0.006;
    double z = Math.sqrt(x * x + y * y) - 0.00002 * Math.sin(y * x_pi);
    double theta = Math.atan2(y, x) - 0.000003 * Math.cos(x * x_pi);
    double tempLon = z * Math.cos(theta);
    double tempLat = z * Math.sin(theta);
    double[] gps = {tempLat,tempLon};
    return gps;
}

地球坐标系-火星坐标系互转

GPS84 TO BD09

public static double[] gps84_To_bd09(double lat,double lon){
    double[] gcj02 = gps84_To_Gcj02(lat,lon);
    double[] bd09 = gcj02_To_Bd09(gcj02[0],gcj02[1]);
    return bd09;
}

BD09 TO GPS84

private static double retain6(double num){
    String result = String .format("%.6f", num);
    return Double.valueOf(result);
}

public static double[] bd09_To_gps84(double lat,double lon){
    double[] gcj02 = bd09_To_Gcj02(lat, lon);
    double[] gps84 = gcj02_To_Gps84(gcj02[0], gcj02[1]);
    //保留小数点后六位
    gps84[0] = retain6(gps84[0]);
    gps84[1] = retain6(gps84[1]);
    return gps84;
}

转换逻辑验证

高德api: https://lbs.amap.com/api/webservice/guide/api/convert/
百度api: http://lbsyun.baidu.com/index.php?title=coordinate
腾讯api: https://lbs.qq.com/service/webService/webServiceGuide/webServiceTranslate

经纬度距离计算

具体计算逻辑可参考地理空间距离计算优化

# HIVE 计算方法
MIN(
    ROUND(
        6378.137 * 2 * asin(
            sqrt(
                pow(sin((lat1*pi()/180-lat2*pi()/180)/2),2)
                +cos(lat1 * pi()/180) * cos(lat2 * pi() / 180) *  pow(sin((lng1 * pi() / 180 - lng2 * pi() / 180) / 2), 2)
            )
        ) * 1000
    )
) AS location

// JAVA 计算方法
private static final double EARTH_RADIUS = 6378137;
private static double rad(double d){
    return d * Math.PI / 180.0;
}
public double GetDistanceFromGPS(String lng1, String lat1, String lng2, String lat2) {
    double dist = -1;
    try {
        double radLat1 = rad(Double.parseDouble(lat1));
        double radLat2 = rad(Double.parseDouble(lat2));
        double latDiff = radLat1 - radLat2;
        double lngDiff = rad(Double.parseDouble(lng1)) - rad(Double.parseDouble(lng2));
        double s = 2 * Math.asin(
                Math.sqrt(
                        Math.pow(Math.sin(latDiff / 2), 2) +
                        Math.cos(radLat1) * Math.cos(radLat2) * Math.pow(Math.sin(lngDiff / 2), 2)
                )
        );
        dist = s * EARTH_RADIUS;
        // The unit of distance is meter
        return dist;
    } catch (Exception e) {
        return dist;
    }
}

参考资料

风控技术

#风控数据

【风控数据】 GPS数据机器处理方法

https://www.windism.cn/780384459.html

作者

windism

发布于

2021年5月24日

许可协议

【风控数据】通讯数据类型及应用上一篇

【风控模型】特征工程之类别不平衡问题下一篇