<<上篇 | 首页 | 下篇>>

关于通过H5页面唤NNtive户端的介绍

本文档用于介绍通过H5端唤起本地NN客户端的研究过程!刚进新公司,导师让研究下5页面唤NNtive户端的课题,后面公司客户端产品可能会用到这方面的技术,所以研究了下,写成文章,保密需要,去掉了和具体客户端绑定的内容,希望对那些想了解这方面知识的人有用!

背景

  • 目前通过H5页面唤起native App的场景十分常见,比如常见的分享功能;一方面,对于用户而言,相同的内容在native app上比H5体验更好,操作更加方便,另一方面,对于app运营来说,可以增加app的用户粘性度。

  • 当前native客户端内置webview中,比较常用的是通过schema打开登陆页、触发分享入口的显示;而在外部浏览器或者webview中唤醒公司的客户端目前还没有太多尝试,有据此展开研究的必要性,以便日后在真实的需求中使用!

唤醒native APP 的几种方式

在Android端,常用的方式是Schame + Android Itent,在IOS端,常用的方式是Schema + Universal links(IOS9+); 使用的前提都是客户端程序实现了schema协议。

下面对这3种方式做简要的介绍:

Schema

在Android和IOS浏览器中(非微信浏览器),可以通过schema协议的方式唤醒本地app客户端;schema协议在App注册之后,与前端进行统一约定,通过H5页面访问某个具体的协议地址,即可打开对应的App客户端 页面;

访问协议地址,目前有3种方式,以打开NN客户端登录页为例:

  1. 通过a标签打开,点击标签是启动
    <a href="ftnn:login">打开登录页</a> 
  1. 通过iframe打开,设置iframe.src即会启动
    <iframe src="ftnn:login"></iframe> 
  1. 直接通过window.location 进行跳转
    window.location.href= "ftnn:login"; 

Android上注册schema协议,可以参考博文:Android手机上实现WebApp直接调起NativeApp

注:由于微信的白名单限制,无法通过schema来唤起本地app,只有白名单内的app才能通过微信浏览器唤醒,这个问题我目前没有找到合适的解决办法!

Android Intent

在Android Chrome浏览器中,版本号在chrome 25+的版本不在支持通过传统schema的方法唤醒App,比如通过设置window.location = "xxxx://login"将无法唤醒本地客户端。需要通过Android Intent 来唤醒APP; 使用方式如下:

  1. 构件intent字符串:
    intent:     login                                           // 特定的schema uri,例如login表示打开NN登陆页     #Intent;        package=cn.xxxx.xxxxxx;                       // NN apk 信息       action=android.intent.action.VIEW;            // NN apk 信息       category=android.intent.category.DEFAULT;     // NN apk 信息       component=[string];                           // NN apk 信息,可选       scheme=xxxx;                                  // 协议头       S.browser_fallback_url=[url]                  // 可选,schema启动客户端失败时的跳转页,一般为下载页,需编码     end;  
  1. 构造一个a标签,将上面schame 字符串作为其href值,当点击a标签时,即为通过schema打开某客户端登陆页,如果未安装客户端,则会跳转到指定页,这里会跳转到下载页;

    <a href="intent://loin#Intent;scheme=ftnn;package=cn.futu.trader;category=android.intent.category.DEFAULT;action=android.intent.action.VIEW;S.browser_fallback_url=http%3A%2F%2Fa.app.qq.com%2Fo%2Fsimple.jsp%3Fpkgname%3Dcn.futu.trader%26g_f%3D991653;end">打开登录页</a> 

Universal links

Universal links为 iOS 9 上一个所谓 通用链接 的深层链接特性,一种能够方便的通过传统 HTTP 链接来启动 APP, 使用相同的网址打开网站和 APP;通过唯一的网址, 就可以链接一个特定的视图到你的 APP 里面, 不需要特别的 schema;

在IOS中,对比schema的方式,Universal links有以下优点:

  1. 通过schema启动app时,浏览器会有弹出确认框提示用户是否打开,而Universal links不会提示,体验更好;

  2. Universal link可在再微信浏览器中打开外部App;

    网易新闻客户端IOS 9上目前采用这种Universal links方式

针对这部分内容可以参考博文:

实现过程

首先,通过浏览器是无法判断是否安装了客户端程序的,因此整体的思路就是:尝试去通过上面的唤起方式来唤起本地客户端,如果唤起超时,则直接跳转到下载页;整个实现过程围绕这一点展开。

在不考虑IOS9 Universal links唤醒方式的条件下,可以分为这几个步骤;

  1. 生成schema字符串

首先判断浏览器UA,如果为Chrome for Android,则必须安装 Android Intent的方式来组织schema字符串;如果为其他浏览器,则按照普通的schema方式来返回即可; 

注意参数中包含的url地址需要进行encodeURIComponent编码

2 .通过iframe或者a标签来加载schema

由于无法确定是否安装了客户端,因此通过window.location = schema的方式可能导致浏览器跳转到错误页;所以通过iframe.src或a.href载入schema是目前比较常见的方法;

相比于iframe和a,通过设置其diaplay为none来进行隐藏,这样即便链接错误也不会对当前页构成影响,但是对于a标签,在未安装客户端的情况下,仍然会存在提示访问不存在的情况(比如opera),所以在选取上的优先级是:iframe>a>window.location,只有在iframe.href 无法调用schema的情况下,才采用a.href的方式。

经过非全面测试:

  • Android系统上,Chrome for Android无法通过iframe.src 来调用schema,而通过a.href 的方式可以成功调用,而针对chrome内核的浏览器如猎豹,360,小米浏览器, opera对于iframe.src和a.href的方式都能支持,所以对chrome及先关的内核的浏览器采用a.href的方式来调用scheme;对于其他浏览器,如UC,firefox,mobile QQ,sogou浏览器则采用iframe.src的方式调用schema。对于微信浏览器,则直接跳转到下载页。其他未经测试的浏览器,默认采用iframe.src来调用schema;
  • IOS 9系统上,Safari浏览器无法通过iframe.src的方式调用schema,对于UC,Chrome,百度浏览器,mobileQQ只能通过a.href的方式进行调用schema;对于微信浏览器,默认跳转到下载页;

代码如下:

3 .处理客户端未安装的情况

前面提到无法确定客户端程序是否安装,所以在通过iframe和a调用schema时,会设置一个settimeout,超时,则跳转到下载页;

此处的超时时间设置也十分关键,如果超时时间小于app启动时间,则未待app启动,就是执行setimeout的方法,如果超时时间较长,则当客户端程序未安装时,需要较长时间才能执行settimeout方法进入下载页。

代码中,进入到setimeout时,对跳转过程再次进行了限定;当浏览器因为启动app而切换到后台时,settimeout存在计时推迟或延迟的问题,此时,如果从app切换回浏览器端,则执行跳转代码时经历的时间应该大于setimeout所设置的时间;反之,如果本地客户端程序未安装,浏览器则不会进入后台程序,定时器则会准时执行,故应该跳转到下载页!

在实际测试过程,当通过schema成功唤起客户端,再次返回浏览器时,发现页面已跳转至下载页面,因此对已设置的settimeout需要做一个清除处理;

当本地app被唤起,app处于设备可视窗口最上层,则浏览器进入后台程序页面会隐藏掉,会触发pagehide与visibilitychange事件,此时应该清除setimeout事件,于此同时,document.hide属性为true,因此setimeout内也不做跳转动作,防止页面跳转至下载页面; 此时,有几个事件比较关键:

pagehide: 页面隐藏时触发  visibilitychange: 页面隐藏没有在当前显示时触发,比如切换tab,也会触发该事件  document.hidden 当页面隐藏时,该值为true,显示时为false 

为了尽可能的兼容多的浏览器,所以讲这几个事件都进行绑定! 代码如下。


测试结果

  1. Android平台(小米3 手机测试)

    • 经测试,可唤起chrome,Firefox,uc,360,mibrowser,sogou,liebao,mobileQQ浏览器;
    • 新版opera浏览器采用webkit内核,但是当客户端未安装时跳转下载页会会出错,提示页面不存在;
    • 微信不支持登陆,直接做了跳转到下载页处理;
    • Android上启动相对比较慢,导致很容易启动超时而跳转到下载页面;
    • 测试页面在本机,百度浏览器会上报检测url合法性,导致唤醒不成功

    2 . IOS平台(ip4,ip6+,ipad mini2)

    • os7上Safari可用,其他浏览器为测试,条件限制;
      • Safari,UC浏览器,Chrome 浏览器能唤起nn客户端,但是Safari会有 是否打开的提示;
      • QQ webviwe上能打开,偶尔会失败;
      • IOS上启动速度相对较快

相关代码

对代码进行简单的封装,代码如下,在使用时需要针对当前的app做必要设置,采用UMD的写法:

代码见tool-nativeSchema.js

调用方式:

// COMMONJS 的方式引用,不能直接在浏览器中运行,需要打包转换 var nativeSchema = require("tool-nativeSchema.js");  // Amd的方式 require(["tool-nativeSchema.js"],function(nativeSchema){  });  // 直接引入 <script type="text/javascript" src="xxxx/tool-nativeSchema.js"></script> 
// 使用 nativeSchema.loadSchema({     // 某个schema协议,例如login,     schema: "",      //schema头协议,     protocal:"xxx",      //发起唤醒请求后,会等待loadWaiting时间,超时则跳转到failUrl,默认3000ms     loadWaiting:"3000",      //唤起失败时的跳转链接,默认跳转到应用商店下载页     failUrl:"xxx",      // Android 客户端信息,可以询问 Android同事     apkInfo:{         PKG:"",         CATEGORY:"",         ACTION:""     } }); 

研究意义

便于通过相关H5页面进入Native客户端,提升用户体验,提升App用户粘度; 对于未安装客户端的用户,可引导进入下载通道,如下场景图:

存在的问题

  1. 在没有安装客户端程序的时候,opera无法跳转到指定页的失败页;
  2. 通过微信唤醒客户端目前不可行,Android上需要微信设置白名单;IOS上,需要微信设置白名单或者通过Universal links(IOS9+)协议;
  3. 尚未对IOS9的 Universal links协议进行功能测试。
  4. 代码中使用的各种时间如:settimeout定时时间均根据本机测试进行的调整,普遍性需要进一步验证

 

标签 : , ,

记一次java native memory增长问题的排查 - Axb的自我修养

一段监控DirectBuffer的代码,以提高DirectBuffer的可用性

/**
 * 监控DirectBuffer,提高DirectBuffer可用性
 * 使用MaxDirectMemorySize可以指定DirectBuffer的最大可用空间,DirectBuffer的缓存空间不在堆上分配,
 * 因此,可以使应用程序突破最大堆内存限制,对DirectBuffer的读写操作比普通Buffer快,但是对它的创建
 * 与销毁比普通Buffer要慢
 * @throws Exception
 */
@Test
public void monitorDirectBufferUsage() throws Exception {
Class c = Class.forName("java.nio.Bits");
Field maxMemory = c.getDeclaredField("maxMemory");
maxMemory.setAccessible(true);//通过反射取得私有数据
Field reservedMemory = c.getDeclaredField("reservedMemory");
reservedMemory.setAccessible(true);
synchronized(c) {
Long maxMemoryValue = (Long)maxMemory.get(null);
Long reservedMemoryValue = (Long) reservedMemory.get(null);
System.out.println("maxMemoryValue : " + maxMemoryValue);//总大小
System.out.println("reservedMemoryValue : " + reservedMemoryValue);//剩余大小
}
}

 

排查

首先怀疑是java heap的问题,查看heap占用内存,没有什么特殊。

$ jmap -heap pid

然后又怀疑是directbuffer的问题,jdk1.7之后对directbuffer监控的支持变得简单了一些,使用如下脚本:

 

 

发现directbuffer虽然在增长,但是也只有百兆左右。full gc之后缩小到十几兆,可以忽略。

查看java线程的情况,虽然线程数很多,但是内存增长时线程数基本没有什么变化。

$ jstack pid |grep 'java.lang.Thread.State' |wc -l
或者
$ cat /proc/pid/status |grep Thread

对java做了一次heap dump,使用eclipse的MAT查看堆内使用情况,没有发现明显有哪个对象数量有明显异常,heap的大小也只有几百兆。

$ jmap -dump:file=/tmp/heap.bin

发现stack dump里的global jni reference一直在增长,怀疑是jni调用存在内存溢出。

$ jstack pid |grep JNI

查找了jar包里的.so/.h等c文件,发现jruby、jthon等jar包里有jni相关的文件。

$ wtool jarfind *.so .

上网发现确实有不少jruby内存溢出的issue。把这些jar包直接删掉之后观察global jni reference数量还是在涨,内存增长情况也没有改善。

之后突然想到full gc的问题,对增长中的java进程做了一次full gc,global jni reference数量由几千个下降到几十个,但是占用内存还是没有变化,排除掉global reference的可能性。

用pmap查看进程内的内存情况,发现java的heap和stack大小都没啥变化,但是定期会多出来一个64M左右的内存块。

$ pmap -x pid |lesspmap截图

使用gdb观察内存块里的内容,发现里面有一些接口的返回值、mc的返回值、还有一些类名等等

gdb: dump memory /tmp/memory.bin 0x7f6b38000000 0x7f6b38000000+65535000
$ hexdump -C /tmp/memory.bin$ strings /tmp/memory.bin |lesshexdump截图

上网搜索后发现有人遇到过这个问题,在这个网页里有ibm对64M问题的研究。依照网站上说的办法,把MALLOC_ARENA_MAX参数调成1,发现virtual memory正常了,res也小了1G左右。同时hadoop的issue里也有一些性能方面的测试,发现MALLOC_ARENA_MAX=4的时候性能会提升,但是他们也说不清楚为什么。

修改之后程序启动时的virtual memory明显降低,res也降低到了3.2g: memory

本来以为到这里应该算是解决了,但是这个程序跑了几天之后内存依然在上涨,只是内存块由很多64M变成了一个2g+的普通native heap。

继续寻找线索,在一些关于MALLOC_ARENA_MAX这个参数的讨论里也发现一些关于glibc的其它参数。比如M_TRIM_THRESHOLD和M_MMAP_THRESHOLD或者MALLOC_MMAP_MAX_,试用之后发现依然没有效果。

试着从glibc的malloc实现上找问题,比如这里这里,同样没有什么进展。

尝试用strace和ltrace查找malloc调用,发现定期有32k的内存申请,但是无法确定是从哪调用的。

尝试用valgrind查找内存泄露,但是jvm跑在valgrind上几分钟就crash了。

在网上查到了一个关于thread pool用法错误有可能导致内存溢出的问题,可以写一个小程序重现:

 

 

但是用btrace挂了一天也没有发现有错误的调用,源代码里也没找到类似的用法。

重新用MAT在heap dump里查找是否有native reference,发现finalizer队列里有很多java.util.zip.Deflater的实例,上网搜索发现这个类有可能导致native内存溢出,使用的jesery框架里有这个问题导致gzip异常的issue;用btrace监视发现有大量这个类的构造函数被调用,但是经过几次full gc的观察,每次full gc后finalizer队列里的Deflater数量都会减少到个位数,但是内存依然在上涨;同时排查了线上配置,发现没有开启gzip。

也发现了有人说SunPKCS11有可能导致内存泄露,但是也没发现有相关java对象。

尝试把Xss参数调到256k,运行几天后发现内存维持在5.7g左右,比较稳定,但是从各种角度都无法解释为什么xss调小会影响native heap的大小。

怀疑是JIT的问题,用-Xint或者-XX:-Inline方式启动之后发现内存依然增长。

本来排查到这里已经绝望了,但是最后想到是不是JDK本身有什么bug?

查看jdk的changelog,发现线上使用的1.7-b15的版本比较老,之后有一些对native memory leak的修复。尝试用新的jdk1.7-u71启动应用,内存竟然稳定下来了!

在升级jdk、限制directbuffer大小为256M、调整MALLOC_ARENA_MAX=1后,4倍流量的tcpcopy运行几天后内存占用稳定在5G;只升级了jdk,其它参数不变,运行一天后内存为5.4G,是否上涨还有待观察。对比之前占用6.8G左右,效果还是比较明显的。

4.其它参考资料

 

阅读全文……

标签 : ,

使用Spark-MLlib进行内容推荐

在许多的现实生活中的很多场景中,我们常常只能接触到隐性的反馈(例如游览,点击,购买,喜欢,分享等等)在 MLlib 中所用到的处理这种数据的方法来源于文献: Collaborative Filtering for Implicit Feedback Datasets。 本质上,这个方法将数据作为二元偏好值和偏好强度的一个结合,而不是对评分矩阵直接进行建模。因此,评价就不是与用户对商品的显性评分而是和所观察到的用户偏好强度关联了起来。然后,这个模型将尝试找到隐语义因子来预估一个用户对一个商品的偏好。

 

package org.apache.spark.examples.mllib;

 

// $example on$

import scala.Tuple2;

 

import org.apache.spark.api.java.*;

import org.apache.spark.api.java.function.Function;

import org.apache.spark.mllib.recommendation.ALS;

import org.apache.spark.mllib.recommendation.MatrixFactorizationModel;

import org.apache.spark.mllib.recommendation.Rating;

import org.apache.spark.SparkConf;

// $example off$

 

public class JavaRecommendationExample {

  public static void main(String args[]) {

    // $example on$

    SparkConf conf = new SparkConf().setAppName("Java Collaborative Filtering Example");

    JavaSparkContext jsc = new JavaSparkContext(conf);

 

    // Load and parse the data

    String path = "../data/mllib/als/test.data";

    JavaRDD<String> data = jsc.textFile(path);

    JavaRDD<Rating> ratings = data.map(

      new Function<String, Rating>() {

        public Rating call(String s) {

          String[] sarray = s.split(",");

          return new Rating(Integer.parseInt(sarray[0]), Integer.parseInt(sarray[1]),

            Double.parseDouble(sarray[2]));

        }

      }

    );

 

    // Build the recommendation model using ALS

    int rank = 10;

    int numIterations = 10;

//使用具体评分数进行训练

    MatrixFactorizationModel model = ALS.train(JavaRDD.toRDD(ratings), rank, numIterations, 0.01);

//忽略评分数据进行模型训练

//MatrixFactorizationModel model = ALS.trainImplicit(JavaRDD.toRDD(ratings), rank, numIterations, 0.01, 0.01);

 

    // Evaluate the model on rating data

    JavaRDD<Tuple2<Object, Object>> userProducts = ratings.map(

      new Function<Rating, Tuple2<Object, Object>>() {

        public Tuple2<Object, Object> call(Rating r) {

          return new Tuple2<Object, Object>(r.user(), r.product());

        }

      }

    );

    JavaPairRDD<Tuple2<Integer, Integer>, Double> predictions = JavaPairRDD.fromJavaRDD(

      model.predict(JavaRDD.toRDD(userProducts)).toJavaRDD().map(

        new Function<Rating, Tuple2<Tuple2<Integer, Integer>, Double>>() {

          public Tuple2<Tuple2<Integer, Integer>, Double> call(Rating r){

            return new Tuple2<Tuple2<Integer, Integer>, Double>(

              new Tuple2<Integer, Integer>(r.user(), r.product()), r.rating());

          }

        }

      ));

    JavaRDD<Tuple2<Double, Double>> ratesAndPreds =

      JavaPairRDD.fromJavaRDD(ratings.map(

        new Function<Rating, Tuple2<Tuple2<Integer, Integer>, Double>>() {

          public Tuple2<Tuple2<Integer, Integer>, Double> call(Rating r){

            return new Tuple2<Tuple2<Integer, Integer>, Double>(

              new Tuple2<Integer, Integer>(r.user(), r.product()), r.rating());

          }

        }

      )).join(predictions).values();

    double MSE = JavaDoubleRDD.fromRDD(ratesAndPreds.map(

      new Function<Tuple2<Double, Double>, Object>() {

        public Object call(Tuple2<Double, Double> pair) {

          Double err = pair._1() - pair._2();

          return err * err;

        }

      }

    ).rdd()).mean();

    System.out.println("Mean Squared Error = " + MSE);

 

    // Save and load model

    model.save(jsc.sc(), "target/tmp/myCollaborativeFilter");

    MatrixFactorizationModel sameModel = MatrixFactorizationModel.load(jsc.sc(),

      "target/tmp/myCollaborativeFilter");

    

//使用模型为用户推荐内容

    Rating[] recommendations =sameModel.recommendProducts(1, 3);

    for(int i=0;i<recommendations.length;i++){

    System.out.println("推荐的产品:"+recommendations[i].product());

    }

    // $example off$

  }

}