利用深度学习解决直播支付风控
以下内容由 [五四陈科学院]提供
前言
在直播软件中,典型的过程是A用户充值,送花给B用户,B用户提现。
正是有这样一条变现的道路,无数盗刷、退款、36技术的黑产人盯上了直播,报道见到映客的损失一度到了300万人民币(本文价值至少300万了:P)。外链 https://www.douban.com/group/topic/89441680/
本文介绍利用keras+tensorflow,快速完成一个神经网络,从工程角度看深度学习带来的实际作用。
安装
1.先升级pip
chenzhen$ pip install --upgrade pip
2.安装keras
chenzhen$ pip install keras
...
installing collected packages: numpy, scipy, six, theano, pyyaml, keras
Successfully installed keras-1.2.1 numpy-1.12.0 pyyaml-3.12 scipy-0.18.1 six-1.10.0 theano-0.8.2
3.安装tensorflow
chenzhen$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/mac/cpu/tensorflow-1.0.0rc2-py2-none-any.whl
chenzhen$ pip install --upgrade $TF_BINARY_URL
...
Installing collected packages: funcsigs, pbr, mock, wheel, pyparsing, packaging, appdirs, setuptools, protobuf, tensorflow
Found existing installation: wheel 0.24.0
Uninstalling wheel-0.24.0:
Successfully uninstalled wheel-0.24.0
Found existing installation: setuptools 18.0.1
Uninstalling setuptools-18.0.1:
Successfully uninstalled setuptools-18.0.1
Successfully installed appdirs-1.4.0 funcsigs-1.0.2 mock-2.0.0 packaging-16.8 pbr-1.10.0 protobuf-3.2.0 pyparsing-2.1.10 setuptools-34.1.1 tensorflow-1.0.0rc2 wheel-0.29.0
4.检查安装是否成功
chenzhen$ python -c "import keras; print keras.__version__"
Using TensorFlow backend.
1.2.1
5.检查配置是否正确
chenzhen$ cat ~/.keras/keras.json
{
"image_dim_ordering": "tf",
"epsilon": 1e-07,
"floatx": "float32",
"backend": "tensorflow"
}
6.安装h5py 用来保存权重数据
chenzhen$ pip install h5py
...
Installing collected packages: h5py
Successfully installed h5py-2.6.0
7.安装 scikit-learn 用来写代码自动计算最优超参
chenzhen$ pip install scikit-learn
...
Installing collected packages: scikit-learn
Successfully installed scikit-learn-0.18.1
8.安装hyperas 用来自动计算最优超参
pip install hyperas
准备数据
首先拿线上两天的数据,一天用来训练,一天用来测试。
数据都是csv的,根据过去的经验,一个用户给另一个用户刷钱,能拿到的数据项有:
1.是否白名单 2.是否签约 3.粉丝数量 4.是否入库 5.播放次数 6.播放时长 7.充值总次数 8.关注数量 等8个数据
所有数据均为数字,再在9位上加上0表示正常1表示有问题的用户(有问题的用户是通过之前不正常的充值靠人肉挑的)。
准备模型
chenzhen$ cat deep.py
from keras.models import Sequential
from keras.layers import Dense
import numpy
dataset = numpy.loadtxt("0207.csv", delimiter=",")
X = dataset[:,0:8]
Y = dataset[:,8]
dataset2 = numpy.loadtxt("0208.csv", delimiter=",")
Z = dataset2[:,0:8]
Q = dataset2[:,8]
# 输入8个参数,隐藏层12个神经元,先用relu激活,输出用sigmoid激活
model = Sequential()
model.add(Dense(12, input_dim=8, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
# loss用mse 优化用Adamax 准确率衡量
model.compile(loss='mse', optimizer='Adamax', metrics=['accuracy'])
# 训练100次,每次取60行
history = model.fit(X, Y, nb_epoch=100, batch_size=60)
# 测试数据
loss, accuracy = model.evaluate(Z, Q)
print("\nLoss: %.2f, Accuracy: %.2f%%" % (loss, accuracy*100))
# 保存下来训练好的模型供线上使用
# serialize model to JSON
model_json = model.to_json()
with open("model.json", "w") as json_file:
json_file.write(model_json)
# serialize weights to HDF5
model.save_weights("model.h5")
print("Saved model to disk")
使用模型
chenzhen$ cat run.py
from keras.models import Sequential
from keras.layers import Dense
from keras.models import model_from_json
import numpy
dataset2 = numpy.loadtxt("0208.csv", delimiter=",")
Z = dataset2[:,0:8]
Q = dataset2[:,8]
# load json and create model
json_file = open('model.json', 'r')
loaded_model_json = json_file.read()
json_file.close()
loaded_model = model_from_json(loaded_model_json)
# load weights into new model
loaded_model.load_weights("model.h5")
print("Loaded model from disk")
# test data
loaded_model.compile(loss='mse', optimizer='Adamax', metrics=['accuracy'])
score = loaded_model.evaluate(Z, Q, verbose=0)
print "for test %s: %.2f%%" % (loaded_model.metrics_names[1], score[1]*100)
# prediction probabilities里有预测的结果,需要启动一个简单的server对外服务即可。
probabilities = loaded_model.predict(Z)
predictions = [float(round(x)) for x in probabilities]
accuracy = numpy.mean(predictions == Q)
print("Prediction Accuracy: %.2f%%" % (accuracy*100))
超参调优
前面讲了工程使用的步骤,里面的参数都是随便写的,准确率大约60%,现在来讲如何让预测更加准确。
test1是认好训练50次每次10条效果最好。
chenzhen$ python test1.py
Best: 0.696000 using {'nb_epoch': 50, 'batch_size': 10}
test2确认好优化器使用Adam效果最好。
chenzhen$ python test1.py
Best: 0.686000 using {'optimizer': 'Adam'}
test3是优化器使用SGD时,确认里面的两个参数。
chenzhen$ python test3.py
Best: 0.654000 using {'learn_rate': 0.001, 'momentum': 0.8}
test4是初化类型。
test5是激活函数类型。
test6是dropout层的参数。
test7是隐藏层神经元数量确定。
相关的python代码见后。
Hyperas超参调优
上面一种调优办法有点麻烦,要一个一个试。
Hyperas可以一次性完成。
chenzhen$ python testh.py
Evalutation of best performing model:
192/200 [===========================>..] - ETA: 0s[0.35499999999999998, 0.64500000000000002]
Hyperas的执行结果直接保存了model,简单粗暴。代码见后。
后记
前面的模型,都比较简单,只定义了两三层,输入8个参数输出1个参数,然后有15个神经元的隐藏层,在testh.py里的调整参数时,增加了一些Activation层。
要在工程上使用,还得上到分布式tensorflow上,进行更多的训练,以达到测试集的准确率更高。
然后将保存下来的model,使用run.py里的逻辑,做成线上server,提供预测判断服务。
预测的同时,要提供人工抽检反复训练,将判断错和判断漏的,都加入到训练的过程中去,做成定时过程,才能满足需要。
另外不得不提的一点:将输入的数字归一化到0-1之间,对BPNN网络的训练效率会大大提升。
相关代码
上述所有代码均在 https://github.com/54chen/deep 。
想快点找到作者也可以到Twitter上留言: @54chen
或者你懒得带梯子上墙,请到新浪微博: @54chen