(3)搜索与机器学习_李航博士_新浪博客
机器学习在互联网搜索中的应用
下面介绍一些基于统计机器学习的最前沿的互联网搜索技术。
排序学习
对给定的查询语句，将检索到的网页进行排序是排序学习的任务。排序学习将此问题形式化为监督学习的问题，将网页表示为特征向量，其中特征表示网页与查询语句的匹配程度或网页的重要度，基于标注数据学习一个排序模型。现在最常用的方法是LambdaMART [1]。该方法将排序问题转换为二类分类问题，利用Boosting算法优化学习目标函数。其最大特点是不显示地定义损失函数，而定义损失函数的梯度函数，以解决排序损失函数不易优化的问题。其他代表的排序学习方法还有Rank SVM [5]、 IR SVM [2]、AdaRank [10]等。
网页重要度学习
网页重要度学习旨在计算出每个网页的重要度，排序时将重要的网页尽量排在前面。传统的网页重要度计算基于超链接与PageRank算法。直观上，有许多链接指向的网页重要，网页的重要度可以通过链接在网上传播；PageRank用马尔可夫模型实现这一直观。可以认为最近提出的BrowseRank算法 [6]是PageRank算法的扩展与补充。BrowseRank首先根据用户行为数据构建用户浏览图。然后再在用户浏览图上定义连续时间马尔可夫过程，用其平稳分布表示网页的重要度。直观上，用户在网页上平均停留时间越长，网页就越重要；转移到网页的次数越高，网页就越重要。基于用户的互联网使用行为数据，BrowseRank能够更好地计算网页重要度。
匹配学习
查询语句与网页的相关性靠两者的匹配程度决定，匹配结果直接影响搜索结果。比如，查询“ny times”应与含有“new york times”的网页匹配。理想的匹配应该是语义上的匹配，而不是关键字上的匹配。匹配学习的目的在于将字面上并不相同，但语义相同的查询语句与网页匹配上，将语义相关的网页排在搜索结果的前面。代表的方法有翻译模型 [3]与隐空间模型 [9]。日志数据中记录了用户点击。比如用户搜索“ny”，因为既含有“ny”又含有“new york”的网页会被搜到，所以两者通过用户搜索中的点击得以联系。隐空间模型方法基于点击数据将查询语句与网页投影到隐空间，在隐空间中学习到查询语句与网页之间的相似度，也就是匹配关系，进而能对新的查询语句与网页的匹配程度作出判断。比如，学到“ny”与“new york”的相似度，判断“ny times”与“new york times”是可以匹配的。
话题模型学习
查询语句与网页应该在话题上也能匹配，比如，查询语句是“jaguar car”，那么关于jaguar汽车的网页是与查询相关的，而关于动物jaguar的网页即使含有jaguar与car这两个字，往往也是不相关的。话题模型学习旨在自动从索引网页中抽出所有可能的话题，以及每个网页的话题，以便在搜索时，进行查询语句与网页在话题上的匹配。话题模型学习的方法很多，有概率方法，如PLSI、LDA，也有非概率方法，如LSI、NMF、RLSI。互联网搜索需要处理大规模网页数据，最近提出的RLSI [7] 方法有很好的扩展性、能够在大规模网页数据上进行高效的话题模型学习。
查询语句转换学习
10-15%的英文查询语句含有拼写错误；中文查询语句中含有许多拼音汉字转换错误，如“新浪”被误转换为“新郎”。除此之外，查询语句中还有许多不规范、不准确的表述。搜索引擎一般能够自动纠正拼写等错误，将不正确的查询语句转换为正确的查询语句。代表的方法有CRF-QF [3]、LogLinear [8]等。例如，LogLinear方法从日志数据中收集大量的含有拼写错误的查询语句，以及相应的正确的查询语句，从中提取转换规则，自动学习拼写转换的对数线形模型。搜索时，对新的查询语句试用各种转换规则，根据对数线形模型，找出最有可能的转换，即纠正，如果转换的概率足够大，就对查询语句实施转换。
3．互联网搜索的挑战与机遇
帮助用户尽快、尽准、尽全地找到信息，从本质上需要对用户需求（查询语句），以及互联网上的文本、图像、视频等多种数据的内容进行“理解”。也就是要解决人工智能的挑战。这种意义上，互联网搜索永远需要面对且克服这一挑战。
互联网搜索遵循幂率分布，有头部查询（高频查询）与尾部查询（低频查询）。人工智能挑战在尾部与头部体现出不同的特点。
回到图灵测试。也许经过几轮测试，图灵就会发现互联网搜索对头部的查询能给出很好的结果，但是对尾部的查询结果常常不很理想。互联网搜索主要还是基于关键字匹配。因为尾部查询没有足够多的信号，比如点击数据，有时查询语句与网页不能有很好的匹配，搜索引擎无法做出正确的相关度判断。匹配学习能解决一部分问题，但是还有很长的路要走。
安卓应用市场分类排名算法一般是怎样的？ - ASO - 知乎
5 个回答
各家安卓商店的算法和规则不一样，单个商店pc端和移动端的排名算法也存在着差异，而且这些规则也一直在变，但是核心的东西没有变（下载量、活跃度、好评率、留存率等），只是权重一直在调整。
现在榜单排名的作用已经没有以前那么明显了，但是仍然可以带来大量的品牌露出和曝光。
安卓市场百度、91、安卓的榜单基本可以通过刷子刷，另外一种方式就是直接购买分类榜单的排名，还有一些应用市场如豌豆荚提供了CPD的方式，这种成本相对高，需要综合去评估一下，另外就是要去试，试一试才知道。
安卓应用商店的优化实际是一项细活，而以下这些都是一些最基础的优化有助于你的app在安卓商店获得更多的曝光和下载。
1.应用市场展示及描述优化
界面展示：不再是简单粗糙的界面截图，而是融入更多的产品卖点，体现人文情怀，使得你的产品更具有吸引力和煽动性，这个还是要去多看一下知名的APP是怎么做的就自然会了。
应用描述：描述可以根据产品的卖点进行持续的优化，同时应增加希望覆盖的关键词的密度。
更新内容：更新内容里面则应该减少BUG修复、改进不足类的话术，更具有亲和力的话术
而这些需要持续的设计、优化，每次版本更新都需要做好准备。
2.下载量与好评提升
如果你家的APP下载量仍较少，产品缺乏好评度，那么请赶快行动吧。
下载量和好评一方面会影响到APP的榜单及搜索排名表现，另一方面也会影响用户对产品的认可，直接影响到真实下载转化。
目前安卓市场可以通过技术手段进行操作，提升APP的榜单排名、下载量与好评度。
3.关键词排名优化
关键词优化非常的重要，比如你是一款瘦身减肥的APP，当用户习惯性的搜索减肥、瘦身的时候去出现你的APP，自然可以带来下载。
一般来说关键词的排名影响因素包括：产品名称、关键词、关键词密度、下载量、评论数、搜索-下载转化率、APP活跃度、留存率等，不同市场规则及权重不同。
在选词方面，你需要大花功夫。主要需要优化品牌词、功能相关词、行业相关词、竞品词，有时还可以做一些傍大款的网络热词。
安卓市场主要通过关键词优化、刷下载量、评论、搜索-下载的方式来实现关键词搜索排名提升，另外部分应用市场（百度、91、安卓、豌豆荚）通过竞价形式购买关键词排名。
每一项都还需要展开深入地去挖掘，做好这些在商店一定会获得一个很好的曝光和下载量。
知乎用户，推广运营干货平台-姑婆那些事儿创始人整体优化思路为：覆盖热词+优化下载量+优化评论
覆盖热词这块，后台提交关键词的权重一般比较大，所以重点找一些流量高、竞争难度低的词放在这块，流量大小可以参考搜索热词的热度（后边会细说）、百度指数等。
当然，如果应用描述中的文字要是有权重的话，发挥的余地更大一些，不必拘泥于后台提交关键词字数的限制。
据拔刀不完全统计，安卓这块应用商店产品描述中有权重的商店有：豌豆荚、360、安卓市场、小米等。
下载量和评论优化方面，价格相对透明，评论一般1元一条。下载量根据各商店不同，价格有些差别，一般都是几十块钱一万下载量这样。
如果要保证ASO效果的话，下载量建议持续做，至于一次做多少量，能达到效果，还得大家自己摸索哈，也欢迎和我探讨。效果验证可以通过酷传看
1. Downloads （下载量）
就下载数量来说，相对于苹果，谷歌一直有更多的下载用户，相应的 User Base也要广泛一些，所以下载量是谷歌衡量你应用的一大因素。下载量这块儿，谷歌主要看你应用的 total download volumes和 momentum. Total download volumes就是你的总体下载数量，而momentum 就是下载用户的下载动机了，到底用户是incentivised还是 total organic的。
Incentivized 就是指你通过一些物质激励刺激用户下载你的app，比方说：下载你的app便可以得到很多金币，而金币又可以直接用于在你app内的道具购买等消费。
Total organic就是用户自己下载，并非受物质引诱。这种自然下载往往能给应用排名带来很大的权重。
虽然Incentivized downloads是通过物质引诱，但这种下载就像滚雪球一样，在谷歌市场还是很有用，毕竟下载量可以增大曝光率，对应用推广有积极作用。这也是为什么现在淘宝刷榜服务还是很热火，连很多外国开发者都问我，你们中国是不是有刷榜服务，哈哈哈。。。
2. App quality （应用质量，保留率）
这里的 App quality，除了你应用本身程序完善，用户体验质量外，我更多强调的是保留率，就是用户下载你应用后的，将你应用保留在设备上的时间长度及保留的整体用户数、比例，也就是我们经常在外国论坛看到的 App duration, retention app staytime等。
3. Frequency of interaction with the app （使用频率）
下载后，使用应用的时间长度，打开应用浏览页数，一天打开应用的频率等。
4. Uninstalls （卸载量）
用户是否是下载了应用后马上卸载，还是试完了一会儿才卸载，这些卸载总量会影响应用排名，当然是往低的方向哈。。。
5. Number and quality of ratings and comments （打5星，好评数）
评论是用户下载了应用之后评的级别，写的的体验感受了。免费评论的话，开发者一般是在google+，Facebook，Twitter，论坛上转发应用信息链接等，一般有用户喜欢的话，可以建议他们给你应用写个好评。当然，付费的话，我相信网上一搜可以找到很多好评平台哈。这儿我就个人推荐哈哈：目前最好的好评平台： http://www.bestreviewapp.com/ 哈。
6. Keyword density （关键词密度）
关键词这一块儿，苹果和谷歌有很大的区别，苹果有单独的 Keywords Field （关键词区域）共开发者填写应用的关键词，一般最多100 characters；而谷歌并没有关键词区域。但谷歌将直接从你的应用描述中抓取关键词，所以针对安卓应用，建议应用描述中至少要重复你的关键词五次，这样就方便用户搜索你的应用了。
7. Social ‘proof’（社会认同）
社会认同指你应用在社交网站上的受欢迎程度，用户是否认可你的应用，比方说：你应用在facebook上有好多likes啊，google+上有好多次分享，转发等。开发者们可以从这些方面多下写功夫搞推广的喔。
8. Number of backlinks （反向链接数）
建议将app链接，外链等向多个相关话题平台发送，这样，搜索结果会比较多，相应的，曝光率也会更高。
一下是一个比例图：
目前整体来看，谷歌的话，除下载量和好评外，关键词搜索发现应用占的比例很高，所以安卓应用的话，做ASO也是很重要的。
总之，谷歌和苹果的大多衡量因子都相似，只是有三方面的不同，具体差别，可以查看这个链接，这是我觉得比较好的一篇：http://www.applift.com/blog/ios-app-store-google-play.html
Jasmine
http://TryMyApps.com (关键词排名) & http://BestReviewApp.com （好评）
每一个应用开发者在完成各大安卓应用市场上架后，都希望会有很多用户能够快速准确的找到应用，更靠前的搜索排名就显得至关重要。比如“窝牛装修”这款APP，希望在查询“装修”这个关键词时APP的排名能够更靠前，经过近半年的数据优化和跟踪分析，“窝牛装修”目前已经获得各大安卓市场前5位的“装修”搜索排名（详见下图），在这个过程中我们总结出影响安卓应用市场搜索排名的五大因素。
五大因素之一：Meta信息
Meta信息包括应用的标题、描述、关键词，目标关键词在上述Meta信息中出现的频率更高、位置更靠前，对搜索排名越有利，比如在360手机助手上搜索“装修”，排名前3位的应用在标题、描述中都包含装修这个关键词，并且在搜索结果中都会有红色字体标出，方便用户更好的识别。
五大因素之二：下载量
这个因素比较重要，因为下载的人越多说明APP越受欢迎，应用市场对APP的评级将会越高，提升下载量的方式有几种，比如购买应用商店的广告推荐位、进行应用市场APP数据优化、通过新媒体（微博、微信）策划营销活动鼓励用户到指定的应用市场进行下载试用。
五大因素之三：用户评论
点星、五星好评，用户评论一直是大家比较关注的因素，虽然量不大，但往往对转化率起到决定性作用，拥有好的评论和差评的应用在相同的位置30%的差距肯定会有，因此，定期有规律地鼓励用户进行评论是非常有必要的，同时，可以根据评论中用户提出的问题进行及时回复和优化。
五大因素之四：应用资质
是否是官方版？是否是优质应用？是否安全、无病毒、无木马？是否MTC认证、无广告？在应用上传的时候，应该尽可能多的提交材料并通过各种认证，更多的资质认证能让用户获得更多的认同感，同时有些安卓应用市场比如豌豆荚对认证看的比较重，排名靠前的APP都是认证的比较全面的应用。
五大因素之五：版本更新
谁都不愿意下载一个2012年的应用，几年不更新意味着没有后续的维护升级，基本已经OUT啦，对应用市场来说也是一样的，经常更新版本的应用将会获得更好的评级，考虑到应用市场审核应用一般需要1~2个工作日，而周六、周日是用户下载应用的高峰，所以建议每周四、五进行版本更新比较好。
当然影响安卓应用市场搜索排名的因素不只是这些，还包括应用的图标、截图、分类、产品、上架时间等，搜索排名的优化也不是一朝一夕能够完成的，建议制定长期（3~6个月）的排名优化方案，有条不紊地进行操作，搭配其他App推广App运营方式进行组合式营销。
十大最热门的大数据技术
-
预测分析：随着现在硬件和软件解决方案的成熟，许多公司利用大数据技术来收集海量数据、训练模型、优化模型，并发布预测模型来提高业务水平或者避免风险；
-
NoSQL数据库：非关系型数据库包括Key-value型（Redis）数据库、文档型（MonogoDB）数据库、图型（Neo4j）数据库；
-
搜索和知识发现：支持信息的自动抽取，可以从多数据源洞察结构化数据和非结构化数据；
-
流式分析：软件可以对多个高吞吐量的数据源进行实时的清洗、聚合和分析；
-
内存数据结构：通过动态随机内存访问（DRAM）、Flash和SSD等分布式存储系统提供海量数据的低延时访问和处理；
-
分布式存储系统：分布式存储是指存储节点大于一个、数据保存多副本以及高性能的计算网络；
-
数据可视化：数据可视化技术是指对各类型数据源（包括Hadoop上的海量数据以及实时和接近实时的分布式数据）进行显示；
-
数据整合：通过亚马逊弹性MR（EMR）、Hive、Pig、Spark、MapReduce、Couchbase、Hadoop和MongoDB等软件进行业务数据整合；
-
数据预处理：数据整合是指对数据源进行清洗、裁剪，并共享多样化数据来加快数据分析；
-
数据校验：对分布式存储系统和数据库上的海量、高频率数据集进行数据校验，去除非法数据，补全缺失。