【挖掘模型】:Python-DBSCAN算法 - 简书

标签: | 发表时间:2018-07-31 11:22 | 作者:
出处:https://www.jianshu.com

数据源:data (7).csv

data (7).csv

DBSCAN算法结果

DBSCAN模型

DBSCAN原理

      # DBSCAN算法:将簇定义为密度相连的点最大集合,能够把具有足够高密度的区域划分为簇,并且可在噪声的空间数据集中发现任意形状的簇。
    # 密度:空间中任意一点的密度是以该点为圆心,以EPS为半径的圆区域内包含的点数目
    # 边界点:空间中某一点的密度,如果小于某一点给定的阈值minpts,则称为边界点
    # 噪声点:不属于核心点,也不属于边界点的点,也就是密度为1的点
# API:
    # model = sklearn.cluster.DBSCAN(eps_领域大小圆半径,min_samples_领域内,点的个数的阈值)
    # model.fit(data) 训练模型
    # model.fit_predict(data) 模型的预测方法

DBSCAN代码-A

      import pandas
import matplotlib.pyplot as plt
from sklearn.cluster import DBSCAN
#导入数据
data = pandas.read_csv("F:\\python 数据挖掘分析实战\\Data\\data (7).csv")

eps = 0.2;
MinPts = 5;

model = DBSCAN(eps, MinPts)

model.fit(data)

data['type'] = model.fit_predict(data)

plt.scatter(
   data['x'], 
   data['y'],
   c=data['type']
)

DBSCAN代码-B

      import numpy
import pandas
import matplotlib.pyplot as plt

#导入数据
data = pandas.read_csv("F:\\python 数据挖掘分析实战\\Data\\data (7).csv")

plt.scatter(
   data['x'], 
   data['y']
)

eps = 0.2;
MinPts = 5;

from sklearn.metrics.pairwise import euclidean_distances

ptses = []
dist = euclidean_distances(data)
for row in dist:
   #密度,空间中任意一点的密度是以该点为圆心、以 Eps 为半径的圆区域内包含的点数
   density = numpy.sum(row<eps)
   pts = 0;
   if density>MinPts:
       #核心点(Core Points)
       #空间中某一点的密度,如果大于某一给定阈值MinPts,则称该为核心点
       pts = 1
   elif density>1 :
       #边界点(Border Points)
       #空间中某一点的密度,如果小于某一给定阈值MinPts,则称该为边界点
       pts = 2
   else:
       #噪声点(Noise Points)
       #数据集中不属于核心点,也不属于边界点的点,也就是密度值为1的点
       pts = 0
   ptses.append(pts)

#把噪声点过滤掉,因为噪声点无法聚类,它们独自一类
corePoints = data[pandas.Series(ptses)!=0]

coreDist = euclidean_distances(corePoints)

#首先,把每个点的领域都作为一类
#邻域(Neighborhood)
#空间中任意一点的邻域是以该点为圆心、以 Eps 为半径的圆区域内包含的点集合
cluster = dict();
i = 0;
for row in coreDist: 
   cluster[i] = numpy.where(row<eps)[0]
   i = i + 1

#然后,将有交集的领域,都合并为新的领域
for i in range(len(cluster)):
   for j in range(len(cluster)):
       if len(set(cluster[j]) & set(cluster[i]))>0 and i!=j:
           cluster[i] = list(set(cluster[i]) | set(cluster[j]))
           cluster[j] = list();

#最后,找出独立(也就是没有交集)的领域,就是我们最后的聚类的结果了
result = dict();
j = 0
for i in range(len(cluster)):
 if len(cluster[i])>0:
   result[j] = cluster[i]
   j = j + 1

#找出每个点所在领域的序号,作为他们最后聚类的结果标记
for i in range(len(result)):
   for j in result[i]:
       data.at[j, 'type'] = i

plt.scatter(
   data['x'], 
   data['y'],
   c=data['type']
)

参考文献
作者A: ken

相关 [模型 python dbscan] 推荐:

【挖掘模型】:Python-DBSCAN算法 - 简书

- -
数据源:data (7).csv. # DBSCAN算法:将簇定义为密度相连的点最大集合,能够把具有足够高密度的区域划分为簇,并且可在噪声的空间数据集中发现任意形状的簇. # 密度:空间中任意一点的密度是以该点为圆心,以EPS为半径的圆区域内包含的点数目. # 边界点:空间中某一点的密度,如果小于某一点给定的阈值minpts,则称为边界点.

聚类算法之DBSCAN

- - 标点符
K-Means算法和 Mean Shift算法都是基于距离的聚类算法,基于距离的聚类算法的聚类结果是球状的簇,当数据集中的聚类结果是非球状结构时,基于距离的聚类算法的聚类效果并不好. 与基于距离的聚类算法不同的是,基于密度的聚类算法可以发现任意形状的聚类. 在基于密度的聚类算法中,通过在数据集中寻找被低密度区域分离的高密度区域,将分离出的高密度区域作为一个独立的类别.

使用python训练贝叶斯模型预测贷款逾期

- - 蓝鲸的网站分析笔记
朴素贝叶斯(Naive Bayes)是一种简单的分类预测模型,本篇文章将使用机器学习库scikit-learn中的Gaussian Naive Bayes算法对贷款历史数据进行建模. 并通过模型对新贷款用户的逾期情况进行模拟预测. 首先是开始前的准备工作,导入所需的库文件. 依次为数值计算库numpy,科学计算库pandas,交叉验证库cross_validation和朴素贝叶斯算法库GaussianNB.

使用python训练随机森林模型辨别可疑流量

- -
通过数据分析辨别可疑和虚假流量的方法我们在之前的文章中曾经介绍过. 本篇文章我们对这个方法进行自动化,介绍如何通过随机森林分类预测模型对流量进行分类,从中发现可疑流量的影子. 需要特殊说明的是本篇文章中的数据并非真实数据,我们只使用三个简单用户行为特征指标对方法和过程进行说明. 随机森林是一个包含多颗决策树的分类预测算法.

[Python] [不分词版]Chinese-Text-Classification: Tensorflow CNN 模型实现的中文文本分类器

- - V2EX
从现在的结果来看,分词的版本( https://www.v2ex.com/t/404977#reply6 )准确率稍微高一点. 项目地址: https://github.com/fendouai/Chinese-Text-Classification. jieba 分词的版本在 master 分支,不分词的版本在 dev 分支.

如何用Python和机器学习训练中文文本情感分类模型?

- - 神刀安全网
利用Python机器学习框架scikit-learn,我们自己做一个分类模型,对中文评论信息做情感分析. 其中还会介绍中文停用词的处理方法. 前些日子,我在微信后台收到了一则读者的留言. 我一下子有些懵——这怎么还带点播了呢. 但是旋即我醒悟过来,好像是我自己之前挖了个坑. 如何用Python从海量文本抽取主题.

dropbox讲python

- chuang - Initiative
dropbox定制优化CPython虚拟机,自己搞了个malloc调度算法. 那个 !!!111cos(0). 期待这次PyCon China 2011.

Python调试

- - 企业架构 - ITeye博客
原文地址: http://blog.csdn.net/xuyuefei1988/article/details/19399137. 1、下面网上收罗的资料初学者应该够用了,但对比IBM的Python 代码调试技巧:. IBM:包括 pdb 模块、利用 PyDev 和 Eclipse 集成进行调试、PyCharm 以及 Debug 日志进行调试:.

Python WSGI 初探

- - 坚实的幻想
在构建 Web 应用时,通常会有 Web Server 和 Application Server 两种角色. 其中 Web Server 主要负责接受来自用户的请求,解析 HTTP 协议,并将请求转发给 Application Server,Application Server 主要负责处理用户的请求,并将处理的结果返回给 Web Server,最终 Web Server 将结果返回给用户.

用户地理位置的聚类算法实现—基于DBSCAN和Kmeans的混合算法

- - CSDN博客综合推荐文章
聚类的目标是使同一类对象的相似度尽可能地大;不同类对象之间的相似度尽可能地小. 目前聚类的方法很多,根据基本思想的不同,大致可以将聚类算法分为五大类:层次聚类算法、分割聚类算法、基于约束的聚类算法、机器学习中的聚类算法和用于高维度的聚类算法. 以下实现主要选取了基于划分的Kmeans算法和基于密度的DBSCAN算法来处理.