利用TfidfVectorizer进行中文文本分类(数据集是复旦中文语料) - 西西嘛呦 - 博客园

标签: | 发表时间:2020-10-26 16:09 | 作者:
出处:https://www.cnblogs.com

1、对语料进行分析

基本目录如下:

其中train存放的是训练集,answer存放的是测试集,具体看下train中的文件:

下面有20个文件夹,对应着20个类,我们继续看下其中的文件,以C3-Art为例:

每一篇都对应着一个txt文件,编码格式是gb18030.utf8文件夹下的是utf-8编码格式的txt文件。

其中C3-Art0001.txt的部分内容如下:

2、数据预处理

(1)将文本路径存储到相应的txt文件中

我们要使用数据,必须得获得文本以及其对应的标签,为了方便我们进行处理,首先将训练集中的txt的路径和测试集中的txt的路径分别存到相应的txt文件中,具体代码如下:

def txt_path_to_txt():
  #将训练数据的txt和测试数据的txt保存在txt中
  train_path = "/content/drive/My Drive/NLP/dataset/Fudan/train/" #训练数据存放位置
  test_path = "/content/drive/My Drive/NLP/dataset/Fudan/answer/" #测试数据存放位置
  train_txt_path = "/content/drive/My Drive/NLP/dataset/Fudan/train.txt" 
  test_txt_path = "/content/drive/My Drive/NLP/dataset/Fudan/test.txt"

  train_list = os.listdir(train_path)
  fp1 = open(train_txt_path,"a",encoding="utf-8")
  fp2 = open(test_txt_path,"a",encoding="utf-8")
  for train_dir in train_list:
    for txt in glob.glob(train_path+train_dir+"/*.txt"):
      fp1.write(txt+"\n")
  fp1.close()
  test_list = os.listdir(test_path)
  for test_dir in test_list:
    for txt in glob.glob(test_path+test_dir+"/*.txt"):
      fp2.write(txt+"\n")
  fp2.close()

os.listdir():用于获取目录下的所有文件夹,返回一个列表。

glob.glob():用于获取当前目录下指定的文件,返回的是一个字符串。

之后我们得到一个train.txt和test.txt。train.txt部分内容如下:

(2) 读取train.txt或test.txt中的文件路径,将里面的内容和标签存储到txt文件中

代码如下:

def train_content_to_txt():
  train_txt_path = "/content/drive/My Drive/NLP/dataset/Fudan/train.txt" #训练数据txt
  test_txt_path = "/content/drive/My Drive/NLP/dataset/Fudan/test.txt" #测试数据txt

  train_content_path = "/content/drive/My Drive/NLP/dataset/Fudan/train_jieba.txt" #存储文本和标签txt
  train_content_txt = open(train_content_path,"a",encoding="utf-8") 
  import re
  def remove_punctuation(line, strip_all=True):
    if strip_all:
      rule = re.compile(u"[^a-zA-Z0-9\u4e00-\u9fa5]")
      line = rule.sub('',line)
    else:
      punctuation = """!?。"#$%&'()*+-/:;<=>@[\]^_`{|}~⦅⦆「」、、〃》「」『』【】〔〕〖〗〘〙〚〛〜〝〞〟〰〾〿–—‘'‛“”„‟…‧﹏"""
      re_punctuation = "[{}]+".format(punctuation)
      line = re.sub(re_punctuation, "", line)
    return line.strip()

  train_txt = open(train_txt_path,"r",encoding="utf-8")
  for txt in train_txt.readlines(): #读取每一行的txt  
    txt = txt.strip() #去除掉\n
    content_list=[] 
    label_str = txt.split("/")[-1].split("-")[-1] #先用/进行切割,获取列表中的最后一个,再利用-进行切割,获取最后一个
    label_list = []
    #以下for循环用于获取标签,遍历每个字符,如果遇到了数字,就终止
    for s in label_str:
      if s.isalpha():
        label_list.append(s)
      elif s.isalnum():
        break
      else:
        print("出错了")
    label = "".join(label_list) #将字符列表转换为字符串,得到标签
    #print(label)
    #以下用于获取所有文本
    fp1 = open(txt,"r",encoding="gb18030",errors='ignore') #以gb18030的格式打开文件,errors='ignore'用于忽略掉超过该字符编码范围的字符
    for line in fp1.readlines(): #读取每一行
      #line = remove_punctuation(line)
      line = jieba.lcut(line.strip(), cut_all=False) #进行分词,cut_all=False表明是精确分词,lcut()返回的分词后的列表
      content_list.extend(line)
    fp1.close()

    content_str = " ".join(content_list) #转成字符串
    #print(content_str)
    train_content_txt.write(content_str+"\t"+label+"\n") #将文本 标签存到txt中
    
  train_content_txt.close()

同样的,我们也对test.txt中的进行相应的处理,这些重复的代码可以将其封装成一个函数,我们偷点懒就不改了:

def test_content_to_txt():
  train_txt_path = "/content/drive/My Drive/NLP/dataset/Fudan/train.txt" 
  test_txt_path = "/content/drive/My Drive/NLP/dataset/Fudan/test.txt"

  test_content_path = "/content/drive/My Drive/NLP/dataset/Fudan/test_jieba.txt" 
  test_content_txt = open(test_content_path,"a",encoding="utf-8")
  import re
  def remove_punctuation(line, strip_all=True):
    if strip_all:
      rule = re.compile(u"[^a-zA-Z0-9\u4e00-\u9fa5]")
      line = rule.sub('',line)
    else:
      punctuation = """!?。"#$%&'()*+-/:;<=>@[\]^_`{|}~⦅⦆「」、、〃》「」『』【】〔〕〖〗〘〙〚〛〜〝〞〟〰〾〿–—‘'‛“”„‟…‧﹏"""
      re_punctuation = "[{}]+".format(punctuation)
      line = re.sub(re_punctuation, "", line)
    return line.strip()

  test_txt = open(test_txt_path,"r",encoding="utf-8")
  for txt in test_txt.readlines():  
    txt = txt.strip()
    content_list=[]
    label_str = txt.split("/")[-1].split("-")[-1]
    label_list = []
    #以下for循环用于获取标签
    for s in label_str:
      if s.isalpha():
        label_list.append(s)
      elif s.isalnum():
        break
      else:
        print("出错了")
    label = "".join(label_list)
    #print(label)
    #以下用于获取所有文本
    fp1 = open(txt,"r",encoding="gb18030",errors='ignore')
    for line in fp1.readlines():
      #line = remove_punctuation(line)
      line = jieba.lcut(line.strip(), cut_all=False)
      content_list.extend(line)
    fp1.close()
    content_str = " ".join(content_list)
    #print(content_str)
    test_content_txt.write(content_str+"\t"+label+"\n")
    
  test_content_txt.close()

完成之后会生成train_jieba.txt和test_jieba.txt,我们简要看一下train_jieba.txt中的内容:

with open("/content/drive/My Drive/NLP/dataset/Fudan/train_jieba.txt","r",encoding="utf-8") as fp:
  lines = fp.readlines()
  for line in lines:
    print(line)
    break
【   文献号   】 3 - 525 【 原文 出处 】 《 文艺报 》 【 原刊 地名 】 京 【 原刊 期号 】 20010705 【 原刊 页 号 】 ④ 【 分   类   号 】 J7 【 分   类   名 】 造型艺术 【 复印 期号 】 200105 【   标     题   】 关于 “ 艺术 与 科学 ” — — 《 艺术 与 科学 国际 作品展 》 理论 研讨会 纪要 【   正     文   】 杭   间 ( 清华大学美术学院 艺术 史论 系主任 ) : 由 清华大学 主办 、 我院 承办 的 《 艺术 与 科学 国际 作品展 》 已 在 中国美术馆 开幕 。 艺术 与 科学 的 关系 的 探讨 , 不仅 是 我们 此次 展览 的 命题 , 而且 也 是 全人类 发展 需要 探索 的 重要 主题 之一 , 因此 我们 希望 此 论题 能够 在 学术 层面 得到 更 深入 的 探讨 , 从而 为 未来 社会 发展 积累 充分 的 思想 资源 。 鉴于 此 , 我们 举办 了 这次 由 知名 批评家 参加 的 小型 理论 研讨会 , 希望 各位 踊跃发言 。 ( 以下 以 发言 先后 为序 ) 张凤昌 ( 清华大学美术学院 党委书记 ) : 我院 主办 的 这次 《 艺术 与 科学 国际 作品展 》 得到 了 社会各界 的 大力支持 , 展览 达到 了 预期 的 效果 。 对此 , 我 代表 学院 向 各位 理论家 的 支持 表示 最 衷心 的 感谢 。 艺术 与 科学 这个 命题 的 讨论 早已有之 , 但 在 我国 举办 如此 大规模 的 作品展 与 研讨会 , 这是 第一次 。 这是 一项 长期 的 任务 , 今后 还应 继续 发展 。 因为 我们 的 出发点 是 立足于 教育 , 因此 研究 艺术 与 科学 这个 命题 是 要 重点 考虑 怎样 培养 人 , 培养 德 、 智 、 体 全面 发展 的 人才 。 我 觉得 理论 在 其 中起 着 重要 的 作用 , 它 是 旗帜 , 是 实践 的 指导 。 我们 希望 能 得到 理论家 更 多 的 支持 和 帮助 。 王明 旨 ( 清华大学 副校长 、 美术学院 院长 ) : 非常高兴 众 位 美术 理论家 来 参加 这次 研讨 , 实际上 这次 “ 艺术 与 科学 ” 的 讨论 还 刚刚 起步 , 希 望 将来 能 与 众 兄弟 院校 共同 进行 进一步 的 研究 。 我院 提出 这个 大 的 理想化 的 主题 与 多年 的 学科 设置 和 专业 基础 有关 , 并入 清华大学 后 , 我们 处处 感到 了 清华大学 对 交叉性 的 综合 学科 的 重视 。 科学 本身 同 艺术 一样 是 广泛 而 生动 的 , 这是 二者 结合 的 基础 。 这次 的 展品 偏重于 美术 、 造型艺术 和 科技 之间 , 从小 的 切入点 来 探讨 大 的 课题 。 展品 从 内容 上 可以 分为 三个 方面 : 一部分 表达 了 艺术家 内心 对 科学 的 理解 , 另 一部分 是 科学家 通过 艺 术 表达 的 科学 成果 , 第三 部分 是 与 科学技术 结合 的 艺术设计 作品 。 可以 说 , 介入 科学 是 艺术 永恒 的 命题 , 也 是 新 时代 的 艺术家 了解 生活 的 不可 回 避 的 问题 , 艺术 教育 也 必须 作出 相应 的 调整 。 这次 展览 虽然 只是 初步 探讨 , 并非 十分 完善 和 理想 , 但 毕竟 是 正式 的 起步 , 我们 希望 诸位 能 从 理论 上 提出批评 和 指导 , 以利于 这项 工作 的 深入 发展 。 范迪安 ( 中央美术学院 副 院长 ) : 刚才 王 院长 介绍 了 主办 的 宗旨 、 构想 , 使 我们 对 这次 活动 有 了 更 深入 的 了解 。 我 认为 这次 展览 是 21 世纪 初 大型 的 社会 文化 活动 , 展览 热烈 , 观众 情绪高涨 , 接受度 和 欣喜 度均 超过 以往 。 其 意义 在于 : 第一 , 它 是 清华大学美术学院 多年 教育 积累 的 必然 结果 。 第二 , 它 完成 了 20 世纪 中国 本应 完成 的 命题 , 非常 具有 价值 。 既 完成 了 公众 多年 的 夙愿 , 又 是 引导 新世纪 对 该 命题 关注 的 起点 , 体现 了 学 院 领导班子 的 前瞻性 和 战略性 。 观众 通过 展览 , 不仅 学到 科学知识 , 而且 看到 了 艺术 创造 , 这种 艺术 的 、 文化 的 营养 是 社会 大众 所 需要 的 。 第三 , 展品 多以 视觉 传达 形式 出现 , 是 最 广泛 的 视觉 传达 发射 体 , 形式 前所未有 , 体现 了 当代 文化 传播 手段 。 总之 , 作为 一个 展览 , 能够 基于 一个 最 广泛 的 文化 层面 , 并 具有 相当 的 文化 前瞻性 、 当代 性是 其它 展览 少有 的 。 但是 , 对 具体 命题 的 艺术化 创作 , 在 艺术 与 科学 原理 上 的 思考 还有 待 提 高 。 程 大利 ( 中国 美术 出版 集团 副总 编辑 ) : 上个世纪 提出 的 “ 科学 与 民主 ” 与 “ 艺术 与 科学 ” 一样 , 是 一种 文化 理想 , 具有 指向性 。 看 了 这个 展览 , 我 首先 感到 这是 一个 非常 了不起 的 展览 , 是 一个 经过 精心 准备 的 有 理性 思考 的 展览 , 清华大学 提出 这个 题目 , 是 一个 非常 宏大 的 命题 , 具 有 长远 意义 。 另外 我 想 提出 一个 问题 , 即 艺术 不 应该 仅 是 科学 的 注脚 , 科学 也 不 应仅 是 艺术 的 拐杖 。 去年 《 中国 文化 报 》 有 一个 讨论 , 讨论 科学 与 人文 的 关系 , 可惜 它 浅尝辄止 ; 科学 使人 认识 物质 世界 , 但 科学 的 高度 发展 带来 了 许多 负面 问题 , 艺术 使人 认识 美 , 它 的 最大 功能 应是 净化 人 、 抒发 人类 的 情感 , 二者 的 结合 是 人类 的 理想 , 如果 结合 得 好 了 , 人类 就 进步 了 。 今天 艺术 教育 最 失败 的 地方 是 忽略 了 情感 教育 , 艺术 教育 的 问 题 是 培养 真正 的 人 。 长期以来 , 理工科 学生 的 艺术 素质 薄弱 是 我国 教育界 的 突出 问题 之一 , 大大 限制 了 科学 的 发展 。 应该 看到 , 科学 本身 也 是 美 的 , 量子 物理 、 纳米 世界 都 是 美的 , 科学 与 艺术 是 两翼 , 缺一不可 , 没有 人文 指向 的 科学 的 发展 是 多么 可怕 。 因此 , 这次 展览 是 个 创举 , 在 对 年 轻 科学家 的 培养 方面 有 巨大 的 促进作用 。 如果 我们 真正 弄清 了 艺术 与 科学 的 关系 , 其 意义 是 不可估量 的 。 林   木 ( 四川大学 艺术系 教授 ) : 我 注意 到 这次 “ 艺术 与 科学 ” 研讨会 发言 的 构成 人 主要 是 科学家 、 画家 , 思维 导向 主要 是 自然科学 。 可以 说 , 20 世纪 人们 对 科学 的 强调 非常 突出 。 值得注意 的 是 , “ 五四 ” 的 两面 旗帜 “ 民主 ” 和 “ 科学 ” 在 当时 的 美术界 是 对立 的 。 他们 张扬 人性 、 民 主 、 生命 意识 , 反对 科学 的 写实主义 , 这种 对立 很 奇怪 。 科学主义 对 科学研究 的 方法论 、 价值观 较为 关注 , 它 利用 科学 的 权威 做 与 科学 无关 的 事 , 在 20 世纪 较为 普遍 , 这是 应该 注意 的 问题 。 我 认为 , 人文科学 应 在 科学 与 艺术 的 结合 中 产生 重要 的 作用 。 人们 对 科学 的 宏观 与 微观 的 思考 演化 为 哲学 、 宗教 、 历史 的 思考 , 反过来 形成 对 艺术 的 引导 。 这次 展览 的 作品 , 不少 很 新颖 , 但 也 有 很多 只是 对 科学 进行 了 图解 , 比较 牵强 , 因此 值 得 进一步 研究 。 岛   子 ( 四川 美术学院 美术学 系主任 、 教授 ) : 我 认为 这次 “ 艺术 与 科学 ” 大展 开启 了 21 世纪 艺术 教育 的 思路 和 框架 。 1998 年 我 到 川美 任教 以来 , 深刻 地 感到 了 美术 学科 缺少 科学性 , 即 国家教委 的 学科 目录 与 社会 需求 有 很大 的 矛盾 , 美术学 的 分类 既 高度 分化 又 高度 融合 。 在 我国 , 人 文 科学 的 范围 界定 还有 待 研究 。 我们 应 关注 学科 内部 的 科学 问题 。 21 世纪 的 素质教育 应 包括 哪些 内容 呢 ? 我 注意 到 清华大学美术学院 艺术 史论 系 开设 了 社会学 课程 , 这 一点 值得 学习 。 人文科学 跟 自然科学 、 社会科学 需要 融合 。 21 世纪 我们 学院 的 建设者 任务 将会 十分艰巨 , 因为 高科技 的 信 息 时代 对 教学 的 冲击 是 不可避免 的 。 它 所 带来 的 知识 传承 问题 , 使 人文 学者 回归 到 前 现代 的 角色 , 即 成为 世界 意义 的 守护者 和 阐释 者 。 水天 中 ( 中国艺术研究院 美术 研究所 研究员 ) : 《 艺术 与 科学 国际 作品展 》 和 “ 艺术 与 科学 理论 研讨会 ” 是 近年 国内 美术界 规模 最大 、 规格 最高 的 学术活动 。 展览 与 研讨会 都 有 许多 使人 耳目一新 的 内容 , 打破 了 艺术 活动 只 着眼于 艺术 圈 之内 的 局限 , 开辟 了 美术 教学 、 美术 实践 、 美术 理论 与 姐妹 学科 交流 借鉴 的 局面 , 为 中国 美术 引来 一股 清风 。 对于 艺术 的 发展 来说 , 它 的 意义 是 在 艺术 与 社会 、 艺术 与 政治 、 艺术 与 个人 感情 … … 之外 , 引导 人们 注视 一条 新 的 思路 , 尝试 一种 新 的 艺术 活动 方式 , 走出 新 的 艺术 通道 。 这是 一条 有 生气 、 有 活力 的 通道 , 它 的 价值 不会 在 其它 通道 之下 。 对于 清华大学美术学院 来说 , “ 艺术 与 科学 ” 还 可以 成为 一个 长期 发展 目标 , 成为 学术 和 办学 风格 上 的 一种 理想 。 当 我们 说 “ 高雅 艺术 ” 的 时候 , 往往 联想起 传统 的 、 古老 的 文化 情趣 。 实际上 艺术 与 科学 也 可以 达到 一种 高雅 的 文化 情趣 ; 当 我们 说 “ 先锋 艺术 ” 的 时候 , 往往 联想起 对 社会 生活 的 反讽 和 对 个人 处境 的 焦虑 , 实际上 艺术 与 科学 、 科学 与 人 的 复杂 关系 , 也 应该 成为 艺术创作 上 的 “ 先锋 问题 ” 。 展览会 的 作品 多 , 中国美术馆 的 场地 小 , 这使 展出 效果 不够 理想 。 除了 展出 场馆 条件 的 限制 外 , 从 艺术 水平 或者 展览会 的 主题 看 , 如果 将 一 些 可有可无 的 作品 删减 ( 如果 减去 四分之一 ) , 展览 的 整体 水准 就 会 明显 提升 。 作品 的 评奖 结果 也 值得 进一步 讨论 , 有些 获奖作品 并 不 具有 艺术 或者 科学 思想 方面 的 创造性 , 有些 作品 甚至 不能 代表 作者 原有 的 艺术 水平 。 在 题材 和 作品 的 人文精神 方面 , 宜作 周密 的 考量 , 例如 科学研究 和 科 技 运用 的 伦理 问题 , 这 已 是 全球性 的 不容 回避 的 话题 。 从 展览 作品 和 研讨会 发言 看 , 这是 一次 称颂 科学 与 艺术 的 集会 , 大家 主要 着眼于 两者 的 光明面 , 而 忽视 了 它们 目前 发展 的 问题 。 在 观察 角度 上 , 国内 艺术家 和 学者 偏向 于 称颂 历史 , 回顾 往昔 的 辉煌 , 在 思路 上 习惯于 绪论 、 概说 式 的 “ 宏大 叙事 ” , 缺少 国外 艺术家 和 学者 那种 对 具体 问 题 的 深入研究 。 这 已经 成为 中国 美术 理论界 的 流弊 。 丁   宁 ( 北京大学 艺术 学系 教授 ) : 我 想 谈 以下几点 : 第一 , 艺术 的 发展 要 进入 公众 领域 。 可以 说 , 这次 展览 引起 了 久违 的 关注 , 它 打破 了 近年 美术 领域 的 圈子 化 , 使得 艺术 进入 了 公众 的 精神 领域 , 随着 时间 的 推移 , 其 价值 会 逐渐 彰显 出来 。 第二 , 这次 展览 把 “ 艺术 与 科学 ” 作为 主 题 阐述 是 90 年代 以来 美术界 的 高峰 事件 , 可以 改变 当代 美术 的 专家 化 思路 , 具有 鲜明 的 时代感 和 重要 的 启示 作用 。 第三 , 展览 提出 了 艺术 教育 的 新 方向 , 有助于 改变 对纯 艺术 的 过分 倚重 。 艺术 要 走向 现实 的 发展 , 离不开 科学 的 成分 。 第四 , 这是 一次 美术 活动 国际性 的 探索 。 希望 今后 能继 续 进行 下去 。 第五 , 展览 的 不足 在于 对 研究 的 前沿 情况 把握 不够 , 新思路 不足 。 刘 龙庭 ( 人民美术出版社 编审 ) : 这次 展览 的 命题 是 社会 大 发展 的 产物 。 展览 既 具有 前瞻性 、 开创性 , 又 具有 总结性 、 启示 性 , 对 公众 产生 了 不可 忽视 的 影响 。 中央 工艺 美院 虽然 并入 清华大学 的 时间 并 不长 , 但 贡献 很大 。 我们 也 应该 看到 , 科学 与 艺术 毕竟 不同 , 在 强调 联系 时 , 也 有 区别 。 这是 一个 很大 的 命题 , 需要 继续 深入 讨论 下去 。 在 当前 中国 科学 比较落后 的 情况 下 , 人文科学 也 并 不 先进 , 希望 清华 美院 继续 张扬 自己 的 艺术 个性 , 取得 更大 的 发展 。 吕品 田 ( 中国艺术研究院 美术 研究所 研究员 ) : 清华大学 花 了 如此 大 的 力气 和 声势 , 用 展览 和 研讨会 的 形式 提出 “ 艺术 与 科学 ” 这样 一个 命 题 , 是 具有 历史性 的 、 前瞻性 的 。 但 对 中国 来讲 , 历史性 这 一块 确实 是 中国 的 问题 , 因为 西方 对 “ 艺术 与 科学 ” 的 关注 在 20 世纪 就 大量 地 展开 了 。 而 中国 在 20 世纪 还 并未 真正 地 意识 到 这样 一种 关系 , 并 把 它 作为 一个 命题 提出 来 。 因此 , 这个 命题 的 前瞻性 我 认为 是 国际性 的 , 全球性 的 。 不 仅 是 中国 人 , 整个 生活 在 地球 上 的 人 都 在 关注 这样 一对 关系 。 在我看来 , 不管 是 科学 还是 艺术 , 这 两个 概念 都 是 西方式 的 。 甚至 把 它 作为 一种 关 系 问题 摆出来 , 也 是 一种 西方式 的 思想 。 在 这种 思想 贯穿 着 一种 形而上学 的 传统 , 从 古希腊 到 今天 信息时代 的 二进位制 语言 , 这 中间 是 有着 深刻 联系 的 。 但 实际上 西方 这种 思想 从 一 开始 就 包含 一种 矛盾 。 一方面 , 它 把 人 解释 成 一种 自由 的 存在 , 具有 无限 发展性 、 丰富性 、 非 专门化 的 存在 , 而 另一方面 它 在 解释 自然 、 探索 自然 时 , 又 把 这个 世界 理解 为 有 一个 最终 的 终极 时代 。 在 自然科学 上要 探讨 物质 的 终极 时代 , 在 人文科学 上要 探讨 体现 、 反映 这种 终极 时代 的 真理 。 因此 , 无论 自然科学 , 还是 人文科学 , 在 西方 人 看来 是 一 回事 , 本质 上 它 有 一种 大 科学 思想 。 由此 , 矛盾 从 一 开始 便 产生 了 。 在 古典 时代 , 这样 一种 矛盾 是 不 明显 的 , 文艺复兴 后 , 随着 西方 对 人 的 强调 , 所谓 人文主义 崛起 后 , 必然 就 会 把 这种 矛盾 带 出来 。 对 世界 认识 的 问题 和 人 对 自己 本身 认识 的 问题 矛盾重重 。 这种 矛盾 导致 科学 与 艺术 从 原有 的 混沌 状态 分裂 出来 , 并 产生 科学 与 艺术 。 而 在 今天 大谈 科学 与 艺术 , 它 实际上 反映 了 我们 现在 的 一种 生存 状态 , 一种 力图 改变 我们 现在 对 世界 认识 和 把握 的 矛盾 状态 。 20 世纪 上半叶 , 人类 对 科学 、 现代文明 是持 一种 乐观 的 态度 的 , 中叶 以后 , 这样 一种 状态 发生 了 变化 , 科学 所 带来 的 一些 现实 问题 迫使 我们 去 回头 反思 , 这 是 由 生存环境 引发 的 一种 物质性 问题 。 只有 这些 物质性 的 问题 才能 在 科学时代 打动 这些 被 科学 思 想 所 占领 、 控制 的 人群 。 由此 , 科学 与 艺术 作为 一种 关系 命题 暴露 出来 。 从 这样 一种 意义 上 说 , 提出 这样 一个 前瞻性 的 命题 , 是 非常 有 价值 的 。 从 展览 来说 , 我 感觉 有 三种 类型 的 作品 : 1 . 把 科学 思想 、 科学知识 加以 阐释 、 介绍 , 实际上 带有 一定 程度 的 科学 色彩 。 而 在 当下 , 它 又 具有 意识 形态 的 色彩 。 2 . 表现 现代科技 或用 现代科技 来 辅助 制作 的 作品 , 它 在 某种程度 上 显示 着 现代科技 的 力量 。 3 . 在 科学 的 条件 下 , 强调 对 人 的 生存 状 态 的 关注 , 强调 人 的 现实 体验 的 作品 。 实际上 , 从 艺术 与 科学 的 关系 的 角度看 , 这 一部分 作品 更 有 价值 。 如果 在 以后 还 将 继续 进行 展开讨论 , 我 认为 更应 关注 人 的 生存 状态 , 因为 在 让 人 生存 得 更 幸福 、 更好 的 目标 上 , 无论 科学 还是 艺术 , 它们 都 是 统一 的 。 邵大箴 ( 中央美术学院 教授 ) : 这次 展览 社会 反响 很大 , 收到 了 很 好 的 效果 。 虽然 也 有 不少 缺点 , 当 总的来说 还是 很 不错 的 。 科学 与 艺术 的 关系 问题 谈 不 清楚 , 已经 有 很多 的 讨论 , 李政道 先生 已经 是 第三次 提出 这个 问题 , 这次 是 最 重要 的 一次 , 并且 是 最大 的 一次 国际 研讨会 。 他 主要 强调 智慧 和 情感 , 艺术 也 是 , 科学 也 是 , 它们 本质 上 是 一样 的 , 讲得 很 对 。 而且 李政道 先生 讲 的 是 科学 、 自然科学 而 不是 讲 技术 。 科学 与 艺术 的 关系 发展 到 现在 , 包括 科学技术 与 艺术 的 关系 , 这个 问题 带有 一定 片面性 , 但 又 有 合理性 , 前面 有人 说 到 的 命题 的 公众 性 , 它 带有 普遍性 , 这是 一个 国际性 的 潮流 。 听说 浙江美术学院 曾经 请 哲学家 去 讲课 , 讲得 很 好 , 但是 有 的 艺术家 发问 : 你 懂 笔墨 吗 ? 这 很 可笑 , 哲学家 讲 的 是 普遍性 的 东西 , 艺术家 问 的 问题 有 一定 的 合理性 , 但 哲学家 谈 的 是 普遍性 的 东西 , 艺术家 谈 的 是 个别性 的 东西 。 这个 普遍性 的 东西 如果 我们 不去 研究 , 就 要 落后 。 个别性 的 东西 也 要 关注 , 例如 民族化 , 但是 要 在 普遍性 的 原则 下 。 科学 与 艺术 不管 以 何种 形式 发展 , 这个 命题 的 提出 都 带有 一定 前沿性 , 它 也 一定 会 推动 科学 与 艺术 的 发展 , 它们 的 结合 一定 会 产生 新 的 东西 。 西   川 ( 中央美术学院 副教授 ) : 刚才 各位 的 发言 已经 把 我 想到 的 一些 问题 差不多 都 谈到 了 , 活动 成功 的 地方 我 就 不 重复 了 。 我 没 参加 清华 的 讨论会 , 因此 , 只 根据 展览 谈 我 当时 产生 的 几个 印象 。 一 , 这是 一个 美术学院 所 做 的 跟 科学 有 关系 的 展览 , 而 不是 科学院 做 的 跟 艺术 有 关系 的 展览 。 因此 , 艺术 很 显然 地 呈现 一种 向 科学 靠拢 的 姿态 。 通过 现代科技 手段 , 把 一些 存在 于 现代 艺术 之中 的 现代 观念 介绍 给 大家 。 另外 , 艺术 本 身 显得 不 自然 , 由于 艺术 与 科学 在 社会 发展 中 的 不 对称 比例 , 似乎 艺术 观念 落后 于 科学 的 观念 。 同时 , 通过 这样 一个 展览 , 使 艺术 本身 表现 出来 的 科学 似乎 已经 落后 当代 科学 所 达到 的 水准 。 因为 当代 科学 的 技术 层面 , 它 所 达到 的 形而上 的 层面 都 已 远远 超出 我们 的 想象 。 二 , 作品 不看 标示 牌 , 基本上 能 猜测出 是 哪 国人 所 做 , 尤其 是 中国 人 的 作品 更为 明显 。 为什么 会 如此 ? 这 里面 实际上 存在 一个 观念 置换 的 过程 , 中国 人 的 作品 不是 以 科学 精神 来 指导 , 而是 把 科学 与 艺术 的 空间概念 置换 成 古代 与 现代 的 时间 概念 。 三 , 科学 本身 在 其 现代 研究 中 已经 实现 了 科学 本身 的 转身 。 比 如 物理学 走到 核 物理学 , 最后 变成 对 社会 生活 的 破坏 , 这种 科学 转身 所 引起 的 当代 科学 对 伦理学 所 产生 的 挑战 , 事实上 在 这个 展览 中 很少 涉及 , 这个 展览 基本上 是 艺术 向 科学 靠拢 , 艺术 为 科学 唱赞歌 。 科学 本身 所 包含 的 那些 复杂 命题 、 转身 、 悖论 基本上 艺术家 没有 触及 到 。 四 , 在 科学 与 艺术 这样 一个 大题目 下 , 还 可以 分列 一些 小题目 进行 。 张晓凌 ( 中国艺术研究院 美术 研究所 研究员 ) : 我 最早 介入 “ 艺术 与 科学 ” 这个 主题 是 作为 撰稿人 为 这个 展览 搞 一个 专题片 , 一共 五集 , 我 写 第一集 , 介绍 艺术 与 科学 的 历史 关系 及 发展 脉落 , 并 由此 引发 一些 问题 。 艺术 与 科学 本身 一样 , 最早 的 艺术家 就是 科学家 , 直到 近代 科学 产生 以后 , 才 出现 一些 问题 , 艺术 与 科学 正式 分离 。 展览 有 不足 也 有 价值 的 地方 。 1 . 展品 可 减掉 三分之一 , 一些 作品 与 主题 没有 太大 的 关系 , 而且 质 量 平庸 。 另外 , 700 件 作品 使得 展厅 太 拥挤 , 展览 效果 不是太好 。 2 . 这次 展览 是 一个 开端 , 是 一个 仪式 。 但 进入 仪式 后 , 它 对 科学 、 科学 本身 的 一些 问题 , 对 当代人 的 生存 状态 反思 不够 , 艺术 与 科学 共同 作用 产生 力量 , 并 带来 震撼 的 作品 太 少 。 意义 : 尽管 有些 不足 , 但 其 成绩 、 价值 、 意 义 仍 远远 超过 不足 。 1 . 通过 这个 展览 , 它 表明 艺术 不是 点缀 、 美化 , 也 不是 装饰 , 它 是 一种 生存 方式 、 思维 方式 , 而 这种 方式 可以 通过 科学 的 方 式 展示 给 人们 。 2 . 这个 展览 完成 后 , 全国 美展 与 它 的 距离 至少 有 10 年 以上 的 差距 。 另外 , 它 对 美术馆 本身 也 是 一种 讽刺 , 装置 、 影像 艺术 等等 都 纳入 了 这次 展览 之中 。 3 . 这个 展览 另外 一个 更 重要 的 意义 在于 它 的 象征意义 。 而 在 中国 的 美术界 、 教育界 跨入 21 世纪 时 , 这样 一个 展览 至少 表现 出 一种 和 西方 各国 同步 的 文化 姿态 。 因为 这个 课题 也 是 同 时期 西方 关注 的 课题 , 在 国内 也 从未 提出 过 , 它 的 解决 程度 不管 如何 , 其 象征意义 必定 是 深远 的 。 出席 研讨会 的 还有 : 刘巨德 副 院长 、 包林 教授 、 陈瑞林 副教授 、 尚刚 副教授 等 。 ( 田君 、 海军 根据 录音 整理 , 未经 本人 审阅 。 标题 为 编者 所 加 )    Art

文本是通过空格进行了分词,最后的标签和文本之间用制表符进行了分割。

我们接下来要对标签映射成具体的数值,代码如下:

label = []
with open("/content/drive/My Drive/NLP/dataset/Fudan/train_jieba.txt","r",encoding="utf-8") as fp:
  lines = fp.readlines()
  for line in lines:
    line = line.strip().split("\t")
    if len(line) == 2:
      label.append(line[1])   
label = set(label) label_to_idx = list(zip(label,range(len(label)))) label_to_idx_dict = {} idx_to_label_dict = {} for k,v in label_to_idx: label_to_idx_dict[k] = v idx_to_label_dict[v] = k print(label_to_idx_dict) print(idx_to_label_dict)

结果:如果不想标签对应的值每次都变,最好将其保存在txt中

{'Energy': 0, 'Enviornment': 1, 'Computer': 2, 'Education': 3, 'Military': 4, 'Philosophy': 5, 'Law': 6, 'Electronics': 7, 'Sports': 8, 'History': 9, 'Space': 10, 'Communication': 11, 'Economy': 12, 'Mine': 13, 'Agriculture': 14, 'Medical': 15, 'Art': 16, 'Transport': 17, 'Literature': 18, 'Politics': 19}
{0: 'Energy', 1: 'Enviornment', 2: 'Computer', 3: 'Education', 4: 'Military', 5: 'Philosophy', 6: 'Law', 7: 'Electronics', 8: 'Sports', 9: 'History', 10: 'Space', 11: 'Communication', 12: 'Economy', 13: 'Mine', 14: 'Agriculture', 15: 'Medical', 16: 'Art', 17: 'Transport', 18: 'Literature', 19: 'Politics'}

接下来我们构建真正的训练集和测试集,首先是训练集:

train_data = []
train_label = []
with open("/content/drive/My Drive/NLP/dataset/Fudan/train_jieba.txt","r",encoding="utf-8") as fp:
  lines = fp.readlines()
  for line in lines:
    line = line.strip().split("\t")
    if len(line) == 2:
      train_data.append([line[0]])
      train_label.append([label_to_idx_dict[line[1]]])
train_data = np.array(train_data)
train_label = np.array(train_label)
print(train_data.shape)
print(train_label.shape)
print(train_data[:2])
print(train_label[:2])
(9803, 1)
(9803, 1)
[['【   文献号   】 3 - 525 【 原文 出处 】 《 文艺报 》 【 原刊 地名 】 京 【 原刊 期号 】 20010705 【 原刊 页 号 】 ④ 【 分   类   号 】 J7 【 分   类   名 】 造型艺术 【 复印 期号 】 200105 【   标     题   】 关于 “ 艺术 与 科学 ” — — 《 艺术 与 科学 国际 作品展 》 理论 研讨会 纪要 【   正     文   】 杭 \u3000 间 ( 清华大学美术学院 艺术 史论 系主任 ) : 由 清华大学 主办 、 我院 承办 的 《 艺术 与 科学 国际 作品展 》 已 在 中国美术馆 开幕 。 艺术 与 科学 的 关系 的 探讨 , 不仅 是 我们 此次 展览 的 命题 , 而且 也 是 全人类 发展 需要 探索 的 重要 主题 之一 , 因此 我们 希望 此 论题 能够 在 学术 层面 得到 更 深入 的 探讨 , 从而 为 未来 社会 发展 积累 充分 的 思想 资源 。 鉴于 此 , 我们 举办 了 这次 由 知名 批评家 参加 的 小型 理论 研讨会 , 希望 各位 踊跃发言 。 ( 以下 以 发言 先后 为序 ) 张凤昌 ( 清华大学美术学院 党委书记 ) : 我院 主办 的 这次 《 艺术 与 科学 国际 作品展 》 得到 了 社会各界 的 大力支持 , 展览 达到 了 预期 的 效果 。 对此 , 我 代表 学院 向 各位 理论家 的 支持 表示 最 衷心 的 感谢 。 艺术 与 科学 这个 命题 的 讨论 早已有之 , 但 在 我国 举办 如此 大规模 的 作品展 与 研讨会 , 这是 第一次 。 这是 一项 长期 的 任务 , 今后 还应 继续 发展 。 因为 我们 的 出发点 是 立足于 教育 , 因此 研究 艺术 与 科学 这个 命题 是 要 重点 考虑 怎样 培养 人 , 培养 德 、 智 、 体 全面 发展 的 人才 。 我 觉得 理论 在 其 中起 着 重要 的 作用 , 它 是 旗帜 , 是 实践 的 指导 。 我们 希望 能 得到 理论家 更 多 的 支持 和 帮助 。 王明 旨 ( 清华大学 副校长 、 美术学院 院长 ) : 非常高兴 众 位 美术 理论家 来 参加 这次 研讨 , 实际上 这次 “ 艺术 与 科学 ” 的 讨论 还 刚刚 起步 , 希 望 将来 能 与 众 兄弟 院校 共同 进行 进一步 的 研究 。 我院 提出 这个 大 的 理想化 的 主题 与 多年 的 学科 设置 和 专业 基础 有关 , 并入 清华大学 后 , 我们 处处 感到 了 清华大学 对 交叉性 的 综合 学科 的 重视 。 科学 本身 同 艺术 一样 是 广泛 而 生动 的 , 这是 二者 结合 的 基础 。 这次 的 展品 偏重于 美术 、 造型艺术 和 科技 之间 , 从小 的 切入点 来 探讨 大 的 课题 。 展品 从 内容 上 可以 分为 三个 方面 : 一部分 表达 了 艺术家 内心 对 科学 的 理解 , 另 一部分 是 科学家 通过 艺 术 表达 的 科学 成果 , 第三 部分 是 与 科学技术 结合 的 艺术设计 作品 。 可以 说 , 介入 科学 是 艺术 永恒 的 命题 , 也 是 新 时代 的 艺术家 了解 生活 的 不可 回 避 的 问题 , 艺术 教育 也 必须 作出 相应 的 调整 。 这次 展览 虽然 只是 初步 探讨 , 并非 十分 完善 和 理想 , 但 毕竟 是 正式 的 起步 , 我们 希望 诸位 能 从 理论 上 提出批评 和 指导 , 以利于 这项 工作 的 深入 发展 。 范迪安 ( 中央美术学院 副 院长 ) : 刚才 王 院长 介绍 了 主办 的 宗旨 、 构想 , 使 我们 对 这次 活动 有 了 更 深入 的 了解 。 我 认为 这次 展览 是 21 世纪 初 大型 的 社会 文化 活动 , 展览 热烈 , 观众 情绪高涨 , 接受度 和 欣喜 度均 超过 以往 。 其 意义 在于 : 第一 , 它 是 清华大学美术学院 多年 教育 积累 的 必然 结果 。 第二 , 它 完成 了 20 世纪 中国 本应 完成 的 命题 , 非常 具有 价值 。 既 完成 了 公众 多年 的 夙愿 , 又 是 引导 新世纪 对 该 命题 关注 的 起点 , 体现 了 学 院 领导班子 的 前瞻性 和 战略性 。 观众 通过 展览 , 不仅 学到 科学知识 , 而且 看到 了 艺术 创造 , 这种 艺术 的 、 文化 的 营养 是 社会 大众 所 需要 的 。 第三 , 展品 多以 视觉 传达 形式 出现 , 是 最 广泛 的 视觉 传达 发射 体 , 形式 前所未有 , 体现 了 当代 文化 传播 手段 。 总之 , 作为 一个 展览 , 能够 基于 一个 最 广泛 的 文化 层面 , 并 具有 相当 的 文化 前瞻性 、 当代 性是 其它 展览 少有 的 。 但是 , 对 具体 命题 的 艺术化 创作 , 在 艺术 与 科学 原理 上 的 思考 还有 待 提 高 。 程 大利 ( 中国 美术 出版 集团 副总 编辑 ) : 上个世纪 提出 的 “ 科学 与 民主 ” 与 “ 艺术 与 科学 ” 一样 , 是 一种 文化 理想 , 具有 指向性 。 看 了 这个 展览 , 我 首先 感到 这是 一个 非常 了不起 的 展览 , 是 一个 经过 精心 准备 的 有 理性 思考 的 展览 , 清华大学 提出 这个 题目 , 是 一个 非常 宏大 的 命题 , 具 有 长远 意义 。 另外 我 想 提出 一个 问题 , 即 艺术 不 应该 仅 是 科学 的 注脚 , 科学 也 不 应仅 是 艺术 的 拐杖 。 去年 《 中国 文化 报 》 有 一个 讨论 , 讨论 科学 与 人文 的 关系 , 可惜 它 浅尝辄止 ; 科学 使人 认识 物质 世界 , 但 科学 的 高度 发展 带来 了 许多 负面 问题 , 艺术 使人 认识 美 , 它 的 最大 功能 应是 净化 人 、 抒发 人类 的 情感 , 二者 的 结合 是 人类 的 理想 , 如果 结合 得 好 了 , 人类 就 进步 了 。 今天 艺术 教育 最 失败 的 地方 是 忽略 了 情感 教育 , 艺术 教育 的 问 题 是 培养 真正 的 人 。 长期以来 , 理工科 学生 的 艺术 素质 薄弱 是 我国 教育界 的 突出 问题 之一 , 大大 限制 了 科学 的 发展 。 应该 看到 , 科学 本身 也 是 美 的 , 量子 物理 、 纳米 世界 都 是 美的 , 科学 与 艺术 是 两翼 , 缺一不可 , 没有 人文 指向 的 科学 的 发展 是 多么 可怕 。 因此 , 这次 展览 是 个 创举 , 在 对 年 轻 科学家 的 培养 方面 有 巨大 的 促进作用 。 如果 我们 真正 弄清 了 艺术 与 科学 的 关系 , 其 意义 是 不可估量 的 。 林 \u3000 木 ( 四川大学 艺术系 教授 ) : 我 注意 到 这次 “ 艺术 与 科学 ” 研讨会 发言 的 构成 人 主要 是 科学家 、 画家 , 思维 导向 主要 是 自然科学 。 可以 说 , 20 世纪 人们 对 科学 的 强调 非常 突出 。 值得注意 的 是 , “ 五四 ” 的 两面 旗帜 “ 民主 ” 和 “ 科学 ” 在 当时 的 美术界 是 对立 的 。 他们 张扬 人性 、 民 主 、 生命 意识 , 反对 科学 的 写实主义 , 这种 对立 很 奇怪 。 科学主义 对 科学研究 的 方法论 、 价值观 较为 关注 , 它 利用 科学 的 权威 做 与 科学 无关 的 事 , 在 20 世纪 较为 普遍 , 这是 应该 注意 的 问题 。 我 认为 , 人文科学 应 在 科学 与 艺术 的 结合 中 产生 重要 的 作用 。 人们 对 科学 的 宏观 与 微观 的 思考 演化 为 哲学 、 宗教 、 历史 的 思考 , 反过来 形成 对 艺术 的 引导 。 这次 展览 的 作品 , 不少 很 新颖 , 但 也 有 很多 只是 对 科学 进行 了 图解 , 比较 牵强 , 因此 值 得 进一步 研究 。 岛 \u3000 子 ( 四川 美术学院 美术学 系主任 、 教授 ) : 我 认为 这次 “ 艺术 与 科学 ” 大展 开启 了 21 世纪 艺术 教育 的 思路 和 框架 。 1998 年 我 到 川美 任教 以来 , 深刻 地 感到 了 美术 学科 缺少 科学性 , 即 国家教委 的 学科 目录 与 社会 需求 有 很大 的 矛盾 , 美术学 的 分类 既 高度 分化 又 高度 融合 。 在 我国 , 人 文 科学 的 范围 界定 还有 待 研究 。 我们 应 关注 学科 内部 的 科学 问题 。 21 世纪 的 素质教育 应 包括 哪些 内容 呢 ? 我 注意 到 清华大学美术学院 艺术 史论 系 开设 了 社会学 课程 , 这 一点 值得 学习 。 人文科学 跟 自然科学 、 社会科学 需要 融合 。 21 世纪 我们 学院 的 建设者 任务 将会 十分艰巨 , 因为 高科技 的 信 息 时代 对 教学 的 冲击 是 不可避免 的 。 它 所 带来 的 知识 传承 问题 , 使 人文 学者 回归 到 前 现代 的 角色 , 即 成为 世界 意义 的 守护者 和 阐释 者 。 水天 中 ( 中国艺术研究院 美术 研究所 研究员 ) : 《 艺术 与 科学 国际 作品展 》 和 “ 艺术 与 科学 理论 研讨会 ” 是 近年 国内 美术界 规模 最大 、 规格 最高 的 学术活动 。 展览 与 研讨会 都 有 许多 使人 耳目一新 的 内容 , 打破 了 艺术 活动 只 着眼于 艺术 圈 之内 的 局限 , 开辟 了 美术 教学 、 美术 实践 、 美术 理论 与 姐妹 学科 交流 借鉴 的 局面 , 为 中国 美术 引来 一股 清风 。 对于 艺术 的 发展 来说 , 它 的 意义 是 在 艺术 与 社会 、 艺术 与 政治 、 艺术 与 个人 感情 … … 之外 , 引导 人们 注视 一条 新 的 思路 , 尝试 一种 新 的 艺术 活动 方式 , 走出 新 的 艺术 通道 。 这是 一条 有 生气 、 有 活力 的 通道 , 它 的 价值 不会 在 其它 通道 之下 。 对于 清华大学美术学院 来说 , “ 艺术 与 科学 ” 还 可以 成为 一个 长期 发展 目标 , 成为 学术 和 办学 风格 上 的 一种 理想 。 当 我们 说 “ 高雅 艺术 ” 的 时候 , 往往 联想起 传统 的 、 古老 的 文化 情趣 。 实际上 艺术 与 科学 也 可以 达到 一种 高雅 的 文化 情趣 ; 当 我们 说 “ 先锋 艺术 ” 的 时候 , 往往 联想起 对 社会 生活 的 反讽 和 对 个人 处境 的 焦虑 , 实际上 艺术 与 科学 、 科学 与 人 的 复杂 关系 , 也 应该 成为 艺术创作 上 的 “ 先锋 问题 ” 。 展览会 的 作品 多 , 中国美术馆 的 场地 小 , 这使 展出 效果 不够 理想 。 除了 展出 场馆 条件 的 限制 外 , 从 艺术 水平 或者 展览会 的 主题 看 , 如果 将 一 些 可有可无 的 作品 删减 ( 如果 减去 四分之一 ) , 展览 的 整体 水准 就 会 明显 提升 。 作品 的 评奖 结果 也 值得 进一步 讨论 , 有些 获奖作品 并 不 具有 艺术 或者 科学 思想 方面 的 创造性 , 有些 作品 甚至 不能 代表 作者 原有 的 艺术 水平 。 在 题材 和 作品 的 人文精神 方面 , 宜作 周密 的 考量 , 例如 科学研究 和 科 技 运用 的 伦理 问题 , 这 已 是 全球性 的 不容 回避 的 话题 。 从 展览 作品 和 研讨会 发言 看 , 这是 一次 称颂 科学 与 艺术 的 集会 , 大家 主要 着眼于 两者 的 光明面 , 而 忽视 了 它们 目前 发展 的 问题 。 在 观察 角度 上 , 国内 艺术家 和 学者 偏向 于 称颂 历史 , 回顾 往昔 的 辉煌 , 在 思路 上 习惯于 绪论 、 概说 式 的 “ 宏大 叙事 ” , 缺少 国外 艺术家 和 学者 那种 对 具体 问 题 的 深入研究 。 这 已经 成为 中国 美术 理论界 的 流弊 。 丁 \u3000 宁 ( 北京大学 艺术 学系 教授 ) : 我 想 谈 以下几点 : 第一 , 艺术 的 发展 要 进入 公众 领域 。 可以 说 , 这次 展览 引起 了 久违 的 关注 , 它 打破 了 近年 美术 领域 的 圈子 化 , 使得 艺术 进入 了 公众 的 精神 领域 , 随着 时间 的 推移 , 其 价值 会 逐渐 彰显 出来 。 第二 , 这次 展览 把 “ 艺术 与 科学 ” 作为 主 题 阐述 是 90 年代 以来 美术界 的 高峰 事件 , 可以 改变 当代 美术 的 专家 化 思路 , 具有 鲜明 的 时代感 和 重要 的 启示 作用 。 第三 , 展览 提出 了 艺术 教育 的 新 方向 , 有助于 改变 对纯 艺术 的 过分 倚重 。 艺术 要 走向 现实 的 发展 , 离不开 科学 的 成分 。 第四 , 这是 一次 美术 活动 国际性 的 探索 。 希望 今后 能继 续 进行 下去 。 第五 , 展览 的 不足 在于 对 研究 的 前沿 情况 把握 不够 , 新思路 不足 。 刘 龙庭 ( 人民美术出版社 编审 ) : 这次 展览 的 命题 是 社会 大 发展 的 产物 。 展览 既 具有 前瞻性 、 开创性 , 又 具有 总结性 、 启示 性 , 对 公众 产生 了 不可 忽视 的 影响 。 中央 工艺 美院 虽然 并入 清华大学 的 时间 并 不长 , 但 贡献 很大 。 我们 也 应该 看到 , 科学 与 艺术 毕竟 不同 , 在 强调 联系 时 , 也 有 区别 。 这是 一个 很大 的 命题 , 需要 继续 深入 讨论 下去 。 在 当前 中国 科学 比较落后 的 情况 下 , 人文科学 也 并 不 先进 , 希望 清华 美院 继续 张扬 自己 的 艺术 个性 , 取得 更大 的 发展 。 吕品 田 ( 中国艺术研究院 美术 研究所 研究员 ) : 清华大学 花 了 如此 大 的 力气 和 声势 , 用 展览 和 研讨会 的 形式 提出 “ 艺术 与 科学 ” 这样 一个 命 题 , 是 具有 历史性 的 、 前瞻性 的 。 但 对 中国 来讲 , 历史性 这 一块 确实 是 中国 的 问题 , 因为 西方 对 “ 艺术 与 科学 ” 的 关注 在 20 世纪 就 大量 地 展开 了 。 而 中国 在 20 世纪 还 并未 真正 地 意识 到 这样 一种 关系 , 并 把 它 作为 一个 命题 提出 来 。 因此 , 这个 命题 的 前瞻性 我 认为 是 国际性 的 , 全球性 的 。 不 仅 是 中国 人 , 整个 生活 在 地球 上 的 人 都 在 关注 这样 一对 关系 。 在我看来 , 不管 是 科学 还是 艺术 , 这 两个 概念 都 是 西方式 的 。 甚至 把 它 作为 一种 关 系 问题 摆出来 , 也 是 一种 西方式 的 思想 。 在 这种 思想 贯穿 着 一种 形而上学 的 传统 , 从 古希腊 到 今天 信息时代 的 二进位制 语言 , 这 中间 是 有着 深刻 联系 的 。 但 实际上 西方 这种 思想 从 一 开始 就 包含 一种 矛盾 。 一方面 , 它 把 人 解释 成 一种 自由 的 存在 , 具有 无限 发展性 、 丰富性 、 非 专门化 的 存在 , 而 另一方面 它 在 解释 自然 、 探索 自然 时 , 又 把 这个 世界 理解 为 有 一个 最终 的 终极 时代 。 在 自然科学 上要 探讨 物质 的 终极 时代 , 在 人文科学 上要 探讨 体现 、 反映 这种 终极 时代 的 真理 。 因此 , 无论 自然科学 , 还是 人文科学 , 在 西方 人 看来 是 一 回事 , 本质 上 它 有 一种 大 科学 思想 。 由此 , 矛盾 从 一 开始 便 产生 了 。 在 古典 时代 , 这样 一种 矛盾 是 不 明显 的 , 文艺复兴 后 , 随着 西方 对 人 的 强调 , 所谓 人文主义 崛起 后 , 必然 就 会 把 这种 矛盾 带 出来 。 对 世界 认识 的 问题 和 人 对 自己 本身 认识 的 问题 矛盾重重 。 这种 矛盾 导致 科学 与 艺术 从 原有 的 混沌 状态 分裂 出来 , 并 产生 科学 与 艺术 。 而 在 今天 大谈 科学 与 艺术 , 它 实际上 反映 了 我们 现在 的 一种 生存 状态 , 一种 力图 改变 我们 现在 对 世界 认识 和 把握 的 矛盾 状态 。 20 世纪 上半叶 , 人类 对 科学 、 现代文明 是持 一种 乐观 的 态度 的 , 中叶 以后 , 这样 一种 状态 发生 了 变化 , 科学 所 带来 的 一些 现实 问题 迫使 我们 去 回头 反思 , 这 是 由 生存环境 引发 的 一种 物质性 问题 。 只有 这些 物质性 的 问题 才能 在 科学时代 打动 这些 被 科学 思 想 所 占领 、 控制 的 人群 。 由此 , 科学 与 艺术 作为 一种 关系 命题 暴露 出来 。 从 这样 一种 意义 上 说 , 提出 这样 一个 前瞻性 的 命题 , 是 非常 有 价值 的 。 从 展览 来说 , 我 感觉 有 三种 类型 的 作品 : 1 . 把 科学 思想 、 科学知识 加以 阐释 、 介绍 , 实际上 带有 一定 程度 的 科学 色彩 。 而 在 当下 , 它 又 具有 意识 形态 的 色彩 。 2 . 表现 现代科技 或用 现代科技 来 辅助 制作 的 作品 , 它 在 某种程度 上 显示 着 现代科技 的 力量 。 3 . 在 科学 的 条件 下 , 强调 对 人 的 生存 状 态 的 关注 , 强调 人 的 现实 体验 的 作品 。 实际上 , 从 艺术 与 科学 的 关系 的 角度看 , 这 一部分 作品 更 有 价值 。 如果 在 以后 还 将 继续 进行 展开讨论 , 我 认为 更应 关注 人 的 生存 状态 , 因为 在 让 人 生存 得 更 幸福 、 更好 的 目标 上 , 无论 科学 还是 艺术 , 它们 都 是 统一 的 。 邵大箴 ( 中央美术学院 教授 ) : 这次 展览 社会 反响 很大 , 收到 了 很 好 的 效果 。 虽然 也 有 不少 缺点 , 当 总的来说 还是 很 不错 的 。 科学 与 艺术 的 关系 问题 谈 不 清楚 , 已经 有 很多 的 讨论 , 李政道 先生 已经 是 第三次 提出 这个 问题 , 这次 是 最 重要 的 一次 , 并且 是 最大 的 一次 国际 研讨会 。 他 主要 强调 智慧 和 情感 , 艺术 也 是 , 科学 也 是 , 它们 本质 上 是 一样 的 , 讲得 很 对 。 而且 李政道 先生 讲 的 是 科学 、 自然科学 而 不是 讲 技术 。 科学 与 艺术 的 关系 发展 到 现在 , 包括 科学技术 与 艺术 的 关系 , 这个 问题 带有 一定 片面性 , 但 又 有 合理性 , 前面 有人 说 到 的 命题 的 公众 性 , 它 带有 普遍性 , 这是 一个 国际性 的 潮流 。 听说 浙江美术学院 曾经 请 哲学家 去 讲课 , 讲得 很 好 , 但是 有 的 艺术家 发问 : 你 懂 笔墨 吗 ? 这 很 可笑 , 哲学家 讲 的 是 普遍性 的 东西 , 艺术家 问 的 问题 有 一定 的 合理性 , 但 哲学家 谈 的 是 普遍性 的 东西 , 艺术家 谈 的 是 个别性 的 东西 。 这个 普遍性 的 东西 如果 我们 不去 研究 , 就 要 落后 。 个别性 的 东西 也 要 关注 , 例如 民族化 , 但是 要 在 普遍性 的 原则 下 。 科学 与 艺术 不管 以 何种 形式 发展 , 这个 命题 的 提出 都 带有 一定 前沿性 , 它 也 一定 会 推动 科学 与 艺术 的 发展 , 它们 的 结合 一定 会 产生 新 的 东西 。 西 \u3000 川 ( 中央美术学院 副教授 ) : 刚才 各位 的 发言 已经 把 我 想到 的 一些 问题 差不多 都 谈到 了 , 活动 成功 的 地方 我 就 不 重复 了 。 我 没 参加 清华 的 讨论会 , 因此 , 只 根据 展览 谈 我 当时 产生 的 几个 印象 。 一 , 这是 一个 美术学院 所 做 的 跟 科学 有 关系 的 展览 , 而 不是 科学院 做 的 跟 艺术 有 关系 的 展览 。 因此 , 艺术 很 显然 地 呈现 一种 向 科学 靠拢 的 姿态 。 通过 现代科技 手段 , 把 一些 存在 于 现代 艺术 之中 的 现代 观念 介绍 给 大家 。 另外 , 艺术 本 身 显得 不 自然 , 由于 艺术 与 科学 在 社会 发展 中 的 不 对称 比例 , 似乎 艺术 观念 落后 于 科学 的 观念 。 同时 , 通过 这样 一个 展览 , 使 艺术 本身 表现 出来 的 科学 似乎 已经 落后 当代 科学 所 达到 的 水准 。 因为 当代 科学 的 技术 层面 , 它 所 达到 的 形而上 的 层面 都 已 远远 超出 我们 的 想象 。 二 , 作品 不看 标示 牌 , 基本上 能 猜测出 是 哪 国人 所 做 , 尤其 是 中国 人 的 作品 更为 明显 。 为什么 会 如此 ? 这 里面 实际上 存在 一个 观念 置换 的 过程 , 中国 人 的 作品 不是 以 科学 精神 来 指导 , 而是 把 科学 与 艺术 的 空间概念 置换 成 古代 与 现代 的 时间 概念 。 三 , 科学 本身 在 其 现代 研究 中 已经 实现 了 科学 本身 的 转身 。 比 如 物理学 走到 核 物理学 , 最后 变成 对 社会 生活 的 破坏 , 这种 科学 转身 所 引起 的 当代 科学 对 伦理学 所 产生 的 挑战 , 事实上 在 这个 展览 中 很少 涉及 , 这个 展览 基本上 是 艺术 向 科学 靠拢 , 艺术 为 科学 唱赞歌 。 科学 本身 所 包含 的 那些 复杂 命题 、 转身 、 悖论 基本上 艺术家 没有 触及 到 。 四 , 在 科学 与 艺术 这样 一个 大题目 下 , 还 可以 分列 一些 小题目 进行 。 张晓凌 ( 中国艺术研究院 美术 研究所 研究员 ) : 我 最早 介入 “ 艺术 与 科学 ” 这个 主题 是 作为 撰稿人 为 这个 展览 搞 一个 专题片 , 一共 五集 , 我 写 第一集 , 介绍 艺术 与 科学 的 历史 关系 及 发展 脉落 , 并 由此 引发 一些 问题 。 艺术 与 科学 本身 一样 , 最早 的 艺术家 就是 科学家 , 直到 近代 科学 产生 以后 , 才 出现 一些 问题 , 艺术 与 科学 正式 分离 。 展览 有 不足 也 有 价值 的 地方 。 1 . 展品 可 减掉 三分之一 , 一些 作品 与 主题 没有 太大 的 关系 , 而且 质 量 平庸 。 另外 , 700 件 作品 使得 展厅 太 拥挤 , 展览 效果 不是太好 。 2 . 这次 展览 是 一个 开端 , 是 一个 仪式 。 但 进入 仪式 后 , 它 对 科学 、 科学 本身 的 一些 问题 , 对 当代人 的 生存 状态 反思 不够 , 艺术 与 科学 共同 作用 产生 力量 , 并 带来 震撼 的 作品 太 少 。 意义 : 尽管 有些 不足 , 但 其 成绩 、 价值 、 意 义 仍 远远 超过 不足 。 1 . 通过 这个 展览 , 它 表明 艺术 不是 点缀 、 美化 , 也 不是 装饰 , 它 是 一种 生存 方式 、 思维 方式 , 而 这种 方式 可以 通过 科学 的 方 式 展示 给 人们 。 2 . 这个 展览 完成 后 , 全国 美展 与 它 的 距离 至少 有 10 年 以上 的 差距 。 另外 , 它 对 美术馆 本身 也 是 一种 讽刺 , 装置 、 影像 艺术 等等 都 纳入 了 这次 展览 之中 。 3 . 这个 展览 另外 一个 更 重要 的 意义 在于 它 的 象征意义 。 而 在 中国 的 美术界 、 教育界 跨入 21 世纪 时 , 这样 一个 展览 至少 表现 出 一种 和 西方 各国 同步 的 文化 姿态 。 因为 这个 课题 也 是 同 时期 西方 关注 的 课题 , 在 国内 也 从未 提出 过 , 它 的 解决 程度 不管 如何 , 其 象征意义 必定 是 深远 的 。 出席 研讨会 的 还有 : 刘巨德 副 院长 、 包林 教授 、 陈瑞林 副教授 、 尚刚 副教授 等 。 ( 田君 、 海军 根据 录音 整理 , 未经 本人 审阅 。 标题 为 编者 所 加 )']
 ['【   文献号   】 1 - 1659 【 原文 出处 】 黄钟 【 原刊 地名 】 武汉 【 原刊 期号 】 199801 【 原刊 页 号 】 3 ~ 8 【 分   类   号 】 J6 【 分   类   名 】 音乐 、 舞蹈 研究 【 复印 期号 】 199804 【   标     题   】 20 世纪 的 中国 二胡 艺术 【   作     者   】 冯光钰 【 作者简介 】 冯光钰 , 男 , 1935 年生 ; 中国音乐家协会 教授 ( 北京     100026 ) 【 内容提要 】 本文 回顾 了 20 世纪 中国 现代 二胡 艺术 从 草创 到 逐渐 成熟 的 历程 。 着重 叙述 了 近百年来 中国 二胡 界 出现 的 华彦钧 、 刘天华 、 吕 文成 “ 二胡 三杰 ” 的 成就 。 并 从 演奏 人才 的 涌现 、 创作 大量 二胡曲 两个 方面 , 论述 50 年代 以来 二胡 艺术 的 全面 发展 。 还 就 力求 二胡 艺术 的 雅俗共赏 、 充 分 发挥 二胡 的 歌唱性 特点 、 体现 出 浓郁 的 民族风格 与 鲜明 的 时代精神 相结合 等 三个 问题 , 分析 了 二胡 艺术 审美 价值 的 创造 。 【 关   键   词 】 二胡     20 世纪     回顾     二胡 三杰     审美 价值 【   正     文   】       [ 分类号 ] J632.21 20 世纪 的 中国 音乐 , 走过 了 一条 既 曲折 艰辛 , 又 充满 了 希望 的 道路 。     现代 二胡 艺术 的 发展 , 也 经历 了 从 草创 到 逐渐 成熟 的 历程 。 近 百年 以 来 , 许多 二胡 艺术家 为了 二胡 演奏 、 创作 的 提高 和 繁荣 , 付出 了 很多 努力 , 做出 了 很大 贡献 。 一 在 谈到 二胡 艺术 审美 价值 时 , 不能不 提到 20 世纪 以来 中国 二胡 界 出现 的 三位 杰出人物 , 这 就是 华彦钧 、 刘天华 、 吕 文成 “ 二胡 三杰 ” 。 在 历代 统治者 的 眼里 , 二胡 是 一件 鄙俗 的 乐器 , 甚至 为 叫化子 乞讨 时所 操拉 , 不能 登 大雅之堂 。 正如 刘天华 在 《 月夜 及 除夜 小唱 说明 》 一文 中 所说 : “ 论及 胡琴 这 乐器 , 从前 国乐 盛行 时代 , 以其为 胡乐 , 都 鄙视 之 ; 今人 误以为 国乐 , 一般 贱视 国乐 者 , 亦 连累 及 之 , 故 自来 很少 有人 将 它 作为 一件 正式 乐器 讨论 过 , 这 真是 胡琴 的 不幸 ” ( 1928 年 2 月 《 音乐 杂志 》 ) 。 所以 , 在 一些 人 看来 , 二胡 只有 帮助 讨饭 的 功能 , 根本 谈不上 什么 审美 价值 。 但 20 世纪 “ 二胡 三杰 ” 的 出现 , 在 很大 程度 上 改变 了 二胡 “ 不幸 ” 的 命运 , 使 二胡 发生 了 历史性 的 变化 , 二胡 艺术 在 群众 的 音乐 生活 中 占有 了 不可或缺 的 地位 。 华彦钧 ( 阿炳 , 1893 — 1950 ) 是 一位 具有 多方面 才能 的 天才 民间 音乐家 。 他 在 二胡 上 的 造诣 使 这件 古老 的 乐器 焕发 了 新 的 艺术 生命力 。 他 的 成功 , 得益于 他 一直 浸泡 在 民间 音乐 的 海洋 里 。 他 从 宗教音乐 、 江南 丝竹 、 民歌 、 戏曲 滩簧 、 曲艺 评弹 、 说 因果 、 小 热昏 、 卖 梨膏 糖 的 叫卖 音乐 中 吸取 了 丰富 的 养料 。 早 在 华彦钧 还是 无锡 道观 雷尊殿 的 小 道童 时 , 便 能 演奏 竹笛 、 胡琴 、 琵琶 、 三弦 、 打击乐 等 乐器 , 受到 道士 们 的 赞赏 , 被 同行 褒誉 为 “ 小天 师 ” 。 在 二胡 演奏 和 创作 方面 , 他 的 功力 尤为 突出 。 原先 的 民间 二胡 , 多 是 在 原 把 位 上 演奏 , 而 阿炳 却 常 在 内外 弦 的 高 把 位 上 灵活运用 。 特别 是 充分发挥 了 内 弦 厚朴 深沉 的 音色 , 以及 空弦上 轻巧 的 弹拨 技巧 , 这 在 他 演奏 的 《 二泉映月 》 及 《 听松 》 、 《 寒 春风 曲 》 中 可以 领略到 。 他 的 作品 , 在 继承 民间 传统 技法 的 基础 上 进行 了 极大 的 突破 。 同时 , 阿炳 还是 一个 技艺 精湛 的 作曲家 。 不过 他 创作 的 许多 二胡 、 琵琶曲 不是 记录 在 乐谱 上 , 而是 凭 他 惊人 的 记忆力 保存 在 琴弦 上 。 从 一些 口碑 材料 可以 看出 , 他 的 艺术 生涯 可 分 两个 阶段 : 前期 ( 大约 1928 年 , 35 岁 双目失明 之前 ) 多 是 道教 音乐 、 江南 民间 乐曲 如 《 三 六 》 、 《 行街 》 、 《 四合 》 、 《 湘江 浪 》 等 , 还有 听 唱片 学来 的 《 小 桃红 》 、 《 昭君 怨 》 、 《 雨 打 芭蕉 》 、 《 三潭印月 》 等 ; 后期 ( 大约 是 35 岁 以后 ) 经常 演奏 的 是 许多 他 自己 经过 长期 积累 、 反复 琢磨 创作 而成 的 乐曲 。 但 当 人们 听到 这些 不曾 听过 的 曲子 问 他 是 什么 名字 时 , 他 总是 喃喃地 说 “ 是 我 瞎 拉 瞎 拉 的 ” , 或 “ 是 向 乡下人 家学来 的 ” 。 但 我们 从 1950 年 由 杨 荫 浏 、 曹安 和 先生 抢 录下来 的 三首 二胡曲 和 三首 琵琶曲 ( 《 大浪淘沙 》 、 《 龙船 》 、 《 昭君 出塞 》 ) 中 , 找不出 与 他 演奏 的 道教 音乐 和 民间 音乐 有 什么 雷同 之 处 , 足以 说明 这些 乐曲 确是 出自 阿炳之手 。 可惜 的 是 , 由于 阿炳 病体 急 剧 恶化 , 加之 抢录 工作 未 抓紧 进行 , 以致 他 的 许多 得意之作 失传 了 。 尽管如此 , 我们 从 阿炳 的 《 二泉映月 》 等 瑰宝 中 , 仍 可以 了解 到 他 不愧 是 一 位 出类拔萃 的 二胡 艺术 巨匠 。 他 对 二胡 艺术 的 发展 作出 了 卓越贡献 。 江阴 才子 刘天华 ( 1895 — 1932 ) , 也 是 发展 二胡 艺术 的 划时代 人物 。 在 中国 音乐史 上 , 他 是 把 民间 乐器 — — 二胡 引进 现代 高等 音乐 学府 教学 和 音乐会 演奏 的 第一 人 , 是 创立 专业 二胡 学派 的 奠基人 。 刘天华 对 二胡 艺术 的 提高 和 发展 , 是从 演奏 和 创作 两 方面 着手 的 。 刘天华 在 演奏 方面 , 首先 潜心 向 著名 江南 丝竹 名家 周少梅 ( 1884 — 1938 ) 学 习 二胡 , 并 经常 在 江阴 寺庙 中 与 和尚 们 一道 演奏 佛曲 , 从中 学习 佛教 音乐 的 二胡 演奏 。 1922 年 刘天华 应聘 到 北京大学 音乐 研究会 任教 后 , 为 提高 和 丰富 二胡 演奏 技法 , 向 俄籍 教授 托诺夫 学习 小提琴 长达 9 年 时间 , 有意识 地 从 西洋 音乐 中 吸取 有益 的 养料 。 这 期间 , 他 对 制作 二胡 琴筒 、 琴杆 、 琴轴 、 琴码 、 弓子 等 工艺 选料 及 定弦 、 揉 弦 、 换 把 等 演奏 技法 进行 了 革新 , 使 二胡 的 表现力 明显 地 得到 了 提高 。 与此同时 , 他 结合 二胡 演奏 技 法 的 改进 , 于 1915 年 蕴酿 创作 《 病中吟 》 开始 , 陆续 写作 了 47 首 二胡 练习曲 及 乐曲 《 月夜 》 、 《 空山鸟 语 》 、 《 苦闷 之 讴 》 、 《 悲歌 》 、 《 闲居 吟 》 、 《 良宵 》 、 《 光明行 》 、 《 独弦操 》 、 《 烛影摇红 》 。 从 这些 乐曲 中 可以 看出 , 刘天华 是 一位 富有 深厚 文化 传统 和 民间 音乐 基础 , 又 十分 善于 巧妙 地 借鉴 西洋 音乐 技巧 的 作曲家 。 他 的 创作 具有 独创性 , 其 旋律 流畅 生动 , 手法 简炼 朴实 , 音乐 结构 严谨 , 形象 鲜明 感人 。 通过 他 的 创作 和 演奏 革新 , 把 二胡 艺术 推向 了 一个 新 的 阶段 , 使 二胡 成为 专业化 的 独奏 乐器 。 吕 文成 ( 1898 — 1981 年 ) 是 一位 有 “ 二胡 博士 ” 美誉 的 音乐家 。 他 在 二胡 、 高胡 、 扬琴 演奏 及 广东音乐 创作 方面 均 有 很 深 的 造诣 , 尤 以 二胡 、 高胡 的 改革 及 演奏 的 贡献 最为 突出 。 他 创作 的 《 步步高 》 、 《 平湖 秋月 》 、 《 渔 歌唱 晚 》 等 名曲 早已 蜚声 海内外 , 然而 我们 以往 对 他 在 二胡 艺 术 上 的 成就 却 重视 得 不够 , 对 他 的 历史 地位 也 肯定 得 不够 。 吕 文成 的 二胡 艺术 成就 与 他 青少年 时代 在 上海 度过 是 分不开 的 。 他 从 1901 年 ( 3 岁 ) 至 1932 年 一直 随父 从 广东 中山 县 旅居 上海 。 他 自幼 喜爱 音乐 。 在 沪 的 30 年间 , 他 向 人 学习 二胡 演奏 , 熟练地 掌握 了 江南 丝竹 中 的 二胡 演奏 技巧 。 并于 1919 年 参加 上海 有名 的 中华 音乐会 。 20 年代 又 与 广 东 音乐家 尹 自重 、 何大 傻 等 人 组成 粤乐组 , 在 上海 、 北京 、 天津 等 地 演奏 广东音乐 , 还 与 小提琴家 司徒 梦岩 合作 同台 演出 。 这些 活动 , 使 吕 文成 积累 了 丰富 的 传统 民间 音乐 与 西洋 音乐 知识 。 在 此基础 上 , 他 对 二胡 进行 了 改革 , 突破 了 传统 二胡 的 局限性 。 首先 是 把 传统 二胡 的 琴杆 适当 缩短 , 将 二胡 外弦 的 丝线 改换 为 钢丝 弦 , 并 将 传统 二胡 的 定弦 提高 四度 , 与 小提琴 的 二弦 、 三弦 的 定弦 相同 ; 还 把 音域 扩展 到 二 、 三把位 , 自由 换 把 , 发展 了 滑 指 、 走 指 、 擞 音 等 技法 , 创制 新 的 乐器 高胡 。 最为 突出 的 是 , 他 将 琴筒 夹于 两腿间 拉奏 , 因为 两腿 可以 自如 地 控制 音量 、 音色 的 变化 , 使得 高胡 风格 华美 流丽 , 音色 明亮 清脆 。 吕 文成 1926 年 赴 广东 巡回演出 时 , 运用 他 改革 的 高胡 演奏 广东音乐 , 代替 了 原来 广东音乐 “ 五架 头 ” 中 二弦 的 地位 , 而 成为 主奏 乐器 , 使广 东 音乐 这 一乐种 得到 很大 的 发展 。 他 的 《 步步高 》 等 正是 为了 发挥 高胡 的 演奏 技能 而 创作 的 乐曲 。 30 年代 后 , 吕 文成 定居 香港 , 专事 粤乐 创作 和 演奏 。 经过 不断 的 艺术 实践 , 使 他 在 技艺 上 日趋 成熟 并 达到 了 炉火纯青 的 境地 。 在 此后 的 几十年 间 , 吕 文成 改革 创造 的 高胡 , 已 在 全国 各地 各种 编制 的 民族 乐队 中 广泛 运用 , 极大 地 丰富 了 乐队 的 表现力 。 这 是 吕 文成 对 发展 二胡 艺术 不可磨灭 的 贡献 , 从而 使 他 成为 与 华彦钧 、 刘天华 并 驾齐 驱 的 20 世纪 中国 “ 二胡 三杰 ” 之一 。 二 “ 二胡 三杰 ” 的 出现 , 乃是 20 世纪 中国 民族音乐 发展 的 必然 现象 。 20 世纪 是 中国 音乐 历史长河 中 十分 重要 的 阶段 。 持续 几千年 的 封建社会 在 本世纪初 崩溃 解体 , 引起 了 文化 的 转型 。 这 期间 音乐 产生 了 很大 的 变化 , 为 “ 二胡 三杰 ” 的 产生 提供 了 历史 机遇 。 这 三位 二胡 杰出人物 , 虽然 在 所处 的 文化 环境 、 成长 际遇 、 师承 关系 、 艺术 活动 等 方面 各不相同 , 但 也 有 许多 共同 的 因素 , 促使 他们 差不多 在 同一 时期 中 趋于 成熟 。 这些 共同点 是 : 第一 , “ 二胡 三杰 ” 都 先后 出 生于 19 世纪 90 年代 。 在 他们 悟事 之时 , 都 经历 了 20 世纪 初叶 的 两大 政治 事件 。 一是 1911 ( 辛亥 ) 年 10 月 10 日爆 发 的 震撼 世界 的 资产阶级 革命 。 辛亥革命 结束 了 中国 两千多年 的 封建 君主专制 制度 。 二是 1919 年 5 月 4 日 爆发 的 中国 人民 反对 帝国主义 和 封建主义 的 伟大 民主革命 运动 。 五四运动 成为 中国新民主主义革命 的 开端 。 华彦钧 、 刘天华 、 吕 文成 在 这 历史性 的 变革 中 , 都 不同 程度 地 接受 了 爱国主义 、 民族主义 、 民主自由 解放 的 思想 的 影响 。 这 对 他们 的 艺术 生涯 , 包括 演奏 和 创作 均 带来 了 直接 的 影响 。 特别 有意思 的 是 , 他们 的 生命 虽然 有长 有 短 , 但 纵观 他们 在 二胡 艺术 上 的 成熟 和 辉煌 时期 , 不约而同 的 都 是 本世纪 二三十 年代 。 刘天华 在 30 年代 初因 收集 民间 锣鼓 音乐 , 不幸 染上 猩红 热而 英年早逝 , 终年 只有 37 岁 。 华彦钧 和 吕 文成 虽然 分别 活 了 58 岁 和 83 岁 , 但 他俩 对 二胡 的 改革 成就 和 创作 上 的 精品 , 都 主要 产生 在 这 一时期 。 特别 是 “ 二胡 三杰 ” 创作 的 二胡 及 高胡 曲 , 都 是从 不同 角度 反映 这 一时期 人们 的 生活 和 思想感情 。 可以 说 , 经受 辛亥革命 和 五四运动 洗礼 的 华彦 钧 、 刘天华 和 吕 文成 , 在 艺术 上 的 创造 , 无不 受益 于 时代 的 给予 。 第二 , 中国 传统 音乐 经过 数千年 的 积累 和 发展 , 具有 巨大 的 艺术 能量 。 每 一个 时代 有 作为 的 音乐家 , 都 会 从 传统 音乐 中 吮吸 丰富 的 养料 。 华 彦 钧 、 刘天华 和 吕 文成 也 是 这样 。 他们 都 从 孩提 之时 起 直接 受到 传统 音乐 的 熏陶 。 特别 是 民间 音乐 、 宗教音乐 对 他们 的 成长 起到 了 十分 关键 的 作 用 。 华彦钧 自幼 就 生活 在 农村 和 道观 , 以 道教 乐手 和 民间 音乐 艺人 为师 , 学习 各种 传统 音乐 。 刘天华 在 江阴 和 常州 的 中学 教 音乐 时 , 便 抽出 大量 时间 向 各地 的 民间 音乐家 学习 二胡 、 琵琶 、 古琴 、 三弦 拉戏 及 昆曲 等 , 还 经常 到 江阴 涌塔庵 学习 佛教 音乐 。 1930 年 他 为 京剧 名家 梅兰芳 记录 唱腔 , 编成 《 梅兰芳 歌曲 谱 》 一册 。 他 的 不幸 早逝 , 也 是 因 赴 北京 天桥 收集 锣鼓 谱 , 罹病 不治 所致 。 吕 文成 也 是 浸泡 在 江南 丝竹 、 广东音乐 和 粤曲 演 奏 演唱 中 成长 起来 的 。 他 不仅 二胡 、 高胡 、 扬琴 的 技艺 娴熟 , 而且 还 擅长 演唱 粤曲 “ 子喉 ” 。 他 演唱 的 《 潇湘 琴怨 》 、 《 燕子 楼 》 、 《 离天 恨 》 等 曲目 , 情意 缠绵 、 悠扬 抒情 。 这 对 他 创作 的 由 高胡 领奏 的 许多 广东音乐 乐曲 有着 直接 的 影响 。 特别 是 一些 富于 歌唱性 的 广东音乐 乐曲 , 可以 听 出 , 有 不少 是 吸取 的 粤曲 唱腔 旋律 , 有 的 甚至 就是 模拟 唱腔 发展 而成 。 第三 , 20 世纪 初始 西洋 音乐 大量 传入 中国 。 中西 音乐 的 融合 , 是 促使 中国 音乐 在 20 世纪 转型 的 因素 之一 。 “ 二胡 三杰 ” 的 演奏 和 创作 , 都 不 同 程度 直接 或 间接 受到 西洋 音乐 的 影响 。 刘天华 16 岁 时 在 江阴 的 中学 参加 军乐队 , 吹奏 小号 , 开始 接触 西洋 音乐 。 如前所述 , 他 在 北京 的 10 年间 ( 1922 — 1932 ) 从未 间断 学习 小提琴 。 同时 , 他 还 很 重视 西洋 音乐 理论 的 学习 和 研究 , 努力 从中 借鉴 外国 乐曲 的 音乐 结构 及 表现 方法 。 在 他 创作 的 二胡 练习曲 及 乐曲 中 , 明显 地 吸收 了 西洋 音乐 的 经验 。 吕 文成 将 二胡 改革 为 高胡 , 从 将 外 弦 改为 钢丝 弦 到 把 定弦 提高 四度 , 无一不是 受到 小提琴 的 启示 。 从 他 创作 的 《 步步高 》 等 乐曲 中 , 也 可 看出 其 曲式 结构 及 旋律 发展 手法 , 均 有 借鉴 西洋 音乐 的 因素 。 华彦钧 虽未 直接 学习 过 西洋 音乐 , 但 从 他 对 新 事物 的 敏感 和 接受 能力 来看 , 从 接触 当时 的 唱片 及 广播电台 播放 的 音乐 中 , 也许 会 间接 地 受到 一些 外国 音乐 及 新 音乐 的 影响 , 并 有机 地 吸收 到 他 的 创作 及 演奏 中 去 。 “ 二胡 三杰 ” 的 这些 共同 特点 的 形成 , 归根到底 乃 时代 所 使然 。 他们 在 风起云涌 的 时代 浪潮 中 , 从 关心 国家 、 民族 的 命运 出发 , 对 中国 民族 音乐 事业 克尽 所能 , 发挥 了 自己 的 聪明才智 , 使 二胡 艺术 在 20 世纪 获得 了 空前 的 发展 。 三 华彦钧 、 刘天华 、 吕 文成 “ 二胡 三杰 ” 对 20 世纪 中国 二胡 艺术 的 贡献 , 不仅 给 我们 留下 了 珍贵 的 二胡 艺术 遗产 , 还 在 他们 直接 培育 或 积极 影 响下 , 造就 了 一批 从事 二胡 艺术 的 人才 。 成长 于 三四十 年代 的 二胡 家 , 成 了 这 一时期 传播 和 发展 二胡 艺术 的 中坚力量 。 二三十 年代 有 陈振铎 、 储 师竹 、 蒋风 之 、 刘北茂 、 陆修堂 、 刘 天一 、 朱海 等 人 ; 40 年代 有王 乙 、 丁 d ā n g @ ① 、 黎松寿 、 俞鹏 、 张锐 、 朱郁 之 、 闵季 骞 、 段启诚 、 刘明 沅 、 张韶 、 陈朝儒 等 人 。 他们 直接 或 间接 地 承袭 了 “ 二胡 三杰 ” 的 优良传统 , 不仅 在 二胡 演奏 和 创作 方面 取得 了 很大 的 成绩 , 还 在 二胡 教学 上 做 了 许多 有益 的 探索 , 培养 了 一些 后起之秀 。 特别 引人注目 的 是 , 50 年代 以来 的 近 半个世纪 , 中国 二胡 艺术 水平 得到 了 飞速 的 提高 , 可以 说 , 这是 二胡 艺术 发生 整体性 变革 与 全面 发展 的 黄金 季节 。 主要 表现 在 两个 方面 : 一是 演奏 人才 的 涌现 。 各 高等 音乐 院校 的 本科 和 附中 , 及 一些 师范院校 音乐系 , 乃至 省 、 地级 艺术 学校 , 都 开设 了 二胡 演奏 课程 。 从 练习曲 到 乐曲 的 教学 的 逐步 规 范化 , 为 学习者 打下 扎实 的 基本功 创造 了 条件 。 经过 严格 的 专业训练 , 五六十年代 涌现 了 一批 富有 才华 的 二胡 家 , 如 唐毓斌 、 牛 巨贵 、 黄海 怀 、 项祖英 、 汪炳炎 、 王宜勤 、 鲁日融 、 甘尚时 、 黄日进 、 孙 文明 、 甘柏霖 、 王国 潼 、 蒋巽风 、 陈 耀星 、 肖白庸 、 舒昭 、 周耀锟 、 闵惠芬 、 蒋才 如 等 人 。 在 很长 一段时间 里 , 他们 是 二胡 界 的 中流砥柱 式 的 人物 , 对 推动 二胡 艺术 的 进一步 发展 , 起到 了 积极 的 作用 。 80 年代 以来 , 二胡 乐坛 上 又 出 现了 一批 熠熠生辉 的 新星 , 如余 其伟 、 陈 国产 、 姜 建华 、 朱昌耀 、 周维 、 欧 景星 、 宋飞 、 李小萍 等 人 , 这 标志 着 二胡 艺术 后继有人 , 且 青出于蓝 而胜于蓝 。 二是 创作 了 大量 的 二胡曲 。 这 一时期 的 二胡曲 , 有 的 出自 二胡 演奏家 之手 , 有 的 则 是 专业 作曲家 的 创作 。 前者 如 《 田野 小曲 》 ( 王乙曲 ) 、 《 大凉山 狂想曲 》 ( 段启诚 曲 ) 、 《 苍山 抒怀 》 ( 舒昭曲 ) 、 《 梆子 风 》 ( 项祖英 编曲 ) 、 《 鱼游 春水 》 ( 刘天 一曲 ) 、 《 江河水 》 ( 黄海 怀 移植 改编 ) 、 《 赛马 》 ( 黄海 怀曲 ) 、 《 秦腔 主题 随想曲 》 ( 鲁日融 、 赵震霄曲 ) 、 《 洪湖 人民 的 心愿 》 ( 闵惠芬 编曲 ) 、 《 流波曲 》 ( 孙 文明 曲 ) 、 《 弹乐 》 ( 孙 文明 曲 ) 、 《 草原 新 牧民 》 ( 刘长 福曲 ) 、 《 战马 奔腾 》 ( 陈 耀星 曲 ) 、 《 江南 春色 》 ( 朱昌耀曲 ) 等等 ; 后者 如 《 豫北 叙事曲 》 ( 刘文金 曲 ) 、 《 三门 峡 畅想曲 》 ( 刘文金 曲 ) 、 二胡 协奏曲 《 长城 随想 》 ( 刘文金 曲 ) 、 《 一枝花 》 ( 张式业 编曲 ) 、 《 子弟兵 和 老百姓 》 ( 晨耕 、 唐诃 编曲 ) 、 《 拉 骆驼 》 ( 曾 寻曲 ) 、 《 山村 变了样 》 ( 曾 加庆曲 ) 、 《 赶集 》 ( 瞿春泉曲 ) 、 《 湘江 乐 》 ( 时乐 m é n g @ ② y í n g @ ③ 曲 ) 、 《 春诗 》 ( 钟义 良曲 ) 、 《 金珠玛米 赞 》 ( 王 竹林 曲 ) 、 《 春到 田间 》 ( 林韵曲 ) 、 《 春郊 试马 》 ( 陈德钜曲 ) 、 高胡 、 古筝 三重奏 《 春天 来 了 》 ( 雷雨 声 曲 ) 等等 。 新 的 二胡曲 的 创作 , 一方面 增添 和 积累 了 二胡 的 演奏 曲目 , 另一方面 也 推动 了 二胡 演奏 技法 的 不断改进 和 丰富 。 在 继承 “ 二胡 三态 ” 的 基础 上 , 现代 二胡 演奏 又 获得 了 较大 的 提高 和 发展 , 这 与 二胡曲 新作 的 不断 出现 是 分不开 的 。 四 近 一个 世纪 以来 , “ 二胡 三杰 ” 及 他们 的 后继者 在 发展 二胡 艺术 的 道路 上 , 历尽艰辛 所 取得 的 成就 , 从根本上 来说 是 一种 审美活动 。 而 二胡 艺术 的 这种 审美 价值 的 创造 , 无论是 演奏 , 还是 创作 , 都 是 特殊 的 生产性 审美活动 。 从 审美 价值 的 角度 来 审视 现代 二胡 艺术 , 可以 归纳 为 如下 几 个 特点 : 1 . 力求 二胡 艺术 的 雅俗共赏 传统 的 二胡 , 是 一件 在 民间 广为流传 的 乐器 。 由于 制作 简便 , 价格低廉 , 很 容易 为 一般 平民百姓 所 掌握 。 自 20 世纪 “ 二胡 三杰 ” 出现 后 , 使 二胡 艺术 发展 到 较 高 的 品位 , 从此 使 一个 民间 的 俗 乐器 登上 了 大雅之堂 。 “ 二胡 三杰 ” 以来 的 近百 年间 , 二胡 艺术 之所以 深受 广大群众 的 喜爱 , 主要 在于 它 既 保持 了 传统 的 “ 俗 ” 音乐 的 面貌 , 又 有 “ 雅 ” 音乐 的 审 美 追求 , 使雅 、 俗 音乐 在 二胡 艺术 中 走向 合流 , 两者 相互 借鉴 、 交叉 渗透 、 取长补短 , 达到 了 一定 程度 的 融合 。 这样 的 例子 很多 。 如 《 二泉映月 》 是 出自 民间 音乐家 阿炳之手 , 其 成功 之 处 , 便是 它 具有 雅俗共赏 的 艺术 魅力 。 这首 既 通俗 又 深刻 反映 广大 低层 大众 的 思想感情 的 乐曲 , 在 阿炳 经年累月 演奏 于 大街小巷 时 , 深受 寻常 老百姓 的 欢迎 。 这首 乐曲 经 录音 记录 出版 后 , 得到 更加 广泛 的 传播 。 通过 在 音乐会 上 演奏 和 广播电视 的 播放 , 在 高层次 文化圈 内 也 引起 了 强烈 共鸣 , 人们 无不 为 阿炳 的 音乐 所 倾倒 , 甚至 使 日本 著名 指挥家 小泽征尔 感动 得 不禁 潸然泪下 , 他 说 : “ 这种 音乐 只 应该 跪 着 听 。 ” 可见 《 二泉映月 》 的 艺术 感染力 强烈 。 刘天华 、 吕 文成 以及 黄海 怀等 人 的 音乐 得以 久远 的 流传 , 也 证明 二胡 艺术 发展 中 的 雅俗 彼此 相渗 、 交相 为用 , 达到 了 雅俗 相通 的 艺术境界 。 本世纪 涌现 的 许多 优秀 的 二胡 作品 , 都 有着 一个 共同 的 特点 , 这是 力求 做到 雅俗共赏 。 2 . 充分发挥 二胡 的 歌唱性 特点 二胡 千百年来 能 长久 流行 在 民间 , 本世纪 以来 又 不断 登上 大雅之堂 , 一个 重要 原因 是 它 具有 歌唱性 的 特点 。 这 就 使得 二胡 艺术 的 价值 表现 为 : 以 作品 的 丰富 内容 及 富于 歌唱性 的 艺术 感染力 赢得 人们 的 喜爱 。 “ 二胡 三杰 ” 的 作品 及 演奏 之所以 经久不衰 , 百听不厌 , 一是 乐曲 的 旋律 性 很 强 , 音乐 主题 优美 动听 , 听众 可以 “ 过耳 成诵 ” ; 二是 在 演奏 技法 上 充分发挥 了 两根 琴弦 的 歌唱性 特点 , 奏 出 人们 的 心声 , 引起共鸣 。 黄海 怀及 许多 二胡曲 作家 的 作品 都 充分体现 了 这种 特点 。 黄海 怀 移植 改编 的 《 江河水 》 , 在 同名 民间 双管 曲 的 基础 上 , 着力 发挥 二胡 的 特性 , 无论是 指法 的 揉 颤 吟咏 , 还是 各种 弓法 的 强弱 力度 对比 , 都 把 乐曲 的 音乐 形象 表现 得 淋漓尽致 , 音乐 好像 是 一位 古代 妇女 不幸 人生 的 悲泣 、 倾诉 , 震撼 着 人 们 的 心灵 。 他 的 《 赛马 》 ( 原作 ) 在 表现 内蒙古草原 骏马奔驰 的 热烈 场面 时 , 一方面 在 前后 乐段 运用 了 复杂多变 的 快 弓 、 跳弓 及顿 弓 , 同时 在 中 段 十分 注重 在 琴弦 上奏出 悠扬 舒畅 的 蒙古族 民歌 旋律 , 既 增强 了 音乐 的 紧松 快慢 对比 , 又 刻画 了 草原 牧民 的 豪迈 性格 。 另一方面 , 我们 也 看到 , 有些 二胡曲 的 创作 和 演奏 , 不同 程度 地 存在 着 脱离 内容 的 单纯 技巧 表现 , 乃至 炫耀 的 倾向 。 其 原因 在于 没有 扬 二胡 艺术 之 所长 , 反而 弄巧成拙 。 3 . 体现 出 浓郁 的 民族风格 与 鲜明 的 时代精神 相结合 “ 二胡 三杰 ” 和 他们 的 后继者 的 许多 成功 之作 , 在 这方面 做出 了 可贵 的 艺术 实践 。 他们 在 作品 中 , 采用 群众 喜闻 乐听 的 音乐 语言 表现 各个 时 代 的 现实生活 , 说明 他们 在 取之不尽 的 生活源泉 中 , 选取 最 富于 时代 意义 的 题材 , 并 认真 从 丰富多彩 的 民族民间 音乐 中 吸取 营养 , 将 其 发展 变化 成 特有 的 二胡 音乐 语言 。 这样 的 例子 不胜枚举 。 从 以上 可见 , 二胡 艺术 和 其他 姊妹 艺术 一样 , 其 价值 只有 当 它 被 人们 欣赏 、 评论 , 真正 得到 检验 和 承认 , 其 潜在 的 价值 才能 转化 成为 现实 的 价值 , 从而 形成 一种 社会 效应 。 20 世纪 的 中国 二胡 艺术 的 迅速 发展 , 正是 由于 “ 二胡 三杰 ” 和 等 众多 的 二胡 艺术家 , 以 其 孜孜不倦 的 精神 , 不断创新 的 结果 。 当然 , 二胡 在 未来 的 岁月 中要 实现 艺术 上 的 更加 完善 , 还 需要 不断 地 超越 。 二胡 艺术 的 审美 价值 , 就 会 在 这种 超越 、 升华 和 融汇 中 获得 充分 的 实现 。 【 责任编辑 】 蔡际洲 字库 未存 字 注释 : @ ① 原字 王右 加当 @ ② 原字 氵 右 加蒙 @ ③ 原字 氵 右 加莹']]
[[16]
 [16]]

然后是构建测试集:

test_data = []
test_label = []
with open("/content/drive/My Drive/NLP/dataset/Fudan/test_jieba.txt","r",encoding="utf-8") as fp:
  lines = fp.readlines()
  for line in lines:
    line = line.strip().split("\t")
    if len(line) == 2:
      test_data.append([line[0]])
      test_label.append([label_to_idx_dict[line[1]]])
test_data = np.array(test_data)
test_label = np.array(test_label)
print(test_data.shape)
print(test_label.shape)
print(test_data[:2])
print(test_label[:2])

按照惯例,我们还需要将训练集打乱:要同时将数据和标签进行打乱

shuffle_ix = np.random.permutation(np.arange(len(train_data)))
train_row = list(range(len(train_data)))
random.shuffle(train_row)
print(train_row)
train_data = train_data[train_row,:]
train_label = train_label[train_row,:]
print(train_data[:2])
print(train_label[:2])

3、搭建模型

接下来就可以搭建模型了,这里需要将二维数组转换一维数组,同时要将numpy数组转换为列表:

from sklearn.feature_extraction.text import TfidfVectorizer
train_data = train_data.reshape(len(train_data)).tolist()
print(train_data[:2])
tfidf_model = TfidfVectorizer()
sparse_result = tfidf_model.fit_transform(train_data)     # 得到tf-idf矩阵,稀疏矩阵表示法

打印一下看看:

for k,v in tfidf_model.vocabulary_.items():
  print(k,v)
心理负荷 215604
打破常规 224020
环境压力 283954
起新 341654
救弱 234689
抑强 225392
亚稳态 114323
醒觉 353619
能态 317052
特异功能 280313
。。。。。。

同样的,我们也需要对测试集进行相同的转换:

test_data = test_data.reshape(len(test_data)).tolist()
print(test_data[:2])
test_sparse_result = tfidf_model.transform(test_data) 

最后是使用朴素贝叶斯进行分类:

from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report
mnb_count = MultinomialNB()
mnb_count.fit(sparse_result, train_label)   # 学习
mnb_count_y_predict = mnb_count.predict(test_sparse_result)   # 预测
classification_report(mnb_count_y_predict, test_label)

结果:

              precision    recall  f1-score   support

           0       1.00      0.44      0.61      3662
           1       0.00      0.00      0.00         0
           2       0.81      0.90      0.85      1104
           3       0.00      0.00      0.00         0
           4       0.44      0.97      0.60       461
           5       0.96      0.81      0.88      1608
           6       0.00      0.00      0.00         0
           7       0.62      0.85      0.72       752
           8       0.00      0.00      0.00         0
           9       0.36      0.99      0.53       236
          10       0.00      0.00      0.00         0
          11       0.00      0.00      0.00         0
          12       0.00      0.00      0.00         0
          13       0.00      0.00      0.00         0
          14       0.00      0.00      0.00         0
          15       0.87      0.90      0.88      1214
          16       0.00      0.00      0.00         0
          17       0.00      0.00      0.00         0
          18       0.86      0.81      0.83       795
          19       0.00      0.00      0.00         0

    accuracy                           0.71      9832
   macro avg       0.30      0.33      0.30      9832
weighted avg       0.87      0.71      0.74      9832

至此,将整个流程打通了。如果想提高分类的性能,则需要进一步的数据预处理以及模型的调参了。

4、进一步调优

为了避免每次再运行时标签映射发生变化,我们将标签映射存入到txt中:

label = []
with open("/content/drive/My Drive/NLP/dataset/Fudan/train_jieba.txt","r",encoding="utf-8") as fp:
  lines = fp.readlines()
  for line in lines:
    line = line.strip().split("\t")
    if len(line) == 2:
      label.append(line[1])
label = set(label)
label_to_idx = list(zip(label,range(len(label))))
with open("/content/drive/My Drive/NLP/dataset/Fudan/label.txt","w",encoding="utf-8") as fp:
  for k,v in label_to_idx:
    fp.write(k+"\t"+str(v)+"\n")

接下里我们要仔细研究一下sklearn自带的TfidfVectorizer()了。

(1)fit()、fit_transform()以及transform()

这里要额外提到fit()、fit_transform()以及transform():简单的说下自己的理解,具体的还是百度吧

fit():输入要拟合的数据

transform():对拟合的数据进行转换

fit_transform():拟合和转换的结合

一般是这么使用的:

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
sc.fit_tranform(X_train)
sc.tranform(X_test)

一般是对训练集进行拟合和转换,然后对测试集进行转换即可,如果我们再使用sc.fit_transform(X_test)就会报错。具体对于不同的函数,稍微有所区别,这里就不展开了。

(2)参数:token_pattern

接下来看以下代码:

from sklearn.feature_extraction.text import TfidfVectorizer
document = [
            '我 是 一条 天狗 呀 !', 
            '我 把 月 来 吞 了 ,', 
            '我 把 日来 吞 了 ,', 
            '我 把 一切 的 星球 来 吞 了 ,', 
            '我 把 全宇宙 来 吞 了 。', 
            '我 便是 我 了 !'
      ]

tfidf = TfidfVectorizer()
tfidf_model = tfidf.fit(document)
tfidf_model.vocabulary_

输出:{'一切': 0, '一条': 1, '便是': 2, '全宇宙': 3, '天狗': 4, '日来': 5, '星球': 6}

也就是之前我们没有进行任何处理,直接使用TfidfVectorizer(),那么单词长度为1的就自动被过滤掉了,控制这个的参数是:token_pattern,其默认匹配长度>=2的单词。

其默认参数为r"(?u)\b\w\w+\b",其中的两个\w决定了其匹配长度至少为2的单词。

我们改为以下即可匹配出一个词的:

tfidf = TfidfVectorizer(token_pattern=r"(?u)\b\w+\b")

输出:{'一切': 0, '一条': 1, '了': 2, '便是': 3, '全宇宙': 4, '吞': 5, '呀': 6, '天狗': 7, '我': 8, '把': 9, '日来': 10, '星球': 11, '是': 12, '月': 13, '来': 14, '的': 15}

看一下转换之后的结果:

tfidf_model.transform(document).todense()
matrix([[0.        , 0.48812169, 0.        , 0.        , 0.        ,
         0.        , 0.48812169, 0.48812169, 0.2166769 , 0.        ,
         0.        , 0.        , 0.48812169, 0.        , 0.        ,
         0.        ],
        [0.        , 0.        , 0.31515212, 0.        , 0.        ,
         0.36493681, 0.        , 0.        , 0.27305977, 0.36493681,
         0.        , 0.        , 0.        , 0.61513894, 0.42586833,
         0.        ],
        [0.        , 0.        , 0.34831708, 0.        , 0.        ,
         0.40334084, 0.        , 0.        , 0.30179515, 0.40334084,
         0.67987295, 0.        , 0.        , 0.        , 0.        ,
         0.        ],
        [0.4641016 , 0.        , 0.23777166, 0.        , 0.        ,
         0.27533252, 0.        , 0.        , 0.2060144 , 0.27533252,
         0.        , 0.4641016 , 0.        , 0.        , 0.32130331,
         0.4641016 ],
        [0.        , 0.        , 0.31515212, 0.        , 0.61513894,
         0.36493681, 0.        , 0.        , 0.27305977, 0.36493681,
         0.        , 0.        , 0.        , 0.        , 0.42586833,
         0.        ],
        [0.        , 0.        , 0.35776647, 0.69831701, 0.        ,
         0.        , 0.        , 0.        , 0.61996492, 0.        ,
         0.        , 0.        , 0.        , 0.        , 0.        ,
         0.        ]])

说明:我们有6个句子,共有16个词组,因此形状是(6,16)。

(3)参数:min_df/max_df

我们可以通过min_df/max_df参数:默认是0-1的浮点数或者是一个整数,如果是浮点数,则是将低于某比例或者高于某比例的词移除,如果是整数,则是将低于一定频数或者高于一定频数的词进行移除。我们接下来试试:

tfidf = TfidfVectorizer(token_pattern=r"(?u)\b\w+\b",min_df=0.1,max_df=0.5)

输出:{'一切': 0, '一条': 1, '便是': 2, '全宇宙': 3, '呀': 4, '天狗': 5, '日来': 6, '星球': 7, '是': 8, '月': 9, '来': 10, '的': 11}

过滤掉了一些词。

(4)参数:ngram_range

tfidf = TfidfVectorizer(token_pattern=r"(?u)\b\w+\b",ngram_range=(1,2))

输出:{'一切': 0, '一切 的': 1, '一条': 2, '一条 天狗': 3, '了': 4, '便是': 5, '便是 我': 6, '全宇宙': 7, '全宇宙 来': 8, '吞': 9, '吞 了': 10, '呀': 11, '天狗': 12, '天狗 呀': 13, '我': 14, '我 了': 15, '我 便是': 16, '我 把': 17, '我 是': 18, '把': 19, '把 一切': 20, '把 全宇宙': 21, '把 日来': 22, '把 月': 23, '日来': 24, '日来 吞': 25, '星球': 26, '星球 来': 27, '是': 28, '是 一条': 29, '月': 30, '月 来': 31, '来': 32, '来 吞': 33, '的': 34, '的 星球': 35}

该参数的意思是1个到2个词组之间的组合。

(5)参数:stop_words=[]

tfidf = TfidfVectorizer(token_pattern=r"(?u)\b\w+\b",ngram_range=(1,2),stop_words=['我','来','把','的'])

输出:{'一切': 0, '一切 星球': 1, '一条': 2, '一条 天狗': 3, '了': 4, '便是': 5, '便是 了': 6, '全宇宙': 7, '全宇宙 吞': 8, '吞': 9, '吞 了': 10, '呀': 11, '天狗': 12, '天狗 呀': 13, '日来': 14, '日来 吞': 15, '星球': 16, '星球 吞': 17, '是': 18, '是 一条': 19, '月': 20, '月 吞': 21}

该参数的意思是过滤掉一些词语,传入一个列表。

(6)参数:max_features:int

tfidf = TfidfVectorizer(token_pattern=r"(?u)\b\w+\b",ngram_range=(1,2),stop_words=['我','来','把','的'],max_features=10)

输出:{'了': 0, '吞': 1, '吞 了': 2, '天狗 呀': 3, '日来': 4, '日来 吞': 5, '星球': 6, '星球 吞': 7, '是': 8, '是 一条': 9}

该参数的意思是使用前多少个词语,传入一个整型。

5、优化结果

我们重新运行一下程序,使用我们之前存储大label.txt中的映射关系,同时使用默认的TfidfVectorizer()。

,结果如下:

              precision    recall  f1-score   support

           0       0.00      0.00      0.00         0
           1       0.44      0.97      0.60       461
          10       0.00      0.00      0.00         0
          11       0.00      0.00      0.00         0
          12       0.81      0.90      0.85      1104
          13       0.36      0.99      0.53       236
          14       0.00      0.00      0.00         0
          15       0.00      0.00      0.00         0
          16       1.00      0.44      0.61      3662
          17       0.00      0.00      0.00         0
          18       0.00      0.00      0.00         0
          19       0.00      0.00      0.00         0
           2       0.00      0.00      0.00         0
           3       0.87      0.90      0.88      1214
           4       0.00      0.00      0.00         0
           5       0.62      0.85      0.72       752
           6       0.96      0.81      0.88      1608
           7       0.00      0.00      0.00         0
           8       0.00      0.00      0.00         0
           9       0.86      0.81      0.83       795

    accuracy                           0.71      9832
   macro avg       0.30      0.33      0.30      9832
weighted avg       0.87      0.71      0.74      9832

接下来我们先读取停止词列表:

stopwords = []
with open("/content/drive/My Drive/NLP/dataset/Fudan/stopwords.txt","r",encoding="utf-8") as fp:
  lines = fp.readlines()
  for line in lines:
    line = line.strip()
    stopwords.append(line)
print(stopwords)

部分结果:['$', '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', '?', '【', '】', '_', '“', '”', '、', '。', '《', '》', '一', '一些', '一何', '一切', '一则', '一方面', '一旦']

然后我们构建带参数的TfidfVectorizer():代码如下:

from sklearn.feature_extraction.text import TfidfVectorizer
tfidf_model2 = TfidfVectorizer(token_pattern=r"(?u)\b\w+\b",ngram_range=(1,2),stop_words=stopwords,max_features=40000)
sparse_result2 = tfidf_model2.fit_transform(train_data)     # 得到tf-idf矩阵,稀疏矩阵表示法
test_sparse_result2 = tfidf_model2.transform(test_data) 
mnb_count2 = MultinomialNB()
mnb_count2.fit(sparse_result2, train_label)   # 学习
mnb_count_y_predict2 = mnb_count2.predict(test_sparse_result2)   # 预测
classification_report(mnb_count_y_predict2, test_label)

结果:

              precision    recall  f1-score   support

           0       0.00      0.00      0.00         0
           1       0.82      0.88      0.85       958
          10       0.00      0.00      0.00         0
          11       0.00      0.00      0.00         0
          12       0.89      0.91      0.90      1190
          13       0.59      0.98      0.73       384
          14       0.00      0.00      0.00         0
          15       0.00      0.00      0.00         0
          16       0.95      0.76      0.84      2019
          17       0.00      0.00      0.00         0
          18       0.00      0.00      0.00         0
          19       0.21      0.96      0.35       103
           2       0.00      0.00      0.00         0
           3       0.94      0.76      0.84      1545
           4       0.00      0.00      0.00         0
           5       0.89      0.77      0.83      1184
           6       0.97      0.85      0.91      1548
           7       0.00      0.00      0.00         0
           8       0.00      0.00      0.00         0
           9       0.92      0.75      0.83       901

    accuracy                           0.82      9832
   macro avg       0.36      0.38      0.35      9832
weighted avg       0.90      0.82      0.85      9832

确实是有很大的提升,至此,本文就结束了,接下来准备捣鼓捣鼓词嵌入以及深度学习的一些网络啦。

 

参考:

https://blog.csdn.net/blmoistawinde/article/details/80816179

https://blog.csdn.net/yuyanyanyanyanyu/article/details/84026485

相关 [利用 tfidfvectorizer 中文] 推荐:

利用TfidfVectorizer进行中文文本分类(数据集是复旦中文语料) - 西西嘛呦 - 博客园

- -
其中train存放的是训练集,answer存放的是测试集,具体看下train中的文件:. 下面有20个文件夹,对应着20个类,我们继续看下其中的文件,以C3-Art为例:. 每一篇都对应着一个txt文件,编码格式是gb18030.utf8文件夹下的是utf-8编码格式的txt文件. 其中C3-Art0001.txt的部分内容如下:.

一种利用ngram模型来消除歧义的中文分词方法

- - 杨尚川的个人页面
这里的 歧义是指:同样的一句话,可能有两种或者更多的切分方法,这些切分结果,有的正确,有的不正确. 消除歧义的目的就是从切分结果中挑选切分正确的. 假设我们要切分句子:结婚的和尚未结婚的,使用 逆向最大匹配和 正向最大匹配算法的结果如下:. 逆向最大匹配:[结婚, 的, 和, 尚未, 结婚, 的] 正向最大匹配:[结婚, 的, 和尚, 未结, 婚, 的].

Twitter 中文版

- 幻幽 or A書 - Gea-Suan Lin's BLOG
前幾天 Twitter 推出了中文版 (包括繁體與簡體):「Five new languages」. 對岸的市場可能還是進不去,但在台灣會加速 Plurk 的死亡… 從 Google+ 的出現以後就愈來愈明顯了,現在 Microblogging 的大魔頭再加入戰局,應該會更快….

利用sockstunnel翻越

- - 0.618網絡空間
首先在你的linux vps上搭建python環境(一般來說,linux vps都已搭好了python 環境). 然後運行如下命令(假設你在/root下):. 這樣在/root/下,就生成了privkey.pem和cacert.pem. 修改sslserver.py裏的. keyfile="privkey.pem",為.

《Modern Perl》中文版

- Krevy - LinuxTOY
《Modern Perl》是由 chromatic 所著的一本 Perl 新书. 该书对 Perl 5 的特性进行了精彩的总结, 介绍 Perl 的惯用法,不错的 CPAN 模块,以及一些非常实用的建议. 总之,《Modern Perl》将教你使用 Modern 方法来进行 Perl 5 编程. 感谢 horus,现在我们可以读到《Modern Perl》的中文版.

老外学中文

- 俊超 - 爱胡扯

flyway中文教程

- - 研发管理 - ITeye博客
前言:最近工作上遇到个问题,项目开发过程中,开发代码可以通过svn来版本控制,但数据库又该如何来管理呢. 多个人接触数据库,当对表、字段或数据修改后,又怎么来同步呢. 经过苦寻,发现了个叫flyway的开源项目:http://flywaydb.org/,java编写,官方的介绍就是我的初衷,岂能不心动.

Twitter Bootstrap 中文帮助文档/中文手册/中文教程

- - 博客园_梦想天空
   Bootstrap 是基于 HTML,CSS,JavaScript 的简洁灵活的流行前端框架及交互组件集,由微博的先驱 Twitter 在2011年8月开源的整套前端解决解决方案. Bootstrap 有非常完备和详尽的使用帮助文档,热心的 @TV来客开发者 翻译成了中文,讨厌英文的朋友有福了.

转角的空间利用

- Ivy - IDSOO
拐角的空间如果不充分利用似乎有一些浪费. 日本的设计工作室Torafu Architects设计的这个隔板巧妙地利用了拐角,搭建了一个可以放置物品的平台,设计实用、美观、大方.

旧灯泡的再利用

- Jimmy - 微奇生活
生活水平提高了,家家户户也用上了节能灯,那些废旧的白炽灯泡如何利用呢. 看看下面这些妙点子吧,可以种盆栽,做工艺品,还能用来养金鱼~~灯泡还会跳舞呢. 简洁的线圈灯:Coil Lamp. 微博:@新浪 | @腾讯     订阅:Google | 九点 | QQ | 鲜果 | 有道 | 邮箱.