IT瘾science推荐

七个用于数据科学(data science)的命令行工具

Wed, 01 Jan 2014 01:55:39 CST

数据科学是 OSEMN（和 awesome 相同发音），它包括获取(Obtaining)、整理(Scrubbing)、探索(Exploring)、建模(Modeling)和翻译(iNterpreting)数据。作为一名数据科学家，我用命令行的时间非常长，尤其是要获取、整理和探索数据的时候。而且我也不是唯一一个这样做的人。最近， Greg Reda介绍了可用于数据科学的经典命令行工具。在这之前，Seth Brown介绍了如何在Unix下进行探索性的数据分析。

下面我将介绍在我的日常工作中发现很有用的七个命令行工具。包括： jq、 json2csv、 csvkit、scrape、 xml2json、 sample 和 Rio。(我自己做的scrape、sample和Rio可以在这里拿到)。任何建议意见、问题甚至git上的拉取请求都非常欢迎(其他人建议的工具可以在最后找到)。好的，下面我们首先介绍jq。

1. jq – sed for JSON

JSON现在越来越流行，尤其当API盛行了以后。我还记得处理JSON时，用grep和sed写着丑陋的代码。谢谢jq，终于可以不用写的这么丑了。

假设我们对2008总统大选的所有候选人感兴趣。纽约时报有一个关于竞选财务的API。让我们用curl取一些JSON:

curl -s 'http://api.nytimes.com/svc/elections/us/v3/finances/2008/president/totals.json?api-key=super-secret' > nyt.json

-s表示静默模式。然后我们用jq最简单的格式jq ‘.’，可以把得到的丑陋的代码

{"status":"OK","base_uri":"http://api.nytimes.com/svc/elections/us/v3/finances/2008/","cycle":2008,"copyright":"Copyright (c) 2013 The New York Times Company. All Rights Reserved.","results":[{"candidate_name":"Obama, Barack","name":"Barack Obama","party":"D",

转换成漂亮的格式：

< nyt.json jq '.' | head { "results": [ { "candidate_id": "P80003338", "date_coverage_from": "2007-01-01", "date_coverage_to": "2008-11-24", "candidate_name": "Obama, Barack", "name": "Barack Obama", "party": "D",

同时，jq还可以选取和过滤JSON数据：

< nyt.json jq -c '.results[] | {name, party, cash: .cash_on_hand} | select(.cash | tonumber > 1000000)' 
{"cash":"29911984.0","party":"D","name":"Barack Obama"}
{"cash":"32812513.75","party":"R","name":"John McCain"}
{"cash":"4428347.5","party":"D","name":"John Edwards"}

更多使用方法参见手册，但是不要指望jq能做所有事。Unix的哲学是写能做一件事并且做得好的程序，但是jq功能强大！下面就来介绍json2csv。

2. json2csv – 把JSON转换成CSV

虽然JSON适合交换数据，但是它不适合很多命令行工具。但是不用担心，用json2csv我们可以轻松把JSON转换成CSV。现在假设我们把数据存在million.json里，仅仅调用

< million.json json2csv -k name,party,cash

就可以把数据转换成：

Barack Obama,D,29911984.0
John McCain,R,32812513.75
John Edwards,D,4428347.5

有了CSV格式我们就可以用传统的如 cut -d 和 awk -F 一类的工具了。grep和sed没有这样的功能。因为CSV是以表格形式存储的，所以csvkit的作者开发了csvkit。

3. csvkit – 转换和使用CSV的套装

csvkit不只是一个程序，而是一套程序。因为大多数这类工具“期望”CSV数据有一个表头，所以我们在这里加一个。

echo name,party,cash | cat - million.csv > million-header.csv

我们可以用csvsort给候选人按竞选资金排序并展示：

< million-header.csv csvsort -rc cash | csvlook

|---------------+-------+--------------|
|  name         | party | cash         |
|---------------+-------+--------------|
|  John McCain  | R     | 32812513.75  |
|  Barack Obama | D     | 29911984.0   |
|  John Edwards | D     | 4428347.5    |
|---------------+-------+--------------|

看起来好像MySQL哈？说到数据库，我们可以把CSV写到sqlite数据库（很多其他的数据库也支持）里，用下列命令：

csvsql --db sqlite:///myfirst.db --insert million-header.csv
sqlite3 myfirst.db
sqlite> .schema million-header
CREATE TABLE "million-header" (
    name VARCHAR(12) NOT NULL, 
    party VARCHAR(1) NOT NULL, 
    cash FLOAT NOT NULL
);

插入后数据都会正确因为CSV里也有格式。此外，这个套装里还有其他有趣工具，如 in2csv、 csvgrep 和csvjoin。通过csvjson，数据甚至可以从csv转换会json。总之，你值得一看。

4. scrape – 用XPath和CSS选择器进行HTML信息提取的工具

JSON虽然很好，但是同时也有很多资源依然需要从HTML中获取。scrape就是一个Python脚本，包含了lxml和cssselect包，从而能选取特定HTML元素。维基百科上有个网页列出了所有国家的边界线语国土面积的比率，下面我们来把比率信息提取出来吧

curl -s 'http://en.wikipedia.org/wiki/List_of_countries_and_territories_by_border/area_ratio' | scrape -b -e 'table.wikitable > tr:not(:first-child)' | head
<!DOCTYPE html>
<html>
<body>
<tr>
<td>1</td>
<td>Vatican City</td>
<td>3.2</td>
<td>0.44</td>
<td>7.2727273</td>
</tr>

-b命令让scrape包含和标签，因为有时xml2json会需要它把HTML转换成JSON。

5. xml2json – 把XML转换成JSON

如名字所说，这工具就是把XML(HTML也是一种XML)转换成JSON的输出格式。因此，xml2json是连接scrape和jq之间的很好的桥梁。

curl -s 'http://en.wikipedia.org/wiki/List_of_countries_and_territories_by_border/area_ratio' | scrape -be 'table.wikitable > tr:not(:first-child)' | xml2json | jq -c '.html.body.tr[] | {country: .td[1][], border: .td[2][], surface: .td[3][], ratio: .td[4][]}' | head
{"ratio":"7.2727273","surface":"0.44","border":"3.2","country":"Vatican City"}
{"ratio":"2.2000000","surface":"2","border":"4.4","country":"Monaco"}
{"ratio":"0.6393443","surface":"61","border":"39","country":"San Marino"}
{"ratio":"0.4750000","surface":"160","border":"76","country":"Liechtenstein"}
{"ratio":"0.3000000","surface":"34","border":"10.2","country":"Sint Maarten (Netherlands)"}
{"ratio":"0.2570513","surface":"468","border":"120.3","country":"Andorra"}
{"ratio":"0.2000000","surface":"6","border":"1.2","country":"Gibraltar (United Kingdom)"}
{"ratio":"0.1888889","surface":"54","border":"10.2","country":"Saint Martin (France)"}
{"ratio":"0.1388244","surface":"2586","border":"359","country":"Luxembourg"}
{"ratio":"0.0749196","surface":"6220","border":"466","country":"Palestinian territories"}

当然JSON数据之后可以输入给json2csv。

6. sample – 用来debug

我写的第二个工具是sample。（它是依据bitly的 data_hacks写的，bitly还有好多其他工具值得一看。）当你处理大量数据时，debug管道非常尴尬。这时，sample就会很有用。这个工具有三个用处：

逐行展示数据的一部分。
给在输出时加入一些延时，当你的数据进来的时候有些延时，或者你输出太快看不清楚时用这个很方便。
限制程序运行的时间。

下面的例子展现了这三个功能：

seq 10000 | sample -r 20% -d 1000 -s 5 | jq '{number: .}'

这表示，每一行有20%的机会被给到jq，没两行之间有1000毫秒的延迟，5秒过后，sample会停止。这些选项都是可选的。为了避免不必要的计算，请尽早sample。当你debug玩之后你就可以把它移除了。

7. Rio – 在处理中加入R

这篇文章没有R就不完整。将R/Rscript加入处理不是很好理解，因为他们并没有标准化输入输出，因此，我加入了一个命令行工具脚本，这样就好理解了。

Rio这样工作：首先，给标准输入的CSV被转移到一个临时文件中，然后让R把它读进df中。之后，在-e中的命令被执行。最后，最后一个命令的输出被重定向到标准输出中。让我用一行命令展现这三个用法，对每个部分展现5个数字的总结：

curl -s 'https://raw.github.com/pydata/pandas/master/pandas/tests/data/iris.csv' > iris.csv
< iris.csv Rio -e 'summary(df)'
  SepalLength      SepalWidth     PetalLength      PetalWidth   
 Min.   :4.300   Min.   :2.000   Min.   :1.000   Min.   :0.100  
 1st Qu.:5.100   1st Qu.:2.800   1st Qu.:1.600   1st Qu.:0.300  
 Median :5.800   Median :3.000   Median :4.350   Median :1.300  
 Mean   :5.843   Mean   :3.054   Mean   :3.759   Mean   :1.199  
 3rd Qu.:6.400   3rd Qu.:3.300   3rd Qu.:5.100   3rd Qu.:1.800  
 Max.   :7.900   Max.   :4.400   Max.   :6.900   Max.   :2.500  
     Name          
 Length:150        
 Class :character  
 Mode  :character

如果加入了-s选项，sqldf包会被引入，这样CSV格式就会被输出，这可以让你之后用别的工具处理数据。

< iris.csv Rio -se 'sqldf("select * from df where df.SepalLength > 7.5")' | csvlook
|--------------+------------+-------------+------------+-----------------|
|  SepalLength | SepalWidth | PetalLength | PetalWidth | Name            |
|--------------+------------+-------------+------------+-----------------|
|  7.6         | 3          | 6.6         | 2.1        | Iris-virginica  |
|  7.7         | 3.8        | 6.7         | 2.2        | Iris-virginica  |
|  7.7         | 2.6        | 6.9         | 2.3        | Iris-virginica  |
|  7.7         | 2.8        | 6.7         | 2          | Iris-virginica  |
|  7.9         | 3.8        | 6.4         | 2          | Iris-virginica  |
|  7.7         | 3          | 6.1         | 2.3        | Iris-virginica  |
|--------------+------------+-------------+------------+-----------------|

如果你用-g选项，ggplot2会被引用，一个叫g得带有df的ggplot对象会被声明。如果最终输出是个ggplot对象，一个PNG将会被写到标准输出里。

< iris.csv Rio -ge 'g+geom_point(aes(x=SepalLength,y=SepalWidth,colour=Name))' > iris.png

我制作了这个工具，为了可以在命令行中充分利用R的力量。当然它有很多缺陷，但至少我们不需要再学习gnuplot了。

别人建议的命令行工具

下面是其他朋友通过twitter和hacker news推荐的工具，谢谢大家。

结论

我介绍了七个我日常用来处理数据的命令行工具。虽然每个工具各有所长，我经常是将它们与传统工具（如grep, sed, 和awk）一起使用。将小工具结合起来使用组成一个大的流水线，这就是其用处所在。

不知你们对这个列表有什么想法，你们平时喜欢用什么工具呢。如果你们也做了什么好玩的工具，欢迎将其加入数据科学工具包 data science toolbox。

如果你不认为自己能制作工具，也不用担心，下次当你写一个异乎寻常的命令行流水线时，记得将它放到一个文件里，加一个#!，加一些参数，改成可执行文件，你就做成一个工具啦~

虽然命令行工具的强大在获取、处理和探索数据时不容小觑，在真正的探索、建模和理解翻译数据时，你还是最好在科学计算环境下进行。比如 R或者 IPython notebook+ pandas。

如果感兴趣，欢迎 follow me on Twitter。

七个用于数据科学(data science)的命令行工具，首发于博客 - 伯乐在线。

科学家从真空中创造光

Sun, 20 Nov 2011 21:54:00 CST

卡尔莫斯理工大学科学家成功从真空中创造光——物理学家40多年前预言了这一效应，科学家现在首次实际观测到。研究报告发表在最新一期的《自然》期刊上。根据一则重要的量子力学原理，真空并不是没有任何东西。事实上，真空充满了各种粒子，它们会连续不断的出现和消失。它们会短暂的存在一会儿，然后突然不见。由于存在的时间是如此短暂，因此它们被称为虚拟粒子。科学家Christopher Wilson和同事成功的将光子脱离虚拟状态，转变成真正的光子。这种现象被称为动态卡西米尔效应(Casimir effect)，这项试验加深了我们对基本物理学概念如真空起伏的理解。真空起伏被认为可能与暗能量有关系。

人造肉时代即将到来

Sun, 13 Nov 2011 20:00:00 CST

过去的十年中，很多人都发现吃饭需要考虑越来越多的道德问题，如素食主义、素食、有机、生长激素和转基因等名词已成为日常生活的一部分。现在，名单上将增加一种新类别——人造肉，它是利用培养皿培养出的肉类，不是来自不道德的动物宰杀。路透社报导，人造肉的研究取得了新突破，专家认为这将可以拯救无数动物，同时能保护环境，节省大量的土地、水和能量。但问题是，它一点也不便宜。实验室培育出的汉堡将需要花费25万欧元，领导研究的荷兰Maastricht大学生物学家Mark Post希望能尽快推出。人造肉是利用了取自屠宰场的动物干细胞，加入糖、氨基酸、脂、矿物质等营养物质培育而成。到目前为止，Post已经能生产出约2.5厘米长不到1厘米宽的类肌肉白色透明长片，将3000个这样的长肉片堆起来，就创造出了世界上第一块人造肉汉堡。Post承认他没有品尝过自己创造的人造肉，但其他人吃过后称味道不太好。

我们为什么要向别人倾诉自己的情感和感受

Sat, 19 May 2012 19:42:00 CST

哈佛大学神经学家在PNAS上发表了一篇论文，探讨了自我表现的内在意义。在日常生活中，我们30–40%的谈话内容是关于自己的主观体验。为什么我们要向别人倾诉自己的感受和想法？为什么我们愿意在Twitter上发帖？研究人员利用脑成像发现，与他人分享想法时，脑细胞和脑突触层面的活动会让我们产生非常强烈的满足感，让我们情不自禁地去这么做。在自我表现行为发生的同时，隶属中脑边缘多巴胺神经系统的大脑区域的活动往往会突然增强。该系统与性、食物或金钱带来的成就感和满足感存在关联。

快乐遗传学：亚洲人最不快乐？

Wed, 19 Oct 2011 19:18:00 CST

《经济学人》说，快乐铭刻在你的DNA中，不同的种族有不同的快乐倾向。人们常说，人生是一张白纸，经验是书写者。然而，过去二十年的研究让这一说法灰飞烟灭。通过比较同卵双胞胎和异卵双胞胎，科学家建立了人类各种行为的遗传可能性。最近的研究认为，快乐具有高可遗传性。来自伦敦大学学院、加州圣迭戈、哈佛医学院和苏黎世大学的科学家检查了一千多对双胞胎，他们得出结论，人类快乐中三分之一的变异是被继承的。伦敦大学学院研究员Jan-Emmanuel De Neve选择了一个最受怀疑的对象——编码5-烃色胺转运体蛋白质的基因(5-HTT)，检查5-HTT基因变异如何影响快乐程度。5-HTT基因有两个功能性变体——一长一短，人类携带了每个基因的两个版本（等位基因），分别来自父母。在分析了2500多名健康调查参与者的遗传数据之后，De Neve发现，携带一个长等位基因的人形容自己生活满足的可能性比没有长等位基因的人高8%，携带有两个长等位基因的人则高17%。有趣的是，亚裔美国人平均有0.69个长等位基因，白人1.12个，黑人1.47个。基因是否在人类心理健康上扮演重要作用长期以来备受怀疑，这项研究首次表明基因如何塑造个人的快乐程度（PDF）。

498DPI解析度, TMD神技登場

Thu, 20 Oct 2011 17:18:00 CST

東芝(Toshiba)的顯示器公司TMD(Toshiba Mobile Display)今天(2011/10/20)發布他們將在橫濱光電展展出超高解析度LCD面板.

這面板是6.1寸大小, 解析度是比Full HD(1,920x1,080)還要來的高的2,560x1,600高解析度, 更令人驚訝的是居然是製作在6.1"大小的面板, 也就是說在一平方英吋裡要塞進498個完整像素(498dpi), 這是多麼精密的技術. 官方提供一張解析度成像的比對照片, 可以看的出來498DPI的文字呈現幾乎與筆寫出來的沒兩樣.

這技術就是使用我們之前介紹過的LTPS(low-temperature poly-silicon)低溫多晶矽技術所製造的TFTLCD, 但可惜的是NTSC只有達61%, 想必是因為高DPI造成穿透率不佳, 所以若加上高飽和度的色阻後會讓發光效率更低.

我想這麼高解析度的面板已經遠遠超越人眼可辨識的水準(未來的視網膜體驗), 看來實用性不高, 但是以技術宣示性是相當不錯的. 下面是TMD提供的新聞稿給大家參考一下
==
(More......)

猴子通过大脑控制虚拟义肢

Thu, 06 Oct 2011 20:00:00 CST

杜克大学神经学家Miguel Nicolelis和他的团队创造了一个脑机接口的虚拟版，然后在猴子大脑上植入两组微电极，一组位于运动控制中心，一组位于处理左手触摸感觉的躯体感觉皮层。他们让猴子去控制电脑显示屏上的虚拟猴子，用手触摸有不同质感的虚拟圆盘。报告发表在最新一期的《自然》杂志上。研究人员发现，仅仅只经过四次训练猴子就能正确区分虚拟圆盘的不同质地。即使改变了圆盘在屏幕上的次序，结果也不会发生改变。Nicolelis说，猴子自身的触感并没有受到的影响，“大脑创造了第六感”。为义肢开发触摸反馈系统的神经学家Sliman Bensmaia表示，现有的机器义肢都忽视了触摸的重要性，他认为感觉反馈对做任何事都至关重要。他说新研究只是刚刚起步，质地只是手臂接收到的输入信号之一。

相对论或能解释为什么中微子速度比光快

Fri, 07 Oct 2011 14:00:00 CST

两周前，CERN的物理学家宣布OPERA试验发现中微子传播速度超过光速，而爱因斯坦的狭义相对论认为，宇宙中任何东西都不可能超越真空中的光速。这一发现与狭义相对论冲突，但广义相对论却可能解释背后的原因。发表在预印本网站arXiv上的一篇独立分析认为，OPERA实验没有考虑地球引力场对瑞士日内瓦CERN中微子发射源和意大利OPERA探测器之间的影响。根据广义相对论，引力能扭曲时间，这一效应可以解释为什么中微子比光速快60纳秒。OPERA团队正在对其进行评估。

物理学家首次局域化三维物质波

Sun, 09 Oct 2011 16:24:00 CST

伊利诺斯大学的物理学家首次用实验演示了三维传导是如何受到材料缺陷影响的。理解这些影响对电子应用至关重要。Brian DeMarco教授领导的团队首次实现了完全局域化三维量子物质波。报告发表在最新一期《科学》杂志上。材料不可避免会存在缺陷和杂质，但科学家对它们的影响却所知不多。安德森局域化理论认为，电子在传导时会被这些杂质散射，多重散射波则发生互相干扰，结果能导致电子的运动停止，金属的导电性消失，呈现出绝缘体的性质。强干扰能让物质波陷入在一个地方，但这一理论推测从未观察到。DeMarco的团队利用超冷原子和激光模拟安德森局域化，演示激光能完全局域化原子，这是首次直接观察到物质的三维安德森局域化。

和虚拟生物学家一起做研究

Sun, 16 Oct 2011 11:28:00 CST

研究人员创造出名叫Eureqa的自动生物研究系统，能通过分析原始数据发现科学理论，用于解决复杂的，高计算量的生物问题。报告发表在《物理生物学》期刊上。 Eureqa最早的成就是通过分析双摆运动发现基本的运动法则，它在个人电脑上运行几小时后得到了牛顿爵士几百年前的结论。随后，研究人员开始应用Eureqa去分析生物问题，因为生物学理论与快速增长的数据之间存在巨大的缺口。他们选择已被广泛研究过的生物控制系统糖酵解振荡去测试软件。研究人员根据数学模型生成一个数据集，再人为加上10%的随机误差，让Eureqa去分析，结果它产生了几乎相同的方程式。科学家称，这太神奇了，软件唯一一个提前知道的知识是加减乘除。

科学家终于搞清楚为什么水和油不能混合

Fri, 14 Oct 2011 19:00:00 CST

人人都知道水和油不能混合。这是一个简单的概念，然而离奇的是，化学的基本理论认为没有理由油和水不能混合，显然事实并非如此。脂肪和水之间疏水性作用力是微生物机械学的关键。现在，加州大学圣巴巴拉分校的化学工程师给出了不能混合的解释，他们定义了一个测量疏水性化合物的方程式。自1980年代开始研究这一主题的Jacob Israelachvili教授认为，这代表着一项重大突破。他说，根据范德华理论，脂肪和水不应该分离，表面活化物质不应该形成膜，没有已证明的理论能解释这些特别的疏水性作用力。

科学家研发出能自我复制的人工结构

Fri, 14 Oct 2011 13:56:00 CST

纽约大学的科学家开发出一种能自我复制的人工结构，潜在的可产生新型材料。研究报告发表在《自然》杂志上。在自然界，自我复制普遍存在于所有生物体中，但人工的自我复制充满着谜团。新的发现是广泛的自我复制的第一步。人工结构的种子由DNA双螺旋构成，可以像字母那样安排拼出特定单词，复制过程能保留字母序列和种子形状。

Narrative Science：让计算机像人一样写作

Wed, 12 Oct 2011 09:35:54 CST

人工智能技术或许比我们大多数人想象中来得更快。

如果说 Siri 企图在信息输入上有所突破，那么 Narrative Science 的努力方向就是更加拟人化的“输出”。过去，计算机“写作”技术只停留在利用庞大文本库所进行的简单拼凑。因此，生成的结果当然不尽如人意。

西北大学教授 Kristian Hammond 联手前 Double Click 管理团队的成员，Stuart Frankel 和西北大学计算机系和新闻系的精英们花费了两年时间在2010年共同研发出了新一代的智能写作软件 Narrative Science，将新闻报道和电脑工程进行了一次新世代的结合。

这个在学校实验室代号为“Stats Monkey”的项目，通过对给定主题的数据分析，会自动选择合适的写作角度，快速“写就”一篇具有标准新闻报道结构的文章。神奇的是，程序甚至可以根据不同的出版社特点用不同的行文风格“写作”。Narrative Science 最初被应用在即时报道西北大学棒球和垒球的比赛中。自此以后，Narrative Science 也被应用在财经报道等领域，包括 Forbes 等网站都已经开始与 Narrative Science 建立了合作伙伴关系。

Hammond 教授认为 Narrative Science 的特别之处就在于满足了人们倾向读故事的心理。在此之前，虽然计算机已经拥有了强大的运算能力，可以图形化复杂的数据，却依然不能根据数据以自然语言输出成一篇人性化的文章。而Narrative Science 就是为解决这个问题而设计的。当前，该程序的写作表现足以达到一位八年级学生的写作水平。

随着技术的持续完善，有业界专家大胆预测，类似计算机记者将在未来二十年内成为普利策（Pulitzer）新闻奖的有力竞争者。虽然 Hammond 教授始终在强调 Narrative Science 是在真正地进行“创作（Composition）” 而非生搬硬套，仍有相当部分人对此技术持保留态度。在这群人中（相当一部分是记者），主要认为再先进的计算机算法始终也无法模仿人类的感性流露，这项技术最终只能生成低质量的数据报告式的文章。

同时，自动化写作也让诸如 Google 等在线搜索公司产生隐忧。如果程序已经能自动生成如此高质量的“拟人化”文章，那么辨别在线垃圾内容的任务将会变得异常艰巨。华盛顿大学人工智能的专家 Oren Etzioni 在谈及这个问题时，毫无掩饰地将 Narrative Science 比作数字化装备竞赛中的核武器。而 Narrative Science 则表示，他们不会将此技术转让/部署到这些网站中。

最后，我们提供了两段文字，其中一段就是 Narrative Science 自动生成的，你能分辨出是哪一段吗？请在下面的留言中给出你的答案。

A： “Michigan held off Iowa for a 7-5 win on Saturday. The Hawkeyes (16-21) were unable to overcome a four-run sixth inning deficit. The Hawkeyes clawed back in the eighth inning, putting up one run.”

B：”The Iowa baseball team dropped the finale of a three-game series, 7-5, to Michigan Saturday afternoon. Despite the loss, Iowa won the series having picked up two wins in the twinbill at Ray Fisher Stadium Friday.”

李栋 (TonyL1sh)

成长于和互联网一起奔腾的时代。慎思，明辨，笃行。

所在地邮箱 Twitter 新浪微博

原创的新鲜趣味，@乐活制造，点击关注。

宇宙膨胀也许不需要暗能量

Thu, 27 Oct 2011 14:50:00 CST

今年的诺贝尔物理学奖授予了发现宇宙加速膨胀的物理学家，然而芬兰赫尔辛基大学物理学教授Arto Annila却质疑了这一结论，他认为超新星数据并没有显示(中文)宇宙正在加速膨胀，其报告发表在《皇家天文学月刊》上。 Annila认为，大爆炸标准模型只是一种数学模型，而不是宇宙演化现实。当超新星爆炸时，其能量以光子形态消失在宇宙中，而当我们观测到闪光时宇宙已变得更大，也因此更加稀薄。他争论说，超新星数据并无暗示宇宙正经历加速中的膨胀。他引用最小作用量原理解释，当光行进时，膨胀中宇宙的密度正在减少。当光从高能量密度区域朝低能量密度区域穿越时，根据最小作用量，光将藉由减少其动量来因应，它的波长将增加频率将减少。光的这些变化都根源于周围能量密度的变化。

“活化石”矛尾鱼成功繁衍

Wed, 26 Oct 2011 17:48:00 CST

矛尾鱼是教科书中“活化石”的一个典型例子，它属于矛尾鱼属，在数亿年前的泥盆纪十分常见，这种鱼类被认为早已灭绝了几百万年，但非洲渔民在1938年重新发现了矛尾鱼。现在，在非洲海岸和马达加斯加之间的岛屿附近，矛尾鱼数量出现了稳定增长。研究人员测序了23只矛尾鱼的线粒体基因组的遗传数据，显示出了丰富的基因多样性。研究人员认为，可能存在一个稳定的矛尾鱼繁殖种群。虽然“活化石”矛尾鱼成功繁衍，但其所生活的区域被指过度捕捞，它们仍然存在风险。

研究人员相信2012年底将确定上帝粒子是否存在

Mon, 31 Oct 2011 17:42:00 CST

欧洲粒子物理研究所（CERN）的大强子对撞机（LHC）在10月30日结束了寻找希格斯玻色子的质子对撞实验，本年度搜寻上帝粒子之路将划上句号。但物理学家相信，对撞将产生足够的数据，使他们能在2012年底决定上帝粒子是否存在。LHC CMS实验发言人Guido Tonelli说，他们正进入寻找希格斯粒子的丰收之年。粒子理论物理学家Adam Falkowski则说，如果找到希格斯玻色子，那么标准模型就没有什么需要理论学家修改的地方；如果没有找到，那时候新的世界大门将会敞开。

大脑将梦境视为真实

Fri, 28 Oct 2011 16:18:00 CST

当我们在梦乡中梦到跳舞或跳楼，大脑会产生与真实中跳舞相同的神经活动模式。报告发表在《当代生物学》期刊上。研究梦境是相当困难的，因为梦转瞬即逝。然而，做梦者可以训练做“清醒梦”——也就是睡眠状态中的人能保持部分意识清醒，拥有某种程度的在梦中控制运动的能力。马克斯·普朗克心理研究所的研究人员招募了一些会做“清醒梦”的志愿者，在他们做梦时扫描大脑活动。当进入到“清醒梦”中，他们会通过转动眼球通知研究人员，然后研究人员利用功能性核磁共振成像(fMRI)或红外光谱（NIRS）记录大脑活动。实验中，只有两名志愿者成功在噪声很响的仪器中进入清醒梦。fMRI和NIRS记录显示，梦中运动的活动模式和清醒时同一运动的大脑模式是相同的。研究人员指出，梦不仅仅代表着一种类似观影的视觉情景，整个身体也参与了做梦过程。

光可以拨微型机械开关

Mon, 24 Oct 2011 17:32:00 CST

仅仅利用光的微弱力量就能将纳米尺寸的机械开关从一边推到另一边。研究报告发表在《自然纳米技术》期刊上，这项技术未来有可能用于光计算机。耶鲁大学的Mahmood Bagheri和Hong Tang等人使用激光将能量送入由硅构成的微型桥，使其能在两个稳定构型之间移动。桥的大小为10微米长，500纳米宽，110纳米厚。桥在激光的压力下弯曲，就像拇指和食指之间被挤压的扑克牌。康奈尔大学光学物理学家Michal Lipson认为，这项研究未来可用于在光计算机内存中储存信息。

研究“证实”全球在变暖

Sun, 23 Oct 2011 17:00:00 CST

独立研究“伯克利地球项目（Berkeley Earth Project）”证实全球在变暖。项目负责人是加州大学物理学教授Richard Muller，得到了石油大亨科赫兄弟的资助，参与该项目的科学家包括了本年度的诺贝尔奖物理学奖得主Saul Perlmutter。研究人员仔细检查了全球4万个气象站的数据，用新的方法分析数据绘制出全球温度趋势图。他们刚刚公布了初步结果，显示自1950年以来，陆地平均温度增加了1摄氏度。他们发现全球温度与测量北大西洋表面温度的大西洋数十年振荡指数（AMO）变化基本相一致。研究人员认为，需要调查AMO循环是否与温度上升有关。但全球暖化是否是人为因素造成的结果，至今尚无定论。

一百多年前彗星以几百公里之差掠过地球

Tue, 18 Oct 2011 14:04:00 CST

对墨西哥一天文台的历史观察数据重新分析之后，墨西哥科学家声称地球在一百年前命大躲过了一场灭绝事件。研究报告发表在预印本网站arXiv.org上。 1883年8月12日和13日，萨卡特卡斯天文台的天文学家José Bonilla在一次非同寻常的观察中，计算出有450块物体掠过了太阳表面。这一事件的报告发表在1886年一期的《L'Astronomie》上，期刊编辑认为是望远镜前方的飞鸟、昆虫或灰尘导致的。现在，墨西哥国立自治大学Hector Manterola和同事给出了不同解释，他们认为Bonilla看到的是刚刚分解的彗星碎片。但至今为止人类还没有观察到如此大的彗星碎片近距离飞过太阳表面，因此研究人员认为彗星靠近的可能是地球。他们根据维度和位置计算出彗星距离地球大约在600公里到8000公里之间，可以说是千钧一发。如果撞击地球的话，彗星碎片会在两天内给地球带来3275次通古斯事件，极有可能酿成一次生物灭绝事件。

研究称通过语言可以发现病态人格

Mon, 17 Oct 2011 16:10:00 CST

文字是心灵的窗口。科学家发现，计算机文本分析能揭示病态杀手的语言选择模式。报告发表在《法律和心理学研究》上。康奈尔大学教授Jeff Hancock说，病态杀手使用的单词与他们的个性十分吻合——能反映出他们的自私，以及对犯罪本身的超然和不带感情。Hancock和同事分析了14位病态谋杀犯和38位未诊断出精神疾病的谋杀犯对犯罪细节的详细描述，使用语言模式分析工具Wmatrix(demo)进行计算机化转录分析。病态谋杀犯喜欢使用“because”，“since”和 “so that”等连词，暗示犯罪是为了完成某一目标而“不得不做的”，他们使用了更多与物理需求相关的名词如食物、性和金钱；而非病态谋杀犯使用了更多社交需求的名词如家庭、宗教和精神。病态杀手能从细节中透露出凶残本质，比如他们会详细的说明犯罪当天应该吃什么。他们也更喜欢用过去时态，表现出某种超脱。

科学家发现生命形体机制

Mon, 17 Oct 2011 13:42:00 CST

我们的手臂为什么是从躯体的中部生长出来？在胚胎中，椎骨、四肢、肋骨、尾骨...等都是在两天之内出现它们该出现的地方，就和瑞士手表一样精确。科学家一直想知道这一机制是如何工作的。现在，洛桑联邦理工学和日内瓦大学的研究人员解开了秘密。报告发表在最新一期《科学》期刊上。在胚胎发育期间，一切事都是井然有序的发生。它在48小时内从下至上一次一段的生长出来。科学家称之为胚胎的细分。细分的段数与椎骨的数量相一致。每隔一个半小时，一段建造完毕。颈椎、胸椎、腰椎和尾骨对应的基因在正确的时刻被激活。基因是如何做到如此完美的同步？研究人员认为DNA扮演了十分重要的角色。同源基因Hox参与了调节生命形体过程。在DNA链中，Hox基因是一个接着一个的呈线性排列，在两天中DNA链依次解开，每个Hox基因依次暴露，从而被转录去形成椎骨的一个片段。蛇的基因可能存在缺陷，导致系统无法关闭，最终“失去势头”。无脊椎动物如蠕虫和昆虫也都采用类似的形体建造机制。

LHC数据不支持超对称理论

Mon, 29 Aug 2011 15:48:00 CST

大强子对撞机（LHC）的科学家未能发现超对称粒子的证据。超对称是为了解决标准模型中的一大缺陷而于1970年代提出的，描述了费米子和玻色子之间的一种对称性，被认为有助于统一基本作用力，解释神秘的暗物质问题。如果超对称粒子存在，B介子的衰变将更频繁。但LHC Beauty(LHCb)的实验并没有观察到超对称粒子对B介子衰变的影响。LHC的三项实验未能发现超对称粒子的直接和非直接证据，这些都让超对称理论面临死亡的危险。伦敦帝国学院的Jordan Nash教授称，没有发现超对称证据的事实告诉我们，要么是我们的理解是不完整的，要么是它与我们原有想法存在差异，或者要么是它根本不存在。

用客观的方法测量疼痛

Thu, 15 Sep 2011 18:05:00 CST

疼痛是一种主观的感受，研究疼痛的科学家和诊断病人的医生都依赖于主观描述。现在，斯坦福大学的新研究朝着客观测量疼痛迈出了一步。他们结合功能性核磁共振（fMRI）和机器学习算法，去探测与疼痛有关的特定大脑活动模式。研究人员希望能扩展工具，使其能发现代表不同疼痛水平的大脑信号，并希望有朝一日能应用于临床实践、药物试验和疼痛研究。研究人员测试了16名志愿者，令志愿者产生疼痛或非疼痛炙热感觉，结果显示系统区分两种情况的正确率能达到81%，报告发表在PLoS ONE上。

科学家观测到暗物质的可能信号

Thu, 08 Sep 2011 09:32:00 CST

BBC报导，科学家观测到了更多暗物质的可能信号。暗物质被认为占宇宙总质量的23%。意大利暗物质搜索实验CRESST的低温粒子探测器观测到了67个可能是暗物质粒子产生的事件，暗物质粒子被称为大质量弱相互作用粒子（WIMP）。报告已经发表在arXiv.org上。CRESST团队称，他们在2009年到2011年之间发现了67个无法用其它理论解释的WIMP事件。他们探测到的暗物质粒子质量在15 GeV或25 GeV左右。他们的结果与其它的暗物质搜索实验如DAMA和Cogent观测到的信号相似，虽然科学家表示仍然存在不确定性，但结果让他们大受鼓舞。

中国科学家发现宇宙偏向某方向加速

Fri, 09 Sep 2011 10:54:00 CST

宇宙微波背景辐射已被发现存在各向异性，也就是各个方向上的温度变化不均匀。现在，中国科学院理论物理研究所的研究员蔡荣根和Zhong-Liang Tuo在arXiv.org上发表报告(PDF)称，他们发现宇宙的膨胀也存在各向异性，在某一方向上的扩张加速度更快(中文)。研究人员分析了557 个Type 1a 超新星的数据，发现宇宙的扩张似乎在北银河半球方向上被加速的更快。他们使用动态暗能量模型以及没有暗能量的标准模型来分析资料，发现这些模型都展现相似结果：他们发现最大加速方向位于北半球的模糊星座狐狸座。

让物质看起来透明

Wed, 07 Sep 2011 19:45:00 CST

当一束光照射在物质上，部分光会被反射，部分会被透射，部分会被吸收。选择光的颜色和物质，你可以设法让光被物质全部吸收。这听起来没什么特别，但如果你再向物质照射第二束光，两个光场在叠加后物质会呈透明状态。这就是所谓的“电磁诱导透明”，是一种奇特的量子现象。在最新一期的《科学》杂志上，研究人员报告，在正确的条件下，第二个光场不需要直接照射物质就能实现电磁诱导透明。

为什么某些地区人的平均IQ更高

Wed, 07 Sep 2011 14:36:00 CST

世界不同地区人的平均IQ存在差异，科学家对差异的原因争议不休，提出了许多不同的理论：有人认为主要原因是教育方面的差异；有人认为寒冷地区难以生存，因此进化偏爱于高IQ者；有人认为与人类起源之地撒哈拉以南非洲的距离有关，人类离开非洲的距离越远，他们遇到的环境挑战越大，因而演化出更高的智商以求生存。一项新的研究考虑了教育、财富、温度、与非洲的距离、传染病等因素的影响，发现对于预测国民平均IQ唯一有影响的因素是传染病。举例来说，感染肠道蠕虫的儿童智商较低，生活在疟疾感染较少地区的人平均智商高于其它地区。研究认为，人类的智商是可变的，减少传染病感染有利于智力发育。

研究发现人们对创新存在偏见

Tue, 06 Sep 2011 14:27:00 CST

研究人员发现了一个极其具有讽刺意味的结论：人们口里说要创新，但在实际中却拒绝创新。研究发现：创意的特点之一在其新颖性，但新东西会带来不确定性，因此会让大多数人感到不舒服；人们偏爱已经证明实用的方法；即使有客观证据证明创意的有效性，也无法激励人们接受创新；人们无法察觉到自身的反创新偏见，因此会干扰他们甄别创意的能力。研究显示，当人们口口声声说创意时，他们会同时将创意与负面单词如“呕吐”、“毒药”和“痛苦”联系起来。

解密大脑的自动聚焦机制

Mon, 10 Oct 2011 09:56:00 CST

人类的某些天赋被视为理所当然：我们能在瞬间聚焦一个目标，无论其距离远近。研究人员现在表示，他们正接近理解大脑是如何完成这一壮举的。报告发表在PNAS上。德州大学的心理学家Wilson Geisler和Johannes Burge开发出一种简单算法，能快速精确的估计一幅模糊图像的聚焦错误。研究人员说，要理解生物视觉系统如何避免使用数码相机所采用的重复猜测和检查方法，精确估计聚焦错误是关键。这项研究可能帮助加深理解近视是如何发展的，帮助工程师改进数码相机。为了清楚识别一个目标，人类和动物能本能的从模糊图像中提取出关键特征，判断距离，然后立即让眼睛聚焦到正确的焦距上。科学家并不知道这背后的机制，一些研究人员推测大脑使用了某种猜测和检查方法。Burge指出，这种搜索方法太慢，并不真实。