Bety Rodriguez-Milla作者吴金笛校对和中华翻译

手把手教你从有限的数据样本中发掘价值(附代码)

本文展示了当数据稀缺时,如何一步步进行分析从而得到一些见解。

[ 导读 ]本文是系列文章中的一篇,作者对滑铁卢地区的Freedom of Information Requests数据集进行探索分析,展示了在实践中拿到一批数据时(尤其像本文中的情况,数据很稀缺时),该如何一步步进行分析从而得到一些见解。作者的同事也对该数据集使用其他方法进行了分析,建议对NLP感兴趣的读者也一并阅读,将大有裨益

最近我碰到了滑铁卢地区的Open Data项目,连同它的Freedom of Information Requests数据集。我的同事Scott Jones已经在一系列文章中使用机器学习(ML)技术对其进行了分析。由于数据不足,ML表现不佳。虽然Scott做了在这种情况下应该做的事情,即寻找更多数据。尽管数据很稀缺,但我仍然很好奇这些数据还能告诉我什么。毕竟数据总是有价值的。

在进入这段8分钟的阅读旅程之前,我想说你可以在Github上找到Jupyter notebook里的所有代码和对这些数据的更多见解,由于内容太多,文章里无法一一介绍。如果你不想阅读notebook,可以在下面链接的相关文件中找到全部图形结果。

Github相关链接:

https://github.com/brodriguezmilla/foir

相关文件:

https://github.com/brodriguezmilla/foir/blob/master/foir_all_figures.pdf

接下来,我向你介绍其中几个分析的要点。

了解数据

我们使用pandas库来实现这一步,以下是Open Data中的文件之一: 

1999年的Freedom of Information Requests文件样本 我们有18个文件,从1999年至2016年每年一个,总共有576个请求(Requests),令人惊讶地是全部都有相同的六列。我们将只使用三个主要列,来源(Source),请求摘要(Summary_of_Request)和决策(Decision)。 

  • Source。 这是发出请求的实体,即请求者。 通过查看多年来的信息,能够将其合并为“Business”,“Individual”,“Individual by Agent”,“Media”,“Business by Agent”和“Individual for dependant”。

  • Summary_of_Request。 包含已由记录员编辑过的请求。

  • Decision。合并后的类别包括:“All information disclosed”,“Information disclosed in part”,“No records exist”,“Request withdrawn”,“Partly non-existent”,“No information disclosed”,“Transferred”,“Abandoned”, “Correction refused”,“Correction granted”,“No additional records exist”。

这些列的相互之间关系如何?

描述性统计和探索性数据分析

在本节中,我们将重点关注Source和Decision列。稍后我们将使用一些NLP工具分析这些请求。以下是数据的分布:

大约60%的请求是“All information disclosed”或“Information disclosed in part”。 至少有七种类型的决策少于25个实例,其中一个最重要的决策是“No information disclosed”。 因此,我们不仅数据量有限,而且还存在不平衡的情况。 对于机器学习来说这都不太好。

通过另一种数据视图,即Source 与 Decision的透视表,我们看到大多数请求都是由“Business”,“Individual”和“Individual by Agent”发起的。

将每个来源的数字进行处理,使每一行加起来等于1,我们看到主要的三个来源表现良好,因为“All information disclosed”每个都超过30%,“Information disclosed in part”则增加了18%至34%,甚至更多。 两者相加在50%以上。此外,“Individual by Agent”的成功率高于“Individual”。几乎没有请求的“Media”表现不佳,只有10%的请求被决策为“All information disclosed”。

自然语言处理(NLP)

现在我们继续分析Summary_of_Requests列。为此,我们转投自然语言处理库,例如NLTK和spaCy,以及scikit-learn的帮助。 

从广义上讲,在分析任何文本之前,需要做的步骤其实很少(参见Susan Li的帖子):

https://towardsdatascience.com/topic-modelling-in-python-with-nltk-and-gensim-4ef03213cd21

  • 对文本进行分词:将文本分解为单个特殊实体/单词,即token。

  • 删除任何不需要的字符,比如回车换行和标点符号,像' - ','...','“'等。

  • 删除网址或将其替换为某个单词,例如“URL”。

  • 删除网名或用某个单词替换“@”,例如“screen_name”。

  • 删除单词的大小写。

  • 删除少于等于n个字符的单词。在本例中,n = 3。

  • 删除停用词,即某种语言中含义不大的词。这些词可能无助于对我们的文本进行分类。例如“a”,“the”,“and”等词。但并没有一个通用的停用词列表。

  • 词形还原,它是将单词的变种形式归并在一起的过程,这样它们就可以作为单个词项进行分析,就可以通过单词的词目(lemma)或词典形式来识别。

因此,在编写了处理函数之后,我们可以对文本进行转换:

def prepare_text_tlc(the_text):

    text = clean_text(the_text)

    text = parse_text(text)

    tokens = tokenize(text)

    tokens = replace_urls(tokens)

    tokens = replace_screen_names(tokens)

    tokens = lemmatize_tokens(tokens)

    tokens = remove_short_strings(tokens, 3)

    tokens = remove_stop_words(tokens)

    tokens = remove_symbols(tokens)

    return tokens

由于我们会持续处理此文本,因此我们将预处理过的文本作为新列“Edited_Summary”添加到dataframe中。
N元语法(N-grams)和词云还能如何分析和可视化我们的文本呢?作为第一步,我们可以找到最常用的单词和短语,即我们可以获得一元语法(单个tokens)和 n元语法(n-tokens组)及它们在文本中的频率。 

def display_top_grams(gram, gram_length, num_grams):

    gram_counter = Counter(gram)

    if gram_length is 1:

        name = 'unigrams'

    elif gram_length is 2:

        name = 'bigrams'

    elif gram_length is 3:

        name = 'trigrams'

    else:

        name = str(gram_length) + '-grams'    

    print("No. of unique {0}: {1}".format(name, len(gram_counter)))

for grams in gram_counter.most_common(num_grams):

        print(grams)

    return None 

所以对于我们的一元语法:

并使用WordCloud:

那为什么“remove”这个词如此突出?事实证明,出于隐私原因,原始请求中写入的所有姓名,日期和位置都已删除,并在Open Data的文件中被替换为“{location removed}”或“{date removed}”等短语。这种替换共有30多种变体。 使用正则表达式(regEx)来清理文本,我们得到了一个更好的词云。这一次,我们也加入了二元语法。

看一下上面的词云和三元语法:

我们看到有一些常见的短语,例如“ontario works”,“environmental site”,“grand river transit”,“rabies control”,“public health inspection”和“food bear illness”(亦如'food borne illness ' – 还记得我们之前曾把tokens进行了词形还原)。 那么,这些短语在我们的文本中有多常见?包含这些短语的请求信息是否影响请求被批准的可能性?事实证明,46%的数据是那些类型的请求,这些短语没有一个得到“No information disclosed”的决策,并且有明显的趋势:

例如,“rabies control”约有95%披露了全部或部分信息,而5%被转移了。

对Summary_of_Request和Edited_Summary 列统计

我们已经知道现有数据量是有限的,但到底多有限呢?好吧,只有7个请求超过100个单词,而分词后只剩1个。平均每个请求有21个单词,而中位数为15,而分词后平均为9个单词,中位数为7。

词性(POS)标记

在这里,我们使用spaCy来识别该文本是如何由名词,动词,形容词等组成的。 我们还使用函数spacy.explain()来找出这些标记的含义。

full_text_nlp = nlp(full_text)    # spaCy nlp()

tags = [] 

for token in full_text_nlp:

    tags.append(token.tag_)

tags_df = pd.DataFrame(data=tags, columns=['Tags'])

print("Number of unique tag values:\

      {0}".format(tags_df['Tags'].nunique()))

print("Total number of words: {0}".format(len(tags_df['Tags'])))

# Make a dataframe out of unique values

tags_value_counts = tags_df['Tags'].value_counts(dropna=True,

                    sort=True)

tags_value_counts_df = tags_value_counts.rename_axis(

                       'Unique_Values').reset_index(name='Counts')

# And normalizing the count values

tags_value_counts_df['Normalized_Count'] = tags_value_counts_df['Counts'] / len(tags_df['Tags'])

uv_decoded = []

for val in tags_value_counts_df['Unique_Values']:

    uv_decoded.append(spacy.explain(val))

tags_value_counts_df['Decoded'] = uv_decoded

tags_value_counts_df.head(10)

同时将类别合并,例如“名词,单数或大量”和“名词,复数”,以形成更通用的版本,以下是这些请求的组成方式:

使用scikit-learn,Bokeh和t-SNE进行主题建模

在notebook中,我们使用不同的主题建模技术,包括scikit-learn的隐含狄利克雷分布(LDA)函数,潜在语义分析(LSA),并且用 CountVectorizer()和TfidfVectorizer()做对比,gensim的LDA,使用t-SNE用于降维,Bokeh和pyLDAvis用于可视化。 我们不会在此处附上完整代码,所以鼓励你去亲自查看完整的notebook。鉴于我们数据的局限性,所有工具都还表现得不错。下图是一个亮点:

几乎所有最常见的短语都在主题中出现了。正如预期的那样,一些主题是明确的,例如“ontario works”或“environmental site”,而其他聚类则不然。

机器学习

我们已经知道机器学习效果不会很好,但鉴于这是一个学习练习,我们仍然要试一下。在notebook中,我们比较了三种不同情况下的八种不同机器学习模型。我们无法按原样比较完整数据,因为某些情况只有极少数实例。例如,只有一个请求被“Correction granted”,因此当我们训练模型时,该情况将要么在训练集中,要么在测试集中。只有一个案例并不能提供一个良好的基础。我们的选择很少:

我们可以删除少于15个实例的请求,称之为“Over-15”。

我们将全部决议分成三个基本类别:

All information disclosed(加上“Correction granted”。)

Information disclosed in part(加上“Partly non-existent”。)

No information disclosed(加上' Transferred',' No records exist',' Correction refused',' No additional records exist',' Withdrawn'和' Abandoned'。)这会使我们的数据集更平衡。

我们可以删掉少于15个实例的请求,并且删掉没有实际结果的决策,即撤回或抛弃的情况,称之为“Independent”。

以下是结果:

总体而言,逻辑回归和多项式朴素贝叶斯分类器结合tf-idf给出了更好的结果。 对我们的类别进行分箱(binning)似乎是最合乎逻辑的方法。

可以在以下Github链接中找到代码和完整的结果:

Github链接:

https://github.com/brodriguezmilla/foi

原文标题:

When Data is Scarce… Ways to Extract Valuable Insights

原文链接:

https://towardsdatascience.com/when-data-is-scarce-ways-to-extract-valuable-insights-f73eca652009


THU数据派
THU数据派

THU数据派"基于清华,放眼世界",以扎实的理工功底闯荡“数据江湖”。发布全球大数据资讯,定期组织线下活动,分享前沿产业动态。了解清华大数据,敬请关注姐妹号“数据派THU”。

工程数据分析机器学习
6
相关数据
数据分析技术

数据分析是一类统计方法,其主要特点是多维性和描述性。有些几何方法有助于揭示不同的数据之间存在的关系,并绘制出统计信息图,以更简洁的解释这些数据中包含的主要信息。其他一些用于收集数据,以便弄清哪些是同质的,从而更好地了解数据。 数据分析可以处理大量数据,并确定这些数据最有用的部分。

逻辑回归技术

逻辑回归(英语:Logistic regression 或logit regression),即逻辑模型(英语:Logit model,也译作“评定模型”、“分类评定模型”)是离散选择法模型之一,属于多重变量分析范畴,是社会学、生物统计学、临床、数量心理学、计量经济学、市场营销等统计实证分析的常用方法。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

潜在语义分析技术

潜在语义分析(LSA)是自然语言处理中的一种技术,特别是在分布式语义学中。传统的语义学通常研究字、词的含义以及词与词之间的关系,如同义,近义,反义等等。潜在语义分析探讨的是隐藏在字词背后的某种关系,这种关系不是以词典上的定义为基础,而是以字词的使用环境作为最基本的参考。这种思想来自于心理语言学家。他们认为,世界上数以百计的语言都应该有一种共同的简单的机制,使得任何人只要是在某种特定的语言环境下长大都能掌握那种语言。在这种思想的指导下,人们找到了一种简单的数学模型,这种模型的输入是由任何一种语言书写的文献构成的文库,输出是该语言的字、词的一种数学表达(向量)。字、词之间的关系乃至任何文章片断之间的含义的比较就由这种向量之间的运算产生。值接近1代表相似的单词,而值接近0代表非常不相似的单词。这项技术在信息检索中,被称作潜在语义索引(LSI)。

朴素贝叶斯技术

朴素贝叶斯是一种构建分类器的简单方法。该分类器模型会给问题实例分配用特征值表示的类标签,类标签取自有限集合。它不是训练这种分类器的单一算法,而是一系列基于相同原理的算法:所有朴素贝叶斯分类器都假定样本每个特征与其他特征都不相关。举个例子,如果一种水果其具有红,圆,直径大概3英寸等特征,该水果可以被判定为是苹果。尽管这些特征相互依赖或者有些特征由其他特征决定,然而朴素贝叶斯分类器认为这些属性在判定该水果是否为苹果的概率分布上独立的。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

降维技术

降维算法是将 p+1 个系数的问题简化为 M+1 个系数的问题,其中 M<p。算法执行包括计算变量的 M 个不同线性组合或投射(projection)。然后这 M 个投射作为预测器通过最小二乘法拟合一个线性回归模型。两个主要的方法是主成分回归(principal component regression)和偏最小二乘法(partial least squares)。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

隐含狄利克雷分布技术

隐含狄利克雷分布简称LDA(Latent Dirichlet allocation),是一种主题模型,它可以将文档集中每篇文档的主题按照概率分布的形式给出。同时它是一种无监督学习算法,在训练时不需要手工标注的训练集,需要的仅仅是文档集以及指定主题的数量k即可。此外LDA的另一个优点则是,对于每一个主题均可找出一些词语来描述它。LDA首先由Blei, David M.、吴恩达和Jordan, Michael I于2003年提出,目前在文本挖掘领域包括文本主题识别、文本分类以及文本相似度计算方面都有应用。

聚类技术

将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合,这些对象与同一个簇中的对象彼此相似,与其他簇中的对象相异。“物以类聚,人以群分”,在自然科学和社会科学中,存在着大量的分类问题。聚类分析又称群分析,它是研究(样品或指标)分类问题的一种统计分析方法。聚类分析起源于分类学,但是聚类不等于分类。聚类与分类的不同在于,聚类所要求划分的类是未知的。聚类分析内容非常丰富,有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。

暂无评论
暂无评论~