“数据质量独立学习”安娜Mucci和杰夫•马丁博士、数学/统计部门

研究表明,数据分析不受控制的数据源进行增长的数量分析和社会的重要性。收集到的数据在进行分析之前必须有最少的错误。这多步骤的数据质量的过程被称为数据争吵。在这里,我们报告我们的工作有两个关键数据争论步骤,收集数据时数据验证,自动数据清洗。我们用R编程语言中包自动最小化,识别、和清洁中的差异数据。数据验证过程确保在收集数据时,数字数据在这种情况下,唯一只有数字数据收集的数据类型,消除符号或文字。我们使用R中的数据质量工具来帮助识别收集的数据的类型(文本、数字、日期等),确定独特的反应,一直在收集数据,确定一些数据存在差异,和修复这些差异。使用数据验证过程和自动化的数据清洗方法,我们可以减少错误或差异在数据收集的80 - 98%,确保我们收集的数据有足够的质量目标分析。