我们通常都听说数据质量问题可能会带来灾难性的后果。但对于 当今哪些数据质量问题困扰着数 数据团队来说,从金钱和成本的角度看,这又意味着什么呢?谁负责处理数据质量问题?为了弄清这些问题以及其他问题,我们进行了一项调查 民意调查 在 名调查受访者中,至少有 名来自中大型云数据仓库客户(每年花费超过 万美元),他们已经实施了某种形式的数据监控,无论是第三方的还是内部构建的。以下是我们注意到的一些重要模式。
上游变化是最常见的数据质量问题
的受访者告诉我们,上游变化是他们面临 波兰手机号码数据 的最常见的数据质量问题。当架构、数据类型和格式发生变化时,这可能会影响下游的所有数据并污染分析。如果上游变化没有正确传 创建清晰的行动流程 达给下游数据消费者,团队往往会发现问题。
为了解决这个问题,受访者建议采用自动化——例如,实施 自动化,用消费团队的审阅者标记涉及数据模型更改的 。他们还建议制定数据 ——即明确对数据框架和质量做出正式承诺的合同,并对违反合同的行为进行处罚。
在数据质量工作中,数据科学家占据重要地位
研究发现,“数据工程师”的职位现在和“数 据 印度手机号码 增长 据科学家”的职位一样受欢迎。“数据科学”曾多次荣登“最热门职业”榜单,但现在又有其他职位加入其中。他们是数据工程师(负责管理数据管道和数据质量)和数据分析师业务分析师(使用数据,通过构建仪表板或使用数据来推动业务决策。