近年は、データを根拠とした意思決定やマーケティングが主流となっています。しかし、データを根拠として適切な行動をとるには、そのデータ自体が信頼できるものでなくてはなりません。そのため、データの品質を管理・維持し続けることが重要です。
今回は、データ品質の概要と評価項目、データ品質を向上させるポイントなどを解説します。
データ品質とは
データ品質とは、データを利用する目的に適しており、正確性、完全性、一貫性、最新性などの要素に基づいて高い基準を満たしている状態のことを指します。 つまり、データ品質が高いということは、データが正確であり、使いやすく、ビジネス上の意思決定や活動において信頼性を持って活用できる状態を指します。
なお、データ品質と似た言葉に「データマネジメント」があります。データマネジメントとは、データの収集・蓄積・活用・運用を一元管理して、新たな戦略構築や社内の業務効率化などにつなげる取り組みのことです。
質の高いデータとは
一般的には、次のような条件を満たしているデータが「質の高いデータ」と呼ばれます。
- 正確なデータ
- 完全なデータ
- 一貫性のあるデータ
- 最新のデータ
データ品質を管理する重要性と管理を怠るリスク
質の高いデータを継続的に保有・取得するためには、データの収集だけでなく、データ品質の管理も重要です。
データ品質の管理を怠った場合、次のようなリスクが生じます。
・正しい現状分析やそれに基づく意思決定ができない
保有するデータが質の低いものであれば正しい現状分析ができません。結果として目的を達成することも困難となり、データ収集や分析にかけたコストや手間が無駄になってしまいます。
・取引先や顧客からの評価が下がる
不正確なデータを用いて行った分析をもとに顧客へアプローチしてしまうと、信頼性を損ねてしまい、顧客からの評価が低下するおそれがあります。また、同じように質の低いデータを基にサービスや整品の開発が行われることで、顧客満足度の低下を招く場合もあります。
・作業効率の悪化やコストの増大
管理が不十分なデータのままであれば、スムーズなデータ活用ができなくなります。作業のたびに訂正や修正が必要になり、作業時間が増して業務効率が悪化するうえ、コストもふくらんでしまいます。
・コンプライアンス違反につながる可能性がある
データ活用においては個人情報保護法やプライバシーに関する規制は遵守しなければなりません。しかし、品質管理への意識が低いと、法令順守の徹底も図りにくくなります。結果的にデータの信頼性が下がり、コンプライアンス違反にもつながる可能性があります。
万が一コンプライアンス違反が生じれば、企業全体の社会的信用や評判が低下してしまいます。
データ品質の評価項目
データ品質について、統一された評価基準はまだありません。しかし日本では、政府が国際基準のひとつである「ISO/IEC 25012（データ品質の評価）」をベースに15種類の評価基準を提供しています。以下、簡単に解説します。
1．正確性（Accuracy）
データが正確であるかを評価します。具体的な評価項目は、データおよびその意味に誤りがないこと、書式や表記が正しいこと、誤字脱字がないことなどです。
2．完全性（Completeness）
データに抜けもれがなく完全であることを評価します。具体的な評価項目は、必要な項目が網羅されていること、必須項目に空欄が含まれていないことです。
3. 一貫性（Consistency）
データに整合性があり矛盾していないことを評価します。具体的な評価項目は、データセット内またはデータセット間で矛盾がないことです。
4. 信憑性（Credibility）
信頼できるデータであるかを評価します。具体的な評価項目は、データの出所や更新日が明示されていること、改ざんを予防していることです。
5. 最新性（Currentness）
データが十分に新しいかを評価します。具体的な評価項目は、公開データは適切なサイクルで更新されていること、収集時から公開までの期間が十分に短いこと、ファイル等で提供される場合は更新版の有無が確認できることです。
6. アクセシビリティ（Accessibility）
データが誰でも利用できるものになっているかを評価します。具体的な評価項目は、ファイルで提供される場合はアクセス権を持つすべての人が利用できること、ソフトウェアで提供される場合はISO/IEC40500に準拠していること、使用している文字セットが正しいことです。
7. 標準適合性（Compliance）
データが標準的なルールに適合しているかを評価します。具体的な評価項目は、データの書式、使用している文字セットが標準であること、指定された選択肢以外のデータが選択項目に入っていないことです。
8. 機密性（Confidentiality）
データに機密性が確保されているかを評価します。具体的な評価項目は、アクセス権の設定が適切であること、暗号化やハッキング対策などができていることです。
9. 効率性（Efficiency）
データが効率的に処理できているかを評価します。具体的な評価項目は、データが重複していないこと、データに一貫性があること、データを効率的に処理できること、コードを効果的に使用していることです。
10. 精度（Precision）
データが使用目的に応じた精度を確保できているかを評価します。具体的な評価項目は、データの精度が適正に設定されていること、データの精度が示されていること、データの精度がそろっていることです。
11. 追跡可能性（Traceability）
データに疑義が生じた際に原本を確認できるかを評価します。具体的な評価項目は、外部データが明確化されていること、データを変更する際に変更者、変更日を記録していることです。
12. 理解性（Understandability）
データの項目を正しく理解できるかを評価します。具体的な評価項目は、データ全体や各項目の意味が理解できるようになっていること、必要に応じてメタデータが提供されていること、適切に関連付けがされていることなどです。
13. 可用性（Availability）
必要なときに利用できるかを評価します。具体的な評価項目は、必要なときにいつでもアクセスできること、データを公開するシステムが常時稼働していることです。
14. 移植性（Portability）
データを簡単に移行できるかを評価します。具体的な評価項目は、標準的なフォーマットで出力およびエクスポートできることです。
15. 回復性（Recoverability）
トラブルの際に、データを早急に復元できるかを評価します。具体的な評価項目は、バックアップが保存されていること、障害が発生してもデータにアクセスできるバックアップシステムがあることです。
データ品質を向上させるステップとそのポイント
データ品質を向上させるための基本的なステップと、その取り組みを成功させるためのポイントを紹介します。
データ品質を向上させるステップ
1.要件定義、データ設計
まずはデータ収集の目的を決定します。目的を具体化し、どのようなデータが必要かを明確にすることで、データの正確性が高まりデータ品質の向上につながります。また、収集や分析に適したデータの形式も設計します。
2.データ品質にかかわるチーム結成・担当者の任命
データの品質管理や加工処理の担当を決定します。複数の部署に関連するシステムであれば、各部署にデータ管理の担当者（責任者）が必要です。
3.データクレンジング
データを整理して、重複や異常なデータ、破損したデータ、不正確なデータなどを排除します。また、データが複数ある場合はデータを統合して一貫性を確保し、データの正確性、信憑性を高めます。
4.データの継続的な管理とデータ品質に関する定期的なフィードバック
企業にとってデータ品質は常に高いものでなければならないため、データの収集・分析は継続的に行う必要があります。そのため、データ品質管理も定期的にフィードバックを受けるなど、データ品質向上と適切な管理に反映させることが重要です。
データ品質を向上させるポイント
データ品質を向上させるには、次のようなポイントを押さえることが必要です。
・データを使うニーズや目的を明確にする
必要なデータ品質は、目的に合わせて異なります。必要以上のデータ品質の追求はコスト増加につながるため、高品質のデータを収集・蓄積すること自体が目的にならないようにしなければなりません。
・データ標準やガイドラインを設定する
適切な品質のデータを収集・管理するためには、標準データやデータ品質のガイドラインを設定します。これにより、目的に応じた品質のデータを効率的に収集・管理することが可能です。
・データクレンジングツールを活用する
収集した大量のデータを手作業でクレンジングするのは容易ではありません。また、作業中には人的ミスも発生することが考えられます。そのため大量なデータを機械的にクレンジングしてくれるツールを活用しましょう。ただしデータクレンジングツールには専門的な知識が必要となるため、注意が必要です。
・外部パートナーに相談する
データ品質を向上させて維持するには、専門的な知識やノウハウが必要です。知見が不足する場合は、外部の専門家に相談することがおすすめです。なお、自社でのデータ収集が難しい場合は、信頼できる外部パートナーから高品質のデータを提供してもらうこともおすすめします。
正しい経営判断のためには質の高いデータが重要
ビジネスに関する意思決定では、経験則や直感だけでなく、客観的な根拠となるデータが不可欠です。しかし利用するデータの質が低い場合、正確な現状分析や意思決定ができず、ビジネスにも悪影響がおよぶ恐れがあります。つまりデータ品質の向上と維持は、企業にとって非常に重要です。しかし多くの企業では、自社だけでデータを収集し、データベースを構築するのは簡単ではありません。手間とコストをかけても、それに見合う成果が得られないこともあるでしょう。
そこでおすすめしたいのがNTTタウンページのタウンページデータベースです。タウンページデータベースは信頼性、高鮮度、高精度な企業情報を網羅、貴社の目的に合わせてご活用いただけます。品質の高いデータをお探しの際は、ぜひ一度ご相談ください。
2024年3月執筆
データベースにご関心やお悩みがございましたら、
ぜひお気軽にお問い合わせください。