この記事は機械翻訳されました。
収集された情報を調べ、データプロファイリングでエラー、矛盾、および機会を見つけます。
自分の目だけに頼らないでください。大規模な情報検査を行い、活用できるインサイトを提供するデータプロファイリング企業と提携してください。
データプロファイリングの意味をより深く掘り下げて、これをツールキットに追加すべきアプローチかどうかを判断できるようにしましょう。
データプロファイリングとは
多くの企業が情報を収集しています。実際、90%以上の企業が、ビッグデータソリューションへの支出を年々増やしていると述べています。しかし、データ主導の文化を築いているのは、そのうちの72%にすぎません。エラーと機会損失が原因です。データプロファイリングでこれらの問題を解決します。
データプロファイリングとは、デジタルツールを使用して情報を分析し、以下を行うことです。
- 検証：テーブル内のデータが記述と一致していることを確認してください。
- Reveal. 異なるソース、データセット、テーブル間の関係を検出します。
- 正解です。明確なつながりを妨げる入力の矛盾（数字の表記ゆれなど）を見つけ出してください。
- Parse. クレンジングされたデータから情報を抽出し、レポートやプレゼンテーションをより魅力的にしましょう。
データプロファイリングは、ディスカバリーから始まります。3つのタイプが存在します。
- 内容: Null値、不正確な値、または何らかの点で異常な値を特定します。各データレコードに個別にアクセスします。
- 関連性：情報のつながりや交差する場所について説明します。調査結果を利用して、効率的なデータの再利用を可能にします。
- 構造：データが正しくフォーマットされ、一貫して入力されていることを確認してください。
データプロファイリングは、家の掃除のようなものです。各ファイルはエラーの潜在的な原因です。あなたの仕事は、物事を整理しておくのに役立ちます。
データプロファイリングはどのように機能しますか？
全企業の約4分の1が、エンドユーザーにとってビッグデータにアクセスできるようにできていません。もしあなたが何百（あるいは何千）ものソースから情報を収集しているにもかかわらず、それをチェック、クリーニング、または調整していないのであれば、あなたもこのグループの一員かもしれません。
以下のような、実績のあるデータプロファイリング手法を1つ（または複数）使用します。
- 列プロファイリング。テーブルをスキャンして、パターンと矛盾を見つけます。複数の列を比較して、矛盾点や依存関係を洗い出します。
- データ分析フィールド間の関係を特定し、入力が重複しているか、一致しない場合は、接続を排除または調整します。
- データルール検証。データの収集および記録方法を指示する確固たるアウトラインを作成します。
- パターンマッチングテーブルとデータセットの有効な形式を見つけてください。
- テーブルプロファイリング。欠落しているレコードや孤立しているレコードを特定します。列がどのように交差し、データを複製するかを調べます。
データのクリーンアップは非常に重要です。Syncari（データプロファイリングツールを提供する会社）は、不良データが企業に収益の15％の損害を与えると述べています。
しかし、手動でデータを確認することに気が引けるとしても、それはあなただけではありません。重要なデータの目視検査は、時間もかかり、非効率的です。代わりにソフトウェアプロバイダーをお試しください。
データウェアハウスに個人データは含まれていますか？この非常に特殊で特定な種類の情報に関する規則と規制の詳細については、当社のブログをご覧ください。
参考文献
企業はデータドリブンになるための努力に失敗しています。（2019年2月、ハーバード・ビジネス・レビュー
企業がビッグデータ分析で直面している最も一般的な問題。ビジネスインテリジェンス。
Bad Data（不適切なデータ）による壊滅的な損害とその行く末。(2019年11月)Syncari。
