二、大数据和区块链的融合
扰乱数据分析业务
马克·范·里梅纳
| 
| 大数据和区块链简介 |
大数据正在吞噬世界。慢慢地，我们开始看到这一大趋势的巨大影响。大数据为组织提供了改善产品、服务和运营的巨大可能性。
大数据也给消费者带来了巨大的挑战，围绕隐私、安全和所有权以及组织，包括不断变化的数据治理实践和行业参与者之间的数据共享。不应对这些挑战可能会削弱每个组织的竞争力，或者更糟，直接破坏我们的民主。
区块链为我们提供了一种改善组织如何应用大数据来保护消费者隐私和安全权利的方法。如果精心设计和编程，智能合约可以帮助毫不费力地共享数据，对共享者和接收者都有利。
通过使用自我主权身份，消费者可以恢复和管理他们的个人数据和他们在线生成的数据的所有权。为了让消费者使用区块链更好地控制他们的数据，他们需要接受使用公钥和私钥的教育。
我们生活在指数增长的时代，如果组织领导者想要在未来领导这些组织，他们应该调查大数据和区块链将如何影响他们的业务。
简介
大数据这个说法从 2001 年就有了。从那以后，可用的数据量呈指数级增长。与 2012 年相比，2017 年商业互联网协议流量增长了近两倍，并将继续以 21%的复合年增长率(CAGR)增长到 2021 年，而全球消费者互联网流量预计将在未来五年内以 24%的 CAGR 增长。 ^(102) 借助物联网，到 2025 年，全球总数据量将增长至每年 163 吉字节，比 2016 年增长 10 倍。到 2025 年，普通人几乎每 18 秒钟就要与一台联网设备互动一次，事实上，每一次移动、查询、购买、计划和交流都被数字化地记录下来，如此细微的细节，如果这个人不能控制对他或她的数字踪迹的访问，隐私将毫无意义，安全也将仍然不确定。 ^(104)
数据可用性的不断提高极大地改变了组织的战略、设计、文化和运营。 ^(105) 对于许多企业来说，最有可能创造竞争优势的途径是对大数据进行(高级)分析。 ^(106) 如今，大数据已经成为企业标准，数据分析是保持竞争力的先决条件。 ^(107) 大数据对组织的影响取决于收集的数据类型(结构化与非结构化)和应用的分析类型。 ^(108) 实践有几个层次，每个层次的复杂性和它们创造的价值都在增加:描述性分析、诊断性分析、预测性分析和规定性分析。
专家、顾问和研究人员告诉组织，从大数据中学习的最佳方法是集中所有可用数据，包括客户、产品和运营数据。因此，他们用运行大数据应用程序的数据湖取代了大型关系数据库，创造了一个每年价值超过 1000 亿美元的市场。 ^(109)
然而，大数据带来的问题和挑战对组织和消费者都很重要，如果我们希望在未来从中受益，就需要解决这些问题。 ^(110)
图 2-1 通过大数据和区块链的融合实现竞争优势
由 Mark van Rijmenam 于 2017 年创作，供本章使用。
组织面临的挑战
大型跨国组织跨越多个司法管辖区和地区，在这些地方，技术、基础设施、市场、客户需求和消费者保护法等变量各不相同。因此，每个业务部门通常会开发自己的数据基础设施解决方案，通常有自己的标准。各个业务部门可能会运营自己的数据湖，但是在跨湖共享数据方面存在技术问题。此外，不同的部门经常持有同一数据源的多个副本。组织如何知道哪个副本是主副本或最新副本？
跨公司共享数据更具挑战性。尽管 DataStreamX 和 DataMarket 等公司促进了全球信息交换，但与竞争对手共享数据通常是棘手的，即使这能带来实质性的好处。
除了在组织内部或跨行业共享数据之外，数据治理仍然是一个问题。
数据治理 指的是数据质量、元数据、数据访问、数据生命周期等原则。
数据原则 定义了业务用户应该如何管理和处理可用数据。
数据质量 是指数据的准确性、及时性、可信度和完整性。元数据(“关于数据的数据”)描述其他数据，并帮助我们有效地查找、理解和使用这些其他数据。 ^(111)
数据访问 决定了谁可以访问组织内的哪些数据。
数据生命周期 是关于我们如何随着时间的推移组织、存储和归档数据。如果我们不仔细和批判性地思考数据的长期使用，那么我们的组织可能会在以后使用这些数据时遇到问题。
当数据的出处(其来源)不清楚或不可破解时，部门、业务单位和组织可能会质疑数据的准确性或所有权。
最后，安全仍然是一个大问题。任何组织都可以被黑。消费者信用报告机构 Equifax 在 2017 年 6 月和 7 月曝光了约 1.43 亿美国人的个人数据，这是最近的一次，一些人认为这是非常可以预防的。到目前为止，Equifax 事件已经让该公司损失了 40 亿美元。该公司的首席执行官因黑客事件辞职，首席信息官和首席安全官也是如此。美国联邦贸易委员会、消费者金融保护局、证券交易委员会、几个州的总检察长以及英国和加拿大的其他机构已经开始调查，以确定黑客攻击是否确实是可以预防的，以及几位高管是否在公开他们所知的违规行为之前故意出售股票。 ^(114)
同样令人不安的是，2016 年 10 月，黑客因分布式拒绝服务(DDoS)攻击而夺取了大量不安全的物联网设备，导致网站大范围中断。这些连接的设备可以通过它们广为人知的默认密码被黑客攻击。 ^(115) 联网设备有多种漏洞。F-Secure 首席研究官 Mikko Hyppö nen 和芬兰赫尔辛基汉肯经济学院助理教授 Linus Nyman 表示，任何智能设备都是易受攻击的设备。 ^(116) 安全问题包括技术问题(软件过时、数据传输不安全等。)和人的问题(简单和默认密码，公共 Wi-Fi 等。). ^(117) 随着越来越多的设备连接到互联网并相互连接，如果没有安全解决方案，物联网将成为易受攻击的物联网。 ^(118) 如果一个组织的防火墙被攻破，它如何防止有价值的私有数据的传播？
大数据集使组织能够提高运营效率，但大数据用户如果想最大限度地降低风险，就必须克服重大挑战。想想 Skullcandy、卡特彼勒和 Avis Budget Group。
Skullcandy:提高决策敏捷性
耳机制造商 Skullcandy 应用大数据与其各个团队进行沟通。 ^(119) 原来，Skullcandy 用的是过时的商业情报；跟踪业绩指标(如预测和营销数据)的员工，尽管使用相同的信息，却不断得到不同的结果。由于数据超过 1 亿行，分布在多个源位置，Skullcandy 决定实施 Sisense 的统一解决方案:一个中央仪表盘和报告工具，以便团队可以评估他们的进度。
注意事项
集中式仪表板不能解决与数据质量和数据来源相关的问题，也不能验证数据是否可信。
大量数据源的集中化使其容易受到安全漏洞和黑客的攻击。
卡特彼勒:使用预测分析或维护
卡特彼勒应用预测性维护分析来降低运营成本。 ^(120) 该公司的海事部门为船舶和拖船船队运营商提供服务，并利用分析来发现节省燃料的方法，这是其客户利润的重要驱动因素。该公司使用其智能平台，该平台与 Pentaho 的分析平台和数据集成相结合，发现了冷藏集装箱能耗和燃料表读数之间的数据相关性，这两者都由船上的传感器监控。
将大数据和预测性分析维护相结合，有助于验证这些信息，并通过改变发电机功率输出来更好地预测最佳运行范围。这种策略每小时节省了 30 美元，随着时间的推移会产生很大的影响。例如，拥有 50 艘船只的船队全年运行半年(24 小时/天)，每年将节省 65 万美元以上。预测性维护分析有助于公司更好地为客户服务。
注意事项
这些传感器收集的数据有多可信？
任何人都可以编辑这个集中的数据库，以显示更有利的结果吗？
如果传感器数据存储在中央数据库中，它们的安全性如何？
与其他公司共享数据有多容易？
Avis Budget Group:利用详细的客户资料改善营销
详细、最新的客户档案数据对于有效的营销活动至关重要。汽车租赁公司 Avis Budget Group 使用大数据分析来加速其营销活动。它从其报告、租赁交易系统和在线交易中汇编的 4000 万客户记录中收集信息，以在连续的基础上比较产生一年的客户租金和利润预测。它还将数据融入客户体验，并关注客户的终身价值。 ^(121) 通过使用大数据，该公司能够提高其运营效率和联系策略。
注意事项
集中式客户数据对数据泄露高度敏感。
谁有权访问这些敏感的客户数据？
it 如何构建和存储数据以生成可靠的客户历史记录？
客户希望控制对其数据的访问，并重视他们的隐私。
消费者面临的挑战
我们社会日益增长的数据化造成了与消费者的紧张关系。越来越多的消费者认为隐私不再存在。像谷歌、脸书、微软和益百利这样的组织收集大量数据，在网络上提供个性化的广告、服务和产品。 ^(122) 不仅商业组织收集大量个人数据，政府也打算利用大数据来了解和控制其公民。越多的数据被链接、共享或出售给其他公司，侵犯消费者隐私的情况就越多。 ^(123) 因此，有一种趋势是将数据所有权和控制权归还给消费者，这将要求组织重新思考他们的大数据方法。
多年来，消费者一直将他们的数据交给公司，作为回报，公司提供免费服务，如电子邮件或社交媒体。这些公司根据他们要么接受要么放弃的服务条款来使用和滥用这些数据。例如，脸书允许学术研究人员在没有获得用户知情同意的情况下访问其数据。虽然消费者创造了数据，但大公司从中赚取了数十亿美元。大公司对数据所有权的集中控制对消费者有害，甚至可能威胁民主，正如我们在英国退出欧盟竞选和 2016 年美国大选期间看到的脸书的影响力。 ^(125) 消费者越来越要求更好地控制他们的数据，这可能会影响组织收集、存储和应用客户数据的方式。
区块链和大数据
幸运的是，解决消费者在当今大数据实践中遇到的问题的技术将解决公司面临的组织挑战。一些人认为，区块链将为价值做互联网为信息做的事情:在没有中介的情况下促进不可信的 P2P 交易。 ^(126) 区块链是一个分布式账本，上面记录的数据是不可变的、可验证的、可追溯的。
数据的这些新特征将帮助组织解决与数据共享、数据治理、数据来源、安全性、数据所有权以及消费者或客户隐私相关的问题。因此，大数据和区块链的融合将极大地影响组织应该如何处理大数据以及如何从中获得洞察力。这项研究探索了这些应用程序，并着眼于开发解决方案以确保数据来源、隐私、安全和数据所有权的初创公司。
澳大利亚电信如何将区块链应用于安全智能家居系统
物联网设备的激增及其被消费者采用带来了安全问题，例如识别交易的有效性和授权人的身份。 ^(127) 澳大利亚电信公司 Telstra 正在为消费者解决这个问题。该公司正在为其物联网智能家居产品组合试验生物识别安全和区块链技术。该公司正在使用这些技术来增强智能设备的安全性，借助区块链的体验式测试，并利用区块链初创公司的帮助。
Telstra 利用区块链解决技术问题
据澳大利亚电信首席安全专家凯瑟琳·罗宾斯(Katherine Robins)称，澳大利亚电信打算利用区块链来保护智能家居的物联网生态系统。为了做到这一点，它通过其 muru-D 加速器和 Telstra Ventures 与众多区块链初创企业合作，包括旨在简化区块链的使用以帮助保护用户身份的初创企业 Brontech。 ^(129) 该公司在各种分布式账本上测试了其物联网智能家居系统，如 Ripple、Apache Hyperledger 和 Ethereum，从而探索了将区块链技术应用于物联网的可行性，作为仅限于存储少量数据的设备的安全增强解决方案。 ^(130)
最初，测试仅限于 ADSL-T 网关路由器，但后来扩展到其他家用设备，包括开关和摄像头。 ^(131) 然而，随着物联网设备数量的增加，交易数量也会增加，跟上这些交易增加了计算需求，这可能会成为一项严峻的挑战。
此外，过多的流量会使物联网设备容易受到其他安全问题的影响，如 DDoS 攻击。这些攻击可以关闭整个企业服务器，并停止向数百万客户提供服务，正如我们在 2016 年 Mirai 未来组合 DDoS 攻击中看到的那样，这次攻击导致互联网大部分瘫痪。攻击发生后，超过 14，000 个互联网域名(约占 Dyn 客户的 8%)放弃了 Dyn 作为其 DNS 服务提供商的地位。 ^(132) 此外，验证设备固件所需的时间也会造成困难，尤其是在连接缺乏安全性或不一致的环境中，如农村地区或大型农场。
然而，Telstra 计划通过采用区块链技术在私有区块链上存储设备固件的加密哈希并减少验证交易所需的时间来缓解这些问题。 ^(133) 这一切之所以成为可能，是因为澳大利亚电信能够实时检测篡改并接收防篡改数据。此外，散列的用户生物特征数据被集成到私有区块链中，以改进用户识别和增强验证。
区块链给澳洲电信带来的好处
使用区块链来保护智能家居系统有几个好处，包括加快解决时间，这可以帮助公司更快地识别用户和验证交易。 ^(134) 这一点变得越来越重要，因为企业创建应用程序来增强客户对其产品和服务的便捷访问体验，这对于智能家居系统尤其重要。
Telstra 扩展了区块链技术所提供的安全性，并将其与生物特征(如声音和面部识别)相结合，这些特征加密存储在区块链上，使其不可改变、可验证和可追踪。 ^(135) 区块链的使用让物联网安全明显更高效、更划算。此外，额外的安全性有助于减少欺诈性交易，并减少对智能设备或网络的未经授权的访问。
随着物联网生态系统的增加，漏洞和交易也会增加。这使得加强安全措施以更快的速度验证交易和用户的有效性变得至关重要。澳大利亚电信使用区块链技术将进一步提高家庭智能设备的安全措施。这将增强客户体验，让消费者放心，知道他们的信息是安全的，并且他们可以控制对信息的访问。
数据共享
对于大多数组织来说，数据共享的重要性和优势是显而易见的，而且多年来一直如此。 ^(136) 组合各种内部和外部数据，即所谓的混合数据，为组织提供了额外的洞察力，可以使组织显著受益。 ^(137) 尽管由于不同的标准或格式，在地理上分散的业务单位之间共享数据可能具有挑战性，但与竞争对手共享数据几乎是不可能的。毕竟，我们为什么要与我们的竞争对手或像 Experian 这样的经纪人分享我们组织最有价值的资产之一呢？因此，组织需要一种准确、可靠和数据保留的技术来促进这种数据共享。
虽然现有的公司如 DataStreamX 或 DataMarket 提供了新颖的解决方案，但它们都没有提供共享可信和隐私数据的好处。然而，区块链使组织能够控制他们想要共享或出售的自己的数据，因为数据将保留在组织内。它使组织能够根据需要对数据进行分段，将每个数据段存储到保险库中，并完全控制谁可以访问这些保险库，由非对称加密和智能合约来管理。因此，康卡斯特有线电视公司(Comcast Cable)的广告总裁 Marcien Jenckes 表示，组织“永远不会提供任何你不能或你不想提供的东西，”该公司将于 2018 年发布数据共享解决方案。 ^(138)
由于使用了分散加密技术，康卡斯特开发的区块链解决方案比传统解决方案更安全，传统解决方案通常能够对数据进行逆向工程，以获取任何缺失的信息。康卡斯特正在与几个组织合作，包括 NBC 环球、迪士尼、Altice USA、Cox Communications、法国的 TF1 Group、英国的 Channel 4 和 Mediaset Italia，以确定该系统应该如何工作。 ^(139)
目前正在开发的另一个企业数据共享解决方案是富士通数据交换网络，它允许组织安全、快速地与竞争对手共享数据，而不会泄露机密信息，并从第三方使用的每一位数据中获得报酬。它使用一个基于超级分类帐的框架，为组织提供对其分布式数据的完全控制；目标是促进不同组织和公司收集的数据的交流。每一笔交易都将被记录在区块链上，使其不可改变、可验证、可追踪。这将帮助组织了解谁在何时访问了哪些数据，这些数据是如何使用的，以及这些数据产生了多少钱。使用区块链共享平台的另一个好处是，组织不再需要将数据交给 Experian 或 Acxiom 等公司，因为使用分布式账本技术意味着不再需要这些中介。
数据共享对于物联网也将非常有用，独立的传感器可以使用微交易甚至纳米交易将其数据出售给最高出价者(无论这是另一个传感器还是一个组织)。尽管由于传统支付(甚至现在的比特币)所涉及的高交易成本，微交易从未成为可能，但未来的加密货币很可能使传感器或组织能够通过转移千分之一或百万分之一的美分来支付数据。这种能力将刺激在全球范围内安装传感器并将这些传感器收集的数据出售给感兴趣的参与者的组织的新商业模式。
第一个实现这种数据共享的平台叫做特比宁，它已经实现了物联网的传感器数据交换。根据特比宁创始人兼首席执行官大卫·奈特的说法，虽然特比宁尚未采用分布式账本技术，但它将所有公开可用的传感器数据编入索引，并对这些数据的质量进行评级，从而创建一个全球无摩擦的物联网市场。 ^(141)
另一方面，IOTA 开发了一种革命性的新区块链技术，使公司能够在开放的市场上实时共享数据，而无需付费。IOTA(物联网资产)可以通过一个无块的分布式账本(称为 tangle )在连接的传感器之间实时结算交易，该账本可以无限扩展。这个纠结是用一个所谓的 DAG，或者一个有向无环图构建的，它实际上根本不是一个区块链。IOTA 为物联网创建了一个分散和自我调节的 P2P 网络，使任何人都可以在互联设备和传感器之间免费共享数据。有了区块链技术，组织可以验证跨业务单位、组织和事物共享的数据的完整性并为其付费。2017 年，IOTA 推出了一个新的数据市场，data.iota.org，使安全存储、销售和访问数据流成为可能，特别是针对物联网领域。 ^(142) 对于组织来说，这是一次真正的范式转变，它能够包含以前无法想象的数据源，从而带来更好的产品和服务。
数据治理
组织已经将数据视为资产，并将其纳入资产负债表。安全的数据共享使组织能够将这种资产货币化。 ^(143) 因此，组织需要单一版本的真相。 ^(144) 因此，如何治理数据在组织中扮演着越来越重要的角色。 ^(145 ^(146))
治理、质量和合规的重要性
数据治理涉及创建准则和标准以实现数据质量管理，并确保符合围绕数据使用开发的流程。 ^(147) 主数据管理是数据治理的一个方面，它对于确保数据质量越来越重要，因为几十年来以不同的存储和格式使用和存储数据已经导致了许多不一致，使公司很难理解他们的数据。 ^(148) 不当的主数据管理流程可能会导致各种问题损害业务，例如运营问题或不正确的客户数据。因此，随着可用数据量的增加，主数据管理对组织越来越重要。理论上，自从区块链无限期保存数据以来，主数据管理将变得更加重要。弹性和不可逆转性是区块链的两个关键属性；一旦事务数据被添加并被节点接受，它们就变得不可改变。 ^(150) 然而，从一致性和正确性来说，区块链并没有神奇地将低质量的数据转化为高质量的数据。垃圾输入仍然意味着垃圾输出。如果坏的或低质量的数据以正确的方式呈现，它将被追加到区块链。如果一份文件包含虚假信息，但以正确的方式呈现，它仍会被区块链收录。 ^(151) 因此，组织需要一个结合了与数据质量相关的业务和技术视角的数据治理框架，以应对添加到区块链的数据所带来的战略和运营挑战。 ^(152)
行业视角
数据治理与任何行业都有关联，但医疗保健行业尤其能够从区块链数据治理中受益，因为敏感数据会生成、存储和共享。已经有几家公司在研究将医疗保健数据与区块链结合的潜力，包括谷歌由人工智能驱动的健康科技子公司 DeepMind。2017 年 3 月，伦敦皇家自由医院和 DeepMind 宣布了开发肾脏监测软件的计划。长期目标是允许医院、国家医疗服务(NHS)和患者跟踪他们的健康数据，并通过分布式账本技术安全地共享和组合数据。 ^(153)
DeepMind 联合创始人穆斯塔法·苏莱曼(Mustafa Suleyman)及其安全和透明部门主管本·劳里(Ben Laurie)称之为可验证的数据审计:每当一个实体与数据进行交互时，它就会向总账添加一个条目。该条目表明使用了哪条数据及其原因。例如，一名医生访问了一名患者的血液测试数据，以对照 NHS 急性肾损伤国家算法进行检查。对患者数据的任何访问和更改都将立即可见。换句话说，他们正在创建一个健康数据的审计系统。 ^(154) 在处理医疗保健数据以确保患者隐私和安全时，确保数据的准确性变得更加重要。
医疗保健是数据治理变得越来越重要的一个领域，但事实上，数据治理应该是任何行业的任何组织的一个关键考虑因素。尤其是随着数据量的不断增长，数据治理对于确保保护消费者的权利变得至关重要。微软首席执行官的高级顾问、该公司前首席研究和战略官克雷格·芒迪(Craig Mundie)认为，重点应该从数据收集和保留转向如何使用个人数据。他建议在数据的起点对其进行注释，并用元数据对其进行包装，元数据包括数据如何被谁以及在什么情况下使用。 ^(155)
《社会物理学》一书的作者 Alex“Sandy”Pentland 补充说，消费者应该有权完全控制他们的数据，保护个人隐私可以确保一个社会未来的成功。^(实施这样的管理规则将类似于富士通数据交换网络或康卡斯特开发的区块链洞察平台，尽管是针对消费者而不是企业。 ^(157))
实现这一点的一种方法是使用无密钥签名基础设施(KSI)方法。这不同于公钥基础设施(PKI)方法，后者是使用数字签名对数据进行认证的标准加密工具，因为可以可靠地验证签名，而无需假设密钥持续保密。 ^(158) 科技公司 Guardtime 的联合创始人兼首席执行官 Mike Gault 解释道:
由 KSI 生成的签名可以被用作任何大小和类型的数据的包装器(或者根据数据模型被存储为附加元数据),使得签名被加密地链接到底层数据。加密链接允许在稍后的日期做出关于数据的时间、完整性和出处的断言。 ^(159)
其结果是一个区块链方法，包括管理个人数据的规则，恢复消费者对自己数据的控制，也就是说，将治理引入代码。然后，智能合约可以用来根据某些预设条件安全地改变规则。因此，借助区块链，数据治理可以与数据建立内在联系，从而防止操纵并保护消费者和组织。
数据安全
区块链不仅改善了数据治理，还对数据安全产生了积极影响。尽管市值很高，但比特币区块链尚未被黑客入侵，尽管很可能有许多黑客正在尝试，特别是截至 2021 年 6 月的市值为 6750 亿美元。尽管各种加密货币交易所遭到了黑客攻击，但区块链技术本身在几个方面提供了安全性，这对处理大数据的组织非常有用。在数据安全方面，区块链可以在三个主要领域做出贡献:机密性、完整性和可用性。 ^(160)
数据保密
根据国家标准和技术研究所(NIST)的定义，保密性是指“保留对信息访问和披露的授权限制，包括保护个人隐私和专有信息的手段。” ^(161) 保密性正变得越来越重要，尤其是在其阻止身份盗窃的能力方面。众所周知，身份盗窃尤其会伤害消费者，尽管组织也可能成为商业身份盗窃的受害者。这需要使用假身份来获取信息或为尚未交付的服务或产品收费。这种情况发生在所有类型的组织中，最近在 2017 年 4 月，脸书和谷歌披露成为一个价值 1 亿美元的商业钓鱼骗局的受害者。 ^(162)
尽管许多组织将非对称加密或 PKI 应用于安全通信，但 PKI 依赖于可信的中央机构来颁发证书(密钥对)，该机构可能会被黑客利用，例如中间人攻击。然而，区块链可以通过创建公共和可听的 PKI 来防止这种攻击，从而分散证书的颁发。Guardtime 开发的 KSI 就是这样一种去中心化的方法；2016 年，该公司成功保护了爱沙尼亚全部一百万份电子健康记录。^(163)Danube Tech 是另一家科技公司，旨在开发一种去中心化的 PKI，将在线身份的控制权归还给合法所有者。 ^(164) 第三家公司是 CertCoin，由麻省理工学院开发，它使用分布式账本去除了颁发认证的中央机构。 ^(165)
一种常见的身份盗窃方法是非法获取和利用消费者的用户名或密码，有时是通过入侵中央数据库。组织需要采取必要的安全措施来防止黑客攻击。然而，如果客户仍然使用传统的用户名和密码，如 123456 或密码，组织采取的任何安全措施都将是无效的。在这种情况下，分散的(认证)系统会有所帮助。正如 Remme 的创始人兼首席执行官 Alex Momot 所说，区块链可以将强认证的责任从用户转移到组织。 ^(166)
区块链的完全加密可确保数据在通过不可信网络传输时不会被未授权方访问。此外，区块链固有的是数据的不变性，防止各方为了自身利益非法调整数据。因此，对于组织来说，确保保密性，区块链就成了关键。越来越多的解决方案，如 Guardtime、Danube Tech 和 CertCoin 提供的解决方案。
数据完整性
区块链在数据安全方面的第二个贡献是它确保了完整性，NIST 将其定义为“防止不正当的信息修改或破坏，包括确保信息的不可否认性和真实性。” ^(167) 散列法和密码术的结合以及区块链的去中心化性质意味着没有中央权威机构或行动者可以为了自己的利益而调整区块链上的数据。进入区块链的所有其他利益攸关方会立即知道这样做，他们不会核实这种交易。
有了区块链，记录在区块链上的任何资产都只能通过相应的密钥来检索或移动。因此，密钥成为其所有者可以货币化的资产，因为它由基础资产支持。 ^(168) 保护私钥至关重要。因此，组织应该知道如何处理加密密钥，以及如何期望客户处理它们。丢失的私钥可以防止区块链上的数据被解密，或者，如果它落入坏人之手，它可以使数据对那些有权访问私钥的人公开。因此，为了确保完整性，组织需要教育消费者如何处理私钥，因为许多消费者不熟悉私钥和公钥以及它们是如何工作的。
正如埃森哲金融服务董事总经理兼区块链负责人 David Treat 所说，“把软件中的密钥放在电脑上就相当于把你家的钥匙放在迎宾垫下面。” ^(169) 因此，尽管区块链通过使数据不可变来确保完整性，但组织和消费者仍有责任。
数据可用性
区块链对数据安全的第三个贡献是可用性，NIST 将其定义为“确保及时可靠地访问和使用信息” ^(170) 分布式账本技术没有单点故障，这会让 DDoS 攻击的难度成倍增加。毕竟，要让一个区块链网络瘫痪，网络中的所有节点都应该受到攻击。随着一些分散式网络包含数百万台计算机，这变得非常不可能实现。这就是为什么基于区块链的 PKI 如此有价值，因为它没有单点故障(颁发证书的中央机构)。
尽管区块链有提高数据安全性的潜力，但必须小心谨慎，因为这项技术仍然很新。在(不久的)将来，目前未知的安全问题可能会出现，对该技术的使用和应用产生影响。此外，许多初创企业正在尝试各种新的区块链技术或加密实践，如果操作不当，可能会导致潜在的安全漏洞。因此，与任何数字技术一样，为了保护消费者、客户和员工，安全性应该是任何数字战略的关键组成部分。
数据隐私和身份
大数据越来越多地侵入消费者的生活，影响他们的隐私，因为网络已经成为一个如此集中的平台。最初，网络被设计成去中心化的，这样每个人都可以通过拥有自己的域名和网络服务器来参与其中。不幸的是，这并没有奏效，因此，让中央机构收集如此多的消费者数据并利用这些数据向他们的用户提供个性化广告存在一个重大问题。
正如 Jonathan Taplin 在他的书 Move Fast and Break Things 中所讨论的那样，能够获得如此多数据并使用这些数据来引导消费者行为的组织可能会直接破坏我们的民主，正如我们看到的脸书和剑桥分析如何能够影响英国退出欧盟和 2016 年美国总统选举一样。 ^(172) 这些集权组织不忘不赦。既然行动(即数据)胜于雄辩，那么只要消费者没有掌控自己的数据，人类就有可能被他们的数据所定义。这将是对我们人类的严重威胁。在中国可以看到这样一个世界的例子。
芝麻信用对社会和隐私的影响
中国正在开发芝麻信用，这是一种社会透明的信用评分，用于衡量公民顺从党的路线的程度。 ^(173) 中国的社会信用评分系统采用创新的解决方案，利用区块链技术和大数据的优势。 ^(174) 阿里巴巴旗下的蚂蚁金服一直在开发这一社交评分系统，它将以各种方式影响社会并侵入中国公民的日常生活。
芝麻信用是一个融入社会评分的信用评级系统。它根据网上购物习惯计算信用分数。 ^(175) 芝麻信用将通过引入社会信任作为信用评分和报告的一部分来影响社会。该项目帮助中国在国家层面推动社会信用体系的发展。然而，这也带来了对数据隐私数据和信息透明度的担忧，因为，例如，许多个人在服务开始时并不知道芝麻信用对他们进行了评级。这很麻烦，尤其是当这个系统不是 100%准确的时候。
尽管如此，中国政府的目标是到 2020 年全面实施这些措施。芝麻信用利用大数据洞察，不仅根据一个人与企业的交易，还根据他或她在网上的社交互动来分配社交分数。这直接影响到消费者，为他们提供优惠待遇，如跳过医院的长队和获得贷款。然而，它也可能通过对破坏社会信任的惩罚来影响消费者，例如拒绝考虑担任公职或丧失福利和社会保障。目标是加强市场经济监管和良好行为，如购买尿布，并惩罚个人和企业的不良行为，如销售有毒食品或参与贿赂。
阿里巴巴旗下支付宝通过芝麻信用评分系统带来社会信任
阿里巴巴是 2014 年中国央行批准开发基于社会信任的在线和电子商务评级系统的八家科技公司之一。 ^(178) 阿里巴巴的支付子公司蚂蚁金服开发并整合了芝麻信用到支付宝，并为同意使用信用评分服务的支付宝用户分配社会信用评分。 ^(179) 芝麻信用可以利用阿里巴巴强大的数据库，结合其他因素，如在线交易历史、纳税历史和交通违规历史，来确定个人的可信度。 ^(180)
例如，购买尿布的人可能比花钱娱乐的人得分高，因为尿布交易会被认为更负责任。拥有芝麻信用社交信用评分的支付宝用户可以根据他们的分数获得各种额外优惠，如机场快速安检或汽车租赁押金豁免。蚂蚁金服正在探索融入区块链技术，以增强数据的安全性并改善验证。 ^(181) 虽然芝麻信用的技术仍在开发中，但蚂蚁金服计划利用它让交易更便宜、更快捷。它已经有了在慈善捐赠网站上使用它来追踪资金的经验。
芝麻信用为组织提供了几个好处，包括奖励更好的商业决策和惩罚糟糕的决策。因此，组织不仅可以验证客户的身份和可信度，还可以验证供应商和竞争对手的身份和可信度。然而，芝麻信用可能会成为消费者的数据隐私噩梦。
身份和黑盒
芝麻信用隐私噩梦的解决方案可能是加入一个自我主权身份，一个由个人或设备本身拥有和控制的身份。这是一种可移植的、私有的和受保护的身份。换句话说，自主身份是对当今身份系统的一种范式转变，它将彻底改变组织处理客户数据的方式。为了理解自我主权身份的重要性，我们需要理解身份到底是什么。
身份由许多不同的属性组成，这些属性在优先级和持久性方面不断变化和发展。一些属性，如出生日期、出生地、亲生父母和社会安全号码，将伴随一个人的一生。其他信息，如员工号、学号、地址或电话号码可能会定期更改。还有一些属性可能非常短暂，比如论坛或网站上的用户名。这些属性中的每一个都有不同的、唯一可识别的特征，它们的组合构成了一个人的身份(尽管这个人可能会有不同的看法)。
设备也是如此。与人一样，机器也有构成其身份的各种属性。这些包括设备的类型、品牌、颜色、特征和功能。虽然我们已经为人们建立了身份基础设施，但目前我们还没有为事物建立身份基础设施。尽管如此，我们还是急于将设备连接到互联网。国际公认的数字身份和数字货币思想领袖大卫·伯奇认为，这可能会给未来带来重大挑战。根据 Birch 的说法，实现这一点的唯一方法是使用分散的解决方案，因为存储所有信息的中央数据库太危险了。 ^(182)
如果一个身份包含不断变化的属性，那么自我主权身份将恢复拥有该身份的消费者对谁可以访问这些属性的控制。因此，不是社交媒体公司或政府拥有一个人的身份属性，而是消费者完全控制并决定每次互动，谁可以访问哪些数据点。例如，当进入酒吧时，我们可以使用自我主权身份来证明我们达到了饮酒年龄，而不是提供驾驶执照，驾驶执照披露了各种非常个人的细节，如我们的姓名、出生日期、地址或执照号码，酒吧老板不需要知道这些。取而代之的是，我们决定我们想在什么时候向什么组织发布什么信息。因此，自我主权身份为消费者提供了许多优势。然而，建设基础设施可能是一个挑战。
这就是为什么 David Birch 认为银行应该负责存储身份信息，因为他们已经有了处理资金的安全基础设施。伯奇认为，在未来，银行作为货币储存库的功能可能会过时，这就是为什么它们应该追求保护身份和声誉，尽管使用分散化的解决方案。 ^(183) 剑桥区块链(Cambridge Blockchain)是一家已经使金融机构能够确保身份合规性的组织，这可能是管理身份的先驱。其产品专注于简化数字身份，为用户提供对其身份的完全控制，同时确保金融机构的监管合规性。据其网站称，“剑桥区块链的分布式架构解决了透明度和隐私的竞争挑战。” ^(184)
然而，全球区块链商业理事会董事会成员 Daniel Gasteiger 认为，我们应该谨慎地为区块链添加属性，因为属性会随着时间的推移而变化。这就是为什么需要一种分散的加密方法来为个人提供对这些不断变化的属性的完全控制。因此，消费者将成为组织的黑匣子，只有消费者才能决定与组织共享何种数据。这将极大地改变数据所有权、组织如何处理客户数据以及如何从中获得洞察力。如果芝麻信用将包含这样一个去中心化的基础设施，它将让中国公民完全控制谁可以访问他们的社会信用评分，而政府可以保证分数是可信的、不可改变的，并且在任何时候都可以验证。
多个组织正致力于开发自我主权身份的解决方案。每个解决方案都与其他解决方案略有不同，并且在安全性和加密方面有不同的方法。这些初创企业正专注于与护照相关的数字身份；电子派驻；在线帐户登录；出生、结婚和死亡证明；诸如此类。数字身份的一些先驱如下，按字母顺序排列:
2 方式。IO (2way.io):一个 P2P 信誉和身份平台，让用户重新获得控制权。它为希望实施身份解决方案的组织提供服务，这些服务不受区块链的限制。
班趣 App(banquapp.com):一家专注于经济身份和极端贫困的金融科技公司。它提供了一个安全、便携的数字身份，通过一个基于区块链的专有平台为最贫困的人维护交易历史。
bit nation(bitnation.co):一家平台公司，提供传统政府提供的服务，但基于区块链。它自称是第一个分散的无国界的志愿国家。
block auth(blockauth.org):block auth 正在开发一个框架来验证用户的真实性，同时还支持一个易于集成的 OpenID 认证系统。
bron tech(bron . tech):总部位于区块链的身份平台，旨在重新定义人、个人数据和金钱之间的关系。
剑桥区块链(cambridge-blockchain.com):一家初创公司，旨在将个人身份数据的控制权交还给最终用户。该平台侧重于金融行业，使其能够遵守了解客户的法规。
公民(civic.com):一个身份平台，使用身份验证和保护工具，为企业和个人提供对其身份的控制。
Procivis (procivis.ch):一家旨在开发和提供“电子政府即服务”解决方案的初创公司，在该解决方案中，数字身份赋予公民权力，并让他们控制自己的身份数据。
【shocard.com】sho card():一个建立数字身份平台以保护消费者隐私并使其易于使用的组织。它构建在公共区块链数据层上，因此不存储任何数据或键。
SOV rin(sovrin.org):一个自我主权身份的区块链，最初由 Evernym 开发，后来开源了这个平台。它旨在建立互联网上安全身份的缺失层。
uPort (uport.me):一家初创公司，旨在以太坊(Ethereum)上开发一个开源、自主、基于区块链的身份系统；它与微软合作，由 ConsenSys 开发。
这些初创公司，以及更多的公司，旨在为所有行业开发身份识别解决方案。任何行业都可以从使用区块链验证的数字身份中受益。然而，三个早期采用者在数字身份应用程序的开发方面最为先进:金融服务行业、医疗保健和政府。
数据所有权
许多人交出了个人数据或同意被监控，以换取免费服务。然而，消费者越来越担心谁可以访问他们的数据:2016 年皮尤研究调查显示，74%的消费者表示，控制谁可以获得他们的信息“非常重要”。 ^(186) 此外，消费者可能没有意识到他们已经同意，因为使用或服务的条款和条件冗长而复杂，需要花时间阅读和理解；或者他们对企业监控有一种无可奈何的感觉。大公司对数据所有权的这种集中控制对消费者是有害的，因为它给了集中的组织巨大的权力，并使消费者处于弱势地位。消费者只能看到他们自己的交易和交互，而不能看到第三方供应商或应用程序如何使用他们的数据。
然而，通过区块链技术，我们可以解决这种情况，让消费者完全控制他们的数据，使消费者能够决定哪些组织可以使用他们的数据，如何以及何时使用。因为区块链上的数据是不可变的、可验证的和可追踪的，所以它支持数据起源。数据来源显示了所有权和权限如何随着时间的推移而变化，以及数据是如何创建和使用的，以及谁在控制这些数据。因此，它加快了验证第三方身份的过程，并为消费者提供了一种选择，即针对他们创建的每条数据，选择他们是否希望允许第三方拥有他们的信息，并验证这些第三方是真实的。
此外，消费者可以为此获得报酬。当消费者完全控制他们的数据时，组织将不得不寻找新的方法来获得消费者的同意以分析这些数据。同意从简单的“我接受条款和条件”转变为技术实现解决方案，不仅获得用户的实时同意，还奖励消费者使用他们的数据。这种转变将成为组织需要应对的重大但并非不可能的技术和文化挑战:类似于富士通数据交换网络的首批解决方案已经在开发中。它们的工作方式就好像每一点数据都有自己的保险库，包括与之关联的智能合约，这些合约规定了谁有权访问数据、访问多长时间以及以什么价格访问数据。每一笔交易都可以被追踪，数据所有者可以实时受益。
当然，我们能为企业开发的，也能为消费者开发。例如，初创企业 Blockstack 正在开发一种新的互联网，使用分散化的应用程序，让用户拥有自己的数据。借助 Blockstack，用户可以获得数字密钥，从而控制自己的数据。他们使用这些密钥在本地登录应用程序，他们拥有在互联网上做事情时生成的任何数据。它将分散式域名服务器系统与区块链技术相结合来提供这些功能。如果成功，Blockstack 将极大地改变组织的游戏。考虑到这种解决方案的技术和文化挑战，组织应该开始为未来做准备。
态度和政策的转变
大数据和区块链的融合需要来自组织、监管机构和个人的新解决方案和方法，以确保最终每个人都能从这种融合中受益。这是一个范式的转变，突然之间，数据的创建者完全控制了数据，而不是组织收集数据。以下是大数据和区块链的融合将直接影响个人、组织、政府和决策者的五种方式。
首先，组织需要确保数据隐私和安全，特别是当涉及个人和事物时，以及如果他们想要跨组织共享数据时。如果组织希望实现这一目标，分布式分类帐技术是关键。数据共享需要标准来确保组织和消费者可以轻松地跨边界和跨组织共享他们的数据，同时保持控制，保持数据隐私，并能够将其货币化。
其次，监管机构和政府需要确保消费者完全控制自己的数据，将数据从组织中带走，并确保组织认真对待数据安全。对个人和事物来说，自我主权身份将成为新的常态。因此，政府和政策顾问需要理解自我主权身份意味着什么，并需要起草立法，迫使各组织转向自我主权身份系统，恢复对个人的控制。
第三，个人需要意识到控制自己的数据所带来的机会和责任，例如保持私钥的真正私密性。因此，认识到大数据和区块链的融合对消费者意味着什么至关重要。这很可能需要对消费者进行如何处理私人钥匙的长期教育。
第四，数据控制权将转移到负责创建数据的个人、组织或设备。数据仓库将成为新的常态，由智能合约管理，一旦满足某些预设条件，智能合约就会自动执行。监管机构应该确保这些智能合约是道德的，并在类似情况下公平平等地对待每个客户。
第五，我们将看到组织通过应用智能合约和加密技术来对数据和代码进行治理，以确保在一个不信任的社会中的信任。组织内的治理将从董事会转移到开发人员，他们将负责将治理纳入代码中。
未来几年，大数据和区块链的融合不会放缓。相反，我们生活在一个指数级发展的时代，未来几年将会看到大量以客户为中心的新解决方案的开发，提供数据所有权、隐私和安全性，同时使个人、组织和事物能够共享和货币化他们的数据。这是一个范式转变，需要所有相关利益方采取行动，包括政府、决策者和监管者，以确保向这一新范式的转变符合法律并保护消费者。
结论和建议
随着这些年来创建的数据量呈指数级增长，以及分布式账本技术的快速改进，大数据和区块链的融合为组织和社会提供了许多机会，可以为消费者开发更加安全、公平和隐私的产品和服务。
高管应该牢记什么
数据所有权将有新的含义。随着数据来源为组织开辟新的收入来源，数据共享将成为可能，同时数据治理将得到显著改善。因此，大数据和区块链的融合提供了四个关键点:
区块链将保护消费者的隐私和所有权，并为消费者提供对其数据的完全控制，但也需要就这一新范式带来的机遇和责任进行教育。
随着互联设备数量的增加，数据安全将变得越来越重要，区块链可以确保互联设备之间的信任。
数据共享将使组织获得更好的洞察力，同时确保跨部门和组织的数据隐私。此外，如果消费者拥有对数据的完全控制权，他们将能够将数据货币化。
区块链将通过为代码带来治理来彻底改变数据治理，智能合约将为每一位数据添加一个元层，确定与这些数据相关的条件。
今天组织能做什么
如果您希望您的组织从大数据和区块链的融合中受益，请立即行动起来。监管机构将很快觉醒并实施规章制度，为消费者提供对其数据的更多控制。这将极大地改变组织的竞争环境。消费者数据将成为一个黑匣子，需要获得技术上的同意和金钱上的回报才能使用。
研究如何更好地利用现有数据。富士通数据交换网络等解决方案能否让您安全、私密地与其他组织共享数据？你能把外部数据整合到你自己的见解中吗？这些努力将为消费者和组织带来更好的产品和服务，并提高利润。
探索与竞争对手或其他行业参与者的互利合作关系。分享数据有助于您改进产品和服务吗？在与外部组织共享数据之前，组织可以通过跨地理上分散的业务单位的内部数据共享项目来测试这一过程，以了解这意味着什么。
考虑您的哪些流程可以从管理数据和自动化决策的智能合约中受益。 特别是在使用互联设备时，智能合约可以实现交易自动化，并提供新的数据源，从而带来新的见解。此外，它们可以确保数据的完整性，从而使应用程序更加安全。
想象一下不能自动访问客户数据的情形。缺乏访问权限会如何影响您的运营？如果访问不仅仅需要书面同意和复杂的条款和条件呢？它将如何改变您的流程？您需要实施哪些新的解决方案？您是需要自己创建它们，还是可以利用现有的解决方案？
了解自我主权身份对你的业务的影响。这种针对个人及其设备的身份识别系统可能还很遥远，但消费者将要求更高的隐私性和对其数据的更多控制。了解他们如何帮助您的组织成为自我主权身份的早期采用者，类似于 Telstra 正在做的事情。
调查区块链如何让您自己的互联设备更加安全。对于许多使用物联网的组织来说，如今几乎每个企业都在使用物联网，因此安全性不是优先考虑的问题，这可能会使网络容易遭受大规模 DDoS 攻击，例如 2016 年 10 月的攻击。IOTA tangle 等区块链解决方案——提供无限的可扩展性和免费的微交易——可以防止这种攻击，因此领导者应该明智地考虑它们，并创建一个更安全的组织。
我们生活在一个指数级发展的时代，加速变化是唯一不变的，特别是对于那些使用大数据和探索区块链技术的人来说，这两大趋势正在从根本上改变我们的工作和生活方式。因此，组织领导人应该开始讨论这些趋势对其组织的影响，并为一个数据更安全、更隐私并为消费者所有的互联世界做好准备。
