京东大数据技术白皮书（全文）
2018-12-12 14:41:42 来源: 财经新闻网
12月7日京东举办了首届大数据峰会，也是首次对外全面展示京东在大数据领域多年研发的核心技术成果。在2010年京东就启动了在大数据领域的研发和应用探索，正式组建京东大数据部，并确立了数据集中式的数据服务模式，成为大数据最早的实践企业之一。在峰会上，京东对外发布了《京东大数据技术白皮书》，该白皮书全面介绍了京东大数据的建设以及技术特点。
在《京东大数据技术白皮书》中指出，大数据平台的发展是随着京东业务同步发展的，由原来的传统数据仓库模式逐步演变为基于Hadoop的分布式计算架构。技术领域覆盖Hadoop、Kubernetes、Spark、Hive、Alluxio、Presto、Hbase、Storm、Flink、Kafka等大数据全生态体系。
经过多年的持续投入和全面应用实践，京东大数据已成为企业大数据的领跑者。目前已拥有集群规模40000+服务器、数据规模800PB+、日增数据1P+，每日的离线数据日处理30PB+，实时计算每天行数近万亿条。面对如此高的数据处理量级，京东大数据建设了全生态核心产品体系，是京东大数据业务的基础服务平台，为京东全业务生态提供一站式、自助式的大数据处理全流程解决方案。涵盖数据采集、存储、加工、分析、可视化、机器学习等专业化产品和服务，在保障数据安全的前提下，提供更可靠、高性能的服务，大幅降低大数据使用门槛，帮助京东大数据业务快速落地，助力京东实践以数据为驱动的业务变革与发展。
京东对大数据的应用正不断为行业带来创新的应用能力，也正是因为京东所具有的丰富场景，能够使这些技术得以落地并不断升级迭代。对于以技术为核心发展战略的京东，大数据是宝贵财富，也是助力行业伙伴的全价值链资源。随着京东大数据平台技术不断创新，随着京东开放平台的建设，这项宝贵的财富将不仅推动京东自己的成长，更为行业带来服务，让更多的企业和消费者能够享受到大数据所创造的价值。
以下为《京东大数据技术白皮书》全文：
在《京东大数据技术白皮书》中指出，大数据平台的发展是随着京东业务同步发展的，由原来的传统数据仓库模式逐步演变为基于Hadoop的分布式计算架构。技术领域覆盖Hadoop、Kubernetes、Spark、Hive、Alluxio、Presto、Hbase、Storm、Flink、Kafka等大数据全生态体系。
经过多年的持续投入和全面应用实践，京东大数据已成为企业大数据的领跑者。目前已拥有集群规模40000+服务器、数据规模800PB+、日增数据1P+，每日的离线数据日处理30PB+，实时计算每天行数近万亿条。面对如此高的数据处理量级，京东大数据建设了全生态核心产品体系，是京东大数据业务的基础服务平台，为京东全业务生态提供一站式、自助式的大数据处理全流程解决方案。涵盖数据采集、存储、加工、分析、可视化、机器学习等专业化产品和服务，在保障数据安全的前提下，提供更可靠、高性能的服务，大幅降低大数据使用门槛，帮助京东大数据业务快速落地，助力京东实践以数据为驱动的业务变革与发展。
京东对大数据的应用正不断为行业带来创新的应用能力，也正是因为京东所具有的丰富场景，能够使这些技术得以落地并不断升级迭代。对于以技术为核心发展战略的京东，大数据是宝贵财富，也是助力行业伙伴的全价值链资源。随着京东大数据平台技术不断创新，随着京东开放平台的建设，这项宝贵的财富将不仅推动京东自己的成长，更为行业带来服务，让更多的企业和消费者能够享受到大数据所创造的价值。
以下为《京东大数据技术白皮书》全文：
