摘　要：摘要:如何把规模宏大的电商交易数据纳入价格指数构建中去，已成为网络市场关注的热点。由此，考虑在大数据技术之上，将Nutch爬虫搭建在Hadoop分布式集群上构建分布式网络数据抓取系统，完成网络交易数据的实时抓取，同时结合最新的AP聚类算法对数据进行预处理，实现网上交易价格指数试算。根据试算结果对比，基于Hadoop集群下的Nutch网络爬虫技术较好的完成了网络交易数据抓取任务，由此数据计算的网上交易数据价格指数也与官方指数接近，具有参考价值。

【分　 类】 文化研究
【关 键 词】 电商交易数据,Nutch,Hadoop分布式集群
【来 　源】 互联网
【收　 录】 中国学术期刊网