比特币收盘价 数据可视化入门——操作JSON格式数据并进行简单可视化

1、JSON格式（制作交易收盘价走势图） （1）下载收盘价数据：

点我跳转到下载页面！

观察文件发现，这个文件其实是一个很长的python列表，每个元素都是一个字典，包含五个key：统计日期、月份、周数、星期几和收盘价。

（2）JSON格式数据的读取：（使用load()方法将JSON格式数据转换为Python可以处理的字典格式！）

import json
#将数据加载到一个列表中
filename = 'btc_close_2017.json'
with open(filename) as f:
    btc_data = json.load(f)
# 打印每一天的信息
for btc_dict in btc_data:
    date = btc_dict['date']
    month = btc_dict['month']
    week = btc_dict['week']
    weekday = btc_dict['weekday']
    close = btc_dict['close']
    print("{} is month {} week {},{}, the close price is {} RMB".format(date, month, week, weekday, close))

(3) 将字符串转换为数值：

JSON 文件中的每个键和值都是一个字符串。 为了后面能够对数据进行计算，需要将代表周数、月份数和收盘价的字符串转换成一个值！

但是当收盘价close转换为整数时，会出现ValueError异常。 原因：Python不能直接将包含小数点的字符串“6928.6492”转为整数。 解决方法：首先将字符串转换为浮点数，然后将浮点数转换为整数：

(4)绘制收盘价折线图：

使用Pygal实现收盘价折线图！

import json
import pygal
#将数据加载到一个列表中
filename = 'btc_close_2017.json'
with open(filename) as f:
    btc_data = json.load(f)

#创建五个列表，分别存储日期和收盘价   将数据转换为绘制折线图的可用数据
dates = []
months = []
weeks = []
weekdays = []
close = []
#每一天的信息
for btc_dict in btc_data:
    dates.append(btc_dict['date'])
    months.append(int(btc_dict['month']))
    weeks.append(int(btc_dict['week']))
    weekdays.append(btc_dict['weekday'])
    close.append(int(float(btc_dict['close'])))
'''绘制收盘价折线图'''
# x_label_rotation=20让x轴上的日期标签顺时针旋转20度   ；   show_minor_x_labels=False告诉图形不用显示所有的x轴标签
line_chart = pygal.Line(x_label_rotation=20,show_minor_x_labels=False)   #创建Line实例，进行一些设置
line_chart.title = '收盘价（￥）'
line_chart.x_labels = dates         #设置x轴为日期，但是总共346个日期，如果都显示太拥挤，所以上面设置show_minor_x_labels=False
N = 20                              #x轴坐标每隔20天显示一次
line_chart.x_labels_major = dates[::N]
line_chart.add('收盘价',close)
line_chart.render_to_file('收盘价折线图（￥）.svg')

从图中可以看出：加入2017年11月12日至2017年12月12日的快速增长，平均每天上涨约2500元。

(5) 时间序列特征初步研究：

**

进行时间序列分析总是期望发现趋势、周期和噪音比特币收盘价，从而能够描述事实、预测未来和做出决策！

从收盘价折线图可以看出，整体趋势是非线性的，涨幅呈递增趋势，似乎呈指数分布。

但是每个季度末（3月、6月、9月）似乎都会有一些类似的波动，虽然这些波动被上升的趋势所掩盖，但或许是周期性的。

为了检验周期性假设，首先需要消除非线性趋势。

对数变换是常用的处理方法之一。

这里以 10 为底的对数函数 math.log10 计算收盘价，日期保持不变。 这叫做半对数变换！ **

import json
import pygal
import math
#将数据加载到一个列表中
filename = 'btc_close_2017.json'
with open(filename) as f:
    btc_data = json.load(f)
#创建五个列表，分别存储日期和收盘价   将数据转换为绘制折线图的可用数据
dates = []
months = []
weeks = []
weekdays = []
close = []
#每一天的信息
for btc_dict in btc_data:
    dates.append(btc_dict['date'])
    months.append(int(btc_dict['month']))
    weeks.append(int(btc_dict['week']))
    weekdays.append(btc_dict['weekday'])
    close.append(int(float(btc_dict['close'])))
'''绘制收盘价对数变换折线图'''
line_chart = pygal.Line(x_label_rotation=20,show_minor_x_labels=False)   #创建Line实例，进行一些设置
line_chart.title = '收盘价对数变换（￥）'
line_chart.x_labels = dates         #设置x轴为日期，但是总共346个日期，如果都显示太拥挤，所以上面设置False
N = 20                              #x轴坐标每隔20天显示一次
line_chart.x_labels_major = dates[::N]
close_log = [math.log10(_) for _ in close]
line_chart.add('log收盘价',close_log)
line_chart.render_to_file('收盘价对数变换折线图（￥）.svg')
'''现在，用对数变换剔除非线性趋势之后，整体上涨的趋势更接近线性增长。'''

从图中可以看出，收盘价似乎在每个季度末都有明显的周期性——在3月、6月和9月出现了剧烈的波动。 那么，十二月是一样的吗？ 再来看看月均线和日均线收盘价的表现。

(6) 收盘均价：

绘制 2017 年前 11 个月的日平均值、前 49 周 (2017-01-02~2017-12-10) 的日平均值以及一周中每一天的日平均值。 这些日均值虽然数值不同，但都是一段时间内的平均值，计算方法都是一样的。 所以，把之前的绘图代码封装成一个函数：

from itertools import groupby  # 由于需要将数据按月份，周数，周几分组，再计算每组的平均值，因此导入此模块
def draw_line(x_data, y_data, title, y_legend):
    xy_map = []
    for x, y in groupby(sorted(zip(x_data, y_data)), key=lambda _: _[0]):    # 先将x轴与y轴的数据合并，排序，再用groupby分组
        y_list = [v for _, v in y]
        xy_map.append([x, sum(y_list) / len(y_list)])                        # 分组之后，求出每组的平均值
    x_unique, y_mean = [*zip(*xy_map)]                                       # 将xy_map中存储的x轴与y轴的数据分离
    line_chart = pygal.Line()
    line_chart.title = title
    line_chart.x_labels = x_unique
    line_chart.add(y_legend, y_mean)
    line_chart.render_to_file(title+'.svg')
    return line_chart

①收盘价的月均值和日均值（取2017年1-11月的数据，求2017-12-01截止日期的指数位置比特币收盘价，确定周数和收盘价的范围）

from itertools import groupby  # 由于需要将数据按月份，周数，周几分组，再计算每组的平均值，因此导入此模块
import json
import pygal
#将数据加载到一个列表中
filename = 'btc_close_2017.json'
with open(filename) as f:
    btc_data = json.load(f)
# 创建五个列表，分别存储日期和收盘价
dates = []
months = []
weeks = []

weekdays = []
close = []
for btc_dict in btc_data:
    dates.append(btc_dict['date'])
    months.append(int(btc_dict['month']))
    weeks.append(int(btc_dict['week']))
    weekdays.append(btc_dict['weekday'])
    close.append(int(float(btc_dict['close'])))
def draw_line(x_data, y_data, title, y_legend):
    xy_map = []
    for x, y in groupby(sorted(zip(x_data, y_data)), key=lambda _: _[0]):    # 先将x轴与y轴的数据合并，排序，再用groupby分组
        y_list = [v for _, v in y]
        xy_map.append([x, sum(y_list) / len(y_list)])                        # 分组之后，求出每组的平均值
    x_unique, y_mean = [*zip(*xy_map)]                                       # 将xy_map中存储的x轴与y轴的数据分离
    line_chart = pygal.Line()
    line_chart.title = title
    line_chart.x_labels = x_unique
    line_chart.add(y_legend, y_mean)
    line_chart.render_to_file(title+'.svg')
    return line_chart
# 收盘价月日均值：
idx_month = dates.index('2017-12-01')
line_chart_month = draw_line(months[:idx_month], close[:idx_month], '收盘价月日均值(￥)', '月日均值')

② 取前49周的日均值（2017年第一周从2017年1月2日开始，取数时去掉第一天；2017年第49周为2017年12月10日，所以pass dates找到2017-12-11的索引位置！）

idx_week = dates.index('2017-12-11')
line_chart_week = draw_line(months[1:idx_week], close[1:idx_week], '收盘价周日均值(￥)', '周日均值')

③绘制一周中每一天的平均值（取前49周的数据[2017-01-02~2017-12-10]）

由于这里的星期几是字符串，按照周一到周日的顺序排列，而不是按照单词首字母的顺序排列，所以绘制时x轴标签的顺序会有问题。 另外，原来星期几都是英文单词，也可以调整成中文。

idx_week = dates.index('2017-12-11')

wd = ['Monday', 'Tuesday', 'Wednesday', 'Thursday', 'Friday', 'Saturday', 'Sunday']
# 将weekdays的内容替换为1~7的整数
weekdays_int = [wd.index(w) + 1 for w in weekdays[1:idx_week]]
line_chart_weekday = draw_line(weekdays_int, close[1:idx_week], '收盘价星期均值(￥)', '星期均值')
line_chart_weekday.x_labels = ['周一', '周二', '周三', '周四', '周五', '周六', '周日']

④ 收盘价数据仪表盘

现在图片很多，每个SVG文件打开后都是一个独立的页面。 如果能将它们整合起来，管理、监控和分析都会非常方便。另外，还可以非常方便地添加新的图表，从而形成一个数据仪表盘

''' 将多张SVG文件整合在一起
    就是做一个数据仪表盘，即一个完整的网页（HTML文件）
    思路如下，.svg文件需要插件才能实现在网页中'''
with open('收盘价Dashboard.html', 'w', encoding='utf8') as html_file:
    html_file.write(
        '\n\n\n'
        '\n\n\n')
    for svg in [
            '收盘价星期均值(￥).svg', '收盘价对数变换折线图（¥）.svg', '收盘价月日均值(￥).svg', '收盘价周日均值(￥).svg']:
        html_file.write(
            '    \n'.format(svg))
    html_file.write('\n')

生成的名为“Closing Price Dashboard.html”的 HTML 文件：

<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="utf-8"><title>收盘价Dashboard</title>
</head>
<body>
    <object codebase="image/svg+xml" data="收盘价星期均值(￥).svg" height=500></object>
    <object codebase="image/svg+xml" data="收盘价对数变换折线图（￥）.svg" height=500></object>
    <object codebase="image/svg+xml" data="收盘价月日均值(￥).svg" height=500></object>
    <object codebase="image/svg+xml" data="收盘价周日均值(￥).svg" height=500></object>
</body>
</html>