RK3399Pro入门教程（4）从Tensorflow.Keras到RKNN

（仅适用于rknn-toolkit < 1.6， 后续版本已支持直接从H5转rknn）
tensorflow从1.11开始就推荐使用更高层的Keras API建立模型，代码确实也简洁了不少，但是Keras默认保存的H5格式的模型文件，当前版本的rknn-toolkit(0.9.8)暂时还不支持转换，好在tensorflow还一直保留着他们自己的pb模型格式文件（配置+权重）。

我们直接从Tensorflow官网首页的教程Mnist入手，大概简单说明下如何从Tensorflow.Keras搭建训练模型，然后转RKNN进行使用。


1. import


这是我们要用到的几个模块：

1. import tensorflow as tf
   
2. from tensorflow.python.framework import graph_util
   

复制代码

2. 建立Keras模型和训练


我们用Tensorflow的官网首页代码，为了保存模型，需要一点小修改：

1. mnist = tf.keras.datasets.mnist
   
2.     (x_train, y_train), (x_test, y_test) = mnist.load_data()
   
3.     x_train, x_test = x_train / 255.0, x_test / 255.0
   
4. 
   
5.     model = tf.keras.Sequential([
   
6.     tf.keras.layers.Flatten(input_shape=(28, 28), name="input28x28"),
   
7.     tf.keras.layers.Dense(512, activation=tf.nn.relu),
   
8.     tf.keras.layers.Dropout(0.2),
   
9.     tf.keras.layers.Dense(10, activation=tf.nn.softmax, name="output")
   
10.     ])
    
11. 
    
12.     model.compile(optimizer='adam',
    
13.                   loss='sparse_categorical_crossentropy',
    
14.                   metrics=['accuracy'])

复制代码

1. model.fit(x_train, y_train, epochs=5) # train

复制代码
其中：
a. 输入层需要明确指定input_shape, 因为是mnist数据，所以他的输入都是28x28大小的单通道灰度图，指定input_shape=(28, 28)，为了后面方便操作，我们显式的给他赋予一个name="input28x28", 注意，赋值给rknn的不是这个名字，而是model.input.op.name打印出来的名字
b. 输出层我们也显式赋予一个name="output"，注意，赋值给rknn的不是这个名字，而是model.output.op.name打印出来的名字
c. model.compile配置了训练细节，然后model.fit就可以直接开始训练了。


3. 保存模型


如果是保存H5格式模型，直接使用model.save就可以保存了。

1. model.save("./mnist.h5")

复制代码

但是因为RKNN暂时还不支持H5格式，我们需要把它存成tensorflow的pb格式模型

1. tf.keras.backend.set_learning_phase(0)
   
2. session = tf.keras.backend.get_session()   # 获取Keras的session
   
3. 
   
4. print('input is :', model.input.op.name)      # 注意，RKNN传递的input name是这里打印出来的名字
   
5. print('output is:', model.output.op.name)   # 注意，RKNN传递的output name是这里打印出来的名字
   
6. 
   
7. graph = session.graph
   
8. with graph.as_default():
   
9. output_names = [model.output.op.name]
   
10. print('output_names:', output_names)
    
11. 
    
12. constant_graph = graph_util.convert_variables_to_constants(session, session.graph_def, output_names)  #转换成运算图
    
13. 
    
14. with tf.gfile.GFile('./model.pb', mode='wb') as f:
    
15.     f.write(constant_graph.SerializeToString())   # 写pb文件

复制代码也就是多了几行代码而已，还是非常简单的。


4. 用tensorboard或者Netron来查看建立的模型（可选过程）


这时候就可以使用tensorboard来查看这个pb文件的图了，先把上头的constant_graph写成log

1. writer = tf.summary.FileWriter('./log', constant_graph)
   
2.         writer.close()

复制代码然后用tensorboard命令来查看：

1. >  tensorboard --logdir=./log

复制代码就可以看到刚建立的的tensor图了。


可以看到我们自己定义的输入和输出层名字。这里我们更推荐开源软件Netron来直接查看PB或者H5格式的模型。


5. 转换成RKNN


然后就可以通过RKNN-toolkit转换啦，当然这里要先准备一张训练的图，把图的路径放入dataset.txt文件里，用于rknn量化（定点转换、优化等过程）

1. # coding=utf-8
   
2. from rknn.api import RKNN
   
3. 
   
4. if __name__ == '__main__':
   
5. 
   
6.     # Create RKNN object
   
7.     rknn = RKNN(verbose=True)
   
8. 
   
9.     # pre-process config
   
10.     print('--> config model')
    
11.     rknn.config(channel_mean_value='0 0 0 255')  # 因为是灰度图，不需要设置reorder_channel进行通道转换
    
12.     print('done')
    
13. 
    
14.     # Load tensorflow model
    
15.     print('--> Loading model')
    
16.     ret = rknn.load_tensorflow(
    
17.         tf_pb='./model.pb',
    
18.         inputs=['input28x28_input'],  # 注意，这里的input名字来自于模型转换时候打印出来的mode.input.op.name
    
19.         outputs=['output/Softmax'],   # 注意，这里的output名字来自于模型转换时候打印出来的mode.output.op.name
    
20.         input_size_list=[[28, 28]])
    
21.     if ret != 0:
    
22.         print('Load mtcnn failed! Ret = {}'.format(ret))
    
23.         exit(ret)
    
24.     print('done')
    
25. 
    
26.     # Build model
    
27.     print('--> Building model')
    
28.     ret = rknn.build(do_quantization=True, dataset='./dataset.txt')  # 量化模型
    
29.     if ret != 0:
    
30.         print('Build model failed!')
    
31.         exit(ret)
    
32.     print('done')
    
33. 
    
34.     # Export rknn model
    
35.     print('--> Export RKNN model')
    
36.     ret = rknn.export_rknn('./model.rknn')  # 保存成rknn模型文件
    
37.     if ret != 0:
    
38.         print('Export rknn failed!')
    
39.         exit(ret)
    
40.     print('done')
    
41. 
    
42. 
    
43.     rknn.release()

复制代码
到这里就可以输出rknn模型用于npu运行了。

我想问一下，这个模型的训练也可以在3399PRO上面来做吗，会不会太慢，

samtu 发表于 2019-5-4 13:41
我想问一下，这个模型的训练也可以在3399PRO上面来做吗，会不会太慢，

不能的 ，我们4块titanV跑了一晚上收敛都不是特别理想，在3399上用cpu做那基本不可能。。。
PS：
本回复当时回复的是FaceNet在3399Pro上训练无法实现，该教学模型是可以在3399上CPU训练的

我发现就算输出是7*7*128的digits，RKNN输出也是一维的6272的digits。那么channel_first是否意味着我要先reshape成为128*7*7，然后再transpose成为7*7*128啊？

jefferyzhang 发表于 2019-5-5 18:05
不能的 ，我们4块titanV跑了一晚上收敛都不是特别理想，在3399上用cpu做那基本不可能。。。 ...

楼主，我还有一个问题，为什么要用RKNN来转换呢，难道直接用TENSORFLOW 不行吗，还是转换后才可以用到你们的NPU，

4块titanV，１０万块，利器．，

samtu 发表于 2019-5-14 21:06
4块titanV，１０万块，利器．，

近些年更好的人脸检测论文应该是arcface， 收敛和分类应该是优秀的

samtu 发表于 2019-5-14 16:34
楼主，我还有一个问题，为什么要用RKNN来转换呢，难道直接用TENSORFLOW 不行吗，还是转换后才可以用到你 ...

NPU只能读取rknn格式模型，就跟tf只能读取pb格式一样。需要做一次转换。

你们自己训练是从头开始吗，还是拿别人的模型（如VGG，RESNET。。。，拆开，再从FC层后面加分类什么之 类的？自己训练，没有什么数据呢，还要自己一个个的标记，

samtu 发表于 2019-5-20 22:31
你们自己训练是从头开始吗，还是拿别人的模型（如VGG，RESNET。。。，拆开，再从FC层后面加分类什么之 类的 ...

当然用开源数据集。RK发布的模型有的是rk自己训练，有的是下载预训练模型。
对于产品开发来说，大部分的模型需要重新自己训练