模型推理输入不一样，但为什么输出是一样的？

在Android studio里debug时出现两次推理结果是一样的
两个输入分别如下：

native是下面这样写的：

1. JNIEXPORT jfloatArray JNICALL Java_MicroBrainFaceRec_RecFunctions_FaceRecFeature
   
2.         (JNIEnv *env,jobject obj, jint handle,jbyteArray bitmap, jint channels){
   
3. 
   
4.     uint8_t *rgba = NULL;
   
5.     // Get matrix pointer
   
6.     if (NULL != bitmap) {
   
7.         rgba = (uint8_t *)env->GetByteArrayElements(bitmap, 0);
   
8.     } else {
   
9.         LOGE("caffe-jni predict(): invalid args: jrgba(NULL)");
   
10.         return nullptr;
    
11.     }
    
12.     int const rgba_len = env->GetArrayLength(bitmap);
    
13.     LOGI("rgba_len= %d\n", rgba_len);
    
14.     float *inData = (float*)malloc(rgba_len* sizeof(float));
    
15.     //float inData[49152]={};
    
16.     size_t plane_size = 128*128;
    
17.     for (size_t i = 0; i < plane_size; i++) {
    
18.         inData[i] = static_cast<float>(rgba[i * 3 + 2]);                   // B
    
19.         inData[plane_size + i] = static_cast<float>(rgba[i * 3 + 1]);      // G
    
20.         inData[2 * plane_size + i] = static_cast<float>(rgba[i * 3]);      // R
    
21.         // Alpha is discarded
    
22.         inData[i] = (inData[i] - 127.5) * 0.0078125;
    
23.         inData[plane_size + i] = (inData[plane_size + i] - 127.5) * 0.0078125;
    
24.         inData[2 * plane_size + i] = (inData[2 * plane_size + i] - 127.5) * 0.0078125;
    
25.     }
    
26.     //float outFeature[512] = {};
    
27.     jfloatArray outFeature = env->NewFloatArray(512);
    
28.     jfloat* y0 = env->GetFloatArrayElements(outFeature,0);
    
29.     use_rknn::run_rknn(inData,y0);
    
30.     env->ReleaseFloatArrayElements(outFeature, y0, 0);
    
31.     free(inData);
    
32.     return outFeature;
    
33. }

复制代码其中用rknn设置如下：

1.   bool run_rknn(float *inData, float *y0){
   
2.         if(!created) {
   
3.             LOGE("run: create hasn't successful!");
   
4.             return false;
   
5.         }
   
6. 
   
7.         rknn_input inputs[1];
   
8.         inputs[0].index = input_index;
   
9.         inputs[0].buf = inData;
   
10.         inputs[0].size = inputs_attr[0].n_elems* sizeof(float);
    
11.         //inputs[0].size = Size;
    
12.         inputs[0].pass_through = false;
    
13.         inputs[0].type = RKNN_TENSOR_FLOAT32;
    
14.         inputs[0].fmt = RKNN_TENSOR_NCHW;
    
15.         int ret = rknn_inputs_set(ctx, 1, inputs);
    
16.         if(ret < 0) {
    
17.             LOGE("rknn_input_set fail! ret=%d\n", ret);
    
18.             return false;
    
19.         }
    
20. 
    
21.         ret = rknn_run(ctx, nullptr);
    
22.         if(ret < 0) {
    
23.             LOGE("rknn_run fail! ret=%d\n", ret);
    
24.             return false;
    
25.         }
    
26. 
    
27. 
    
28.         rknn_output outputs[1];
    
29.         outputs[0].want_float = true;
    
30.         outputs[0].is_prealloc = true;
    
31.         outputs[0].index = output_index0;
    
32.         outputs[0].buf = y0;
    
33.         outputs[0].size = outputs_attr[0].n_elems * sizeof(float);;
    
34. 
    
35.         ret = rknn_outputs_get(ctx, 1, outputs, nullptr);
    
36.         if(ret < 0) {
    
37.             LOGE("rknn_outputs_get fail! ret=%d\n", ret);
    
38.             return false;
    
39.         }
    
40. 
    
41.         rknn_outputs_release(ctx, 1, outputs);
    
42.         return true;
    
43.     }

复制代码运行的时候为什么第二个结果和第一个是一样的，我将两个分别注释以后，运行都可以得到正确的结果，但是同时运行的时候第二个结果总和第一个一样，这是为什么呢？

多取几次output看下，在async模式下你下一次的输出是这一次输入推理的结果。

jefferyzhang 发表于 2019-11-26 14:23
多取几次output看下，在async模式下你下一次的输出是这一次输入推理的结果。 ...

好像是这么回事，下一次结果是上一次推理的数值，总是慢一拍，这是为什么呢？刚才的解释我不太明白请问我需要怎么改，才能正常输出呢？

参看文档：《Rockchip_User_Guide_RKNN_API_V1.2.0_CN》
第 ： 3.1.1 rknn_init & rknn_init2

RKNN_FLAG_ASYNC_MASK:打开异步模式。
打开之后，rknn_outputs_get 将不会阻塞太久，因为它直接返回的上一帧的推理结果(第一帧的推理结果除外)，
这将显著提高 单线程模式下的推理帧率，但代价是 rknn_outputs_get 返回的不是当前帧的推理结果。
但当 rknn_run 和 rknn_outputs_get 不在同一个线程时，则无需打开该异步模式。

jefferyzhang 发表于 2019-11-26 15:15
参看文档：《Rockchip_User_Guide_RKNN_API_V1.2.0_CN》
第 ： 3.1.1 rknn_init & rknn_init2

好的，非常感谢