Toybrick

标题: 有没有openpose的demo? [打印本页]

作者: chuyee 时间: 2019-1-24 16:59
标题: 有没有openpose的demo?
Linux 或者 Android 都可以

作者: 123456 时间: 2019-1-24 17:36
？？什么什么什么

作者: zhangzj 时间: 2019-1-29 10:24
openpose的demo没有开放。目前有mobilenet-ssd/v1/v2。

作者: chuyee 时间: 2019-2-8 13:28
也就是说你们已经移植完成了，只是代码还没有公开是吧？我有以下几个问题：

1. 性能怎么样？能达到多少FPS?
2. 自己用RKNN API SDK移植到3399Pro Ubuntu环境可行吗？还是有些其他的依赖工具需要RK提供才行？可行的话难度大盖有多大？可不可以指点一下都要做哪些工作？
3. 目前有开放openpose demo的计划吗？

谢谢！

作者: jefferyzhang 时间: 2019-2-8 23:40

chuyee 发表于 2019-2-8 13:28
也就是说你们已经移植完成了，只是代码还没有公开是吧？我有以下几个问题：

1. 性能怎么样？能达到多少FPS ...

第一个问题我不太记得了，好像性能还不错的。
第二个问题：移植到3399pro ubuntu可行，但是ubuntu我们没有提供aarch64的固件（版权问题），需要你们自己去ubuntu官网下载，还需要有ubuntu core的注册号才能进系统，具体可以去ubuntu官网查看。
没有其他依赖，用我们提供的centos系统也是可以做的，难度取决于你对openpose模型输入输出和前处理后处理的理解程度，跟平台无关。但是想做好，你需要对嵌入式的优化有比较高的要求，代码写不好，性能瓶颈不会在npu模型的运行上，而是你图片前后处理的代码上。
工作嘛，无非就是rknn工具把模型转换一下就可以用了，然后就是你自己写的应用了。
第三个问题：demo未来应该会有的，只是时间上暂时没有计划，之前发布时候演示的demo也是因为版权问题无法开放，社区里有人写了大家也可以一起分享下。

所以请多多关注我们社区，相互分享。。。

作者: chuyee 时间: 2019-2-9 02:03

jefferyzhang 发表于 2019-2-8 23:40
第一个问题我不太记得了，好像性能还不错的。
第二个问题：移植到3399pro ubuntu可行，但是ubuntu我们没 ...

谢谢回复！看你们之前的演示，多人的openpose检测是可以做到实时的是吧（>= 24FPS）？

作者: jefferyzhang 时间: 2019-2-9 15:04

chuyee 发表于 2019-2-9 02:03
谢谢回复！看你们之前的演示，多人的openpose检测是可以做到实时的是吧（>= 24FPS）？ ...

具体还是看检测的目标数量吧，之前直播里有演示貌似那个场景是15FPS（?）
多线程做到实时肯定是可以的，可以把整个过程看成是一个流水线工厂，比如一个线程摄像头30Fps不停绘制图像，一个线程npu推理结果后按15fps绘制姿态，相当于更新两帧视频同时更新一帧姿势绘图这样。如果你整套代码都是单线程运作，那每帧处理时间就久了。

作者: chuyee 时间: 2019-2-9 15:22

jefferyzhang 发表于 2019-2-9 15:04
具体还是看检测的目标数量吧，之前直播里有演示貌似那个场景是15FPS（?）
多线程做到实时肯定是可以的， ...

了解，可以做到隔帧检测。

作者: kitedream 时间: 2019-3-5 18:58

jefferyzhang 发表于 2019-2-8 23:40
第一个问题我不太记得了，好像性能还不错的。
第二个问题：移植到3399pro ubuntu可行，但是ubuntu我们没 ...

你好，如果openpose因为版权问题无法开放，那能否把改造方法公布一下？这样应该没有版权问题了吧？

作者: 程子 时间: 2019-3-5 19:18

kitedream 发表于 2019-3-5 18:58
你好，如果openpose因为版权问题无法开放，那能否把改造方法公布一下？这样应该没有版权问题了吧？ ...

版权问题是Ubuntu。。。

作者: kitedream 时间: 2019-3-5 21:00

程子发表于 2019-3-5 19:18
版权问题是Ubuntu。。。

能给个教程就好了。只能跑三个样例有啥用。

作者: jefferyzhang 时间: 2019-3-6 09:41

kitedream 发表于 2019-3-5 21:00
能给个教程就好了。只能跑三个样例有啥用。

我们还是希望能抛砖引玉，教会大家如何用起来，总不能市面上出一个模型我们就出一个demo吧。

作者: kitedream 时间: 2019-3-6 11:02
本帖最后由 kitedream 于 2019-3-6 11:07 编辑

jefferyzhang 发表于 2019-3-6 09:41
我们还是希望能抛砖引玉，教会大家如何用起来，总不能市面上出一个模型我们就出一个demo吧。 ...

谢谢回复，其实我想说的是，rknn的相关使用说明文档比较缺乏啊，目前还不太容易指导我们对一些模型进行改造

作者: jefferyzhang 时间: 2019-3-6 11:13
本帖最后由 jefferyzhang 于 2019-3-7 09:46 编辑

kitedream 发表于 2019-3-6 11:02
谢谢回复，其实我想说的是，rknn的相关使用说明文档比较缺乏啊，目前还不太容易指导我们对一些 ...

转换时候有问题就来论坛问问吧，目前正在为1.0版本发布而努力。关注论坛和wiki，我们会不断更新

作者: kitedream 时间: 2019-3-14 11:17
本帖最后由 kitedream 于 2019-3-14 17:05 编辑

不好意思，自己搞错了。

作者: jefferyzhang 时间: 2019-3-14 15:37

kitedream 发表于 2019-3-14 11:17
你好，我在尝试调用 openpose caffe 版本 coco数据集的模型，模型加载和build rknn 过程中没有出现问题， ...

请使命@ 回你那篇帖子的人，那人是大牛。。。

作者: Lubagov 时间: 2021-2-26 02:36
本帖最后由 Lubagov 于 2021-2-26 06:54 编辑

Hello! A couple of days ago I became the owner of the Asus Tinker EDGE R.

I'm interested in the example of OpenPose, I pulled it out of the Android firmware on FireFlay. And it works well ...

Its source has remained closed?
There is no information about how the model was converted, and what was its source?

It seems this is not the original model. Though, if only because there are no dots on the ears ... I found a post, http://t.rock-chips.com/forum.php?mod=viewthread&tid=469&highlight=openpose
but this seems to be a different model.

And another question, perhaps stupid.

D / RKNNAPI: ============================================
RKNN VERSION:
   API: 1.4.0 (bbe0dfc build: 2020-09-14 14:06:12)
   DRV: 1.3.2 (f113d64 build: 2020-04-23 09:35:26)
===============================================

This is what I see from the SSD example, I built it from source, it works. The driver version is quite old. The Android kernel is built with no modules. I would like to update, but so far I do not understand how. And it seems ASUS did not open its sources, and this is generally sad.
----

I fouund https://github.com/rockchip-linux/rknpu-fw/tree/master/npu_fw this repo, seems here version 1.4, and found tools in /vendeor/bin, execute this:
`/vendor/bin/npu_upgrade MiniLoaderAll.bin uboot.img trust.img boot.img`
and NPU stop working...
`
E/RKNNAPI: rknn_init,  recv(MsgLoadAck) fail, -9(ERROR_PIPE) != 368!
E/rkssd4j: rknn_init fail! ret=-3
`
nex i found `/vendor/etc/npu_fw`, execute same command, and NPU start working...
so... How i can understand, i need replace some files in /vendeor.img to newer version and flash it to device, for have in my asus new NPU firmware/driver?

欢迎光临 Toybrick (https://t.rock-chips.com/)