WhyCan Forum(哇酷开发者社区)

hi3516ev300摄像头的前面几个帖子如下：

hi3516ev300摄像头-刷OpenIPC固件
   https://whycan.com/t_11292.html

motion Detect 实现
    https://whycan.com/t_11291.html
人形检测
    https://whycan.com/t_11275.html

话接上文，官方SDK中的人形检测只能判断是否有人，没办法用红框标记出来，实在很不得劲。于是一顿搜索，果然找到几个可以在嵌入式上跑的开源项目，
于是在128M内存，256M Flash小身板上，都跑了一下最简单的人脸检测，记录如下：

原图size 474*316

Tengine 之 ultraface
参考 https://github.com/OAID/Tengine

使用 Tengine 的 ultraface例程进行处理，用时275.6ms，速度最佳，准确率略输retinaface

/tengine # ./tm_ultraface  -i images/selfie_960.jpg -m models/rfb-320.tmfile
tengine-lite library version: 1.5-dev
Repeat 1 times, thread 1, avg time 275.66 ms, max_time 275.66 ms, min_time 275.66 ms
--------------------------------------
detected face num: 4
BOX 0.97:(389.72, 58.97),(458.94, 142.53)
BOX 0.91:(38.55, 87.36),(82.94, 147.53)
BOX 0.91:(289.84, 100.03),(325.86, 149.08)
BOX 0.94:(168.73, 81.97),(206.14, 133.12)
======================================
[DETECTED IMAGE SAVED]:
======================================

Tengine 之 retinaface
参考相同git ，使用不同例子，用时686.3ms，速度第二，用时间换来了准确率。可以看到还标出5个关键点。

~/tengine # ./tm_retinaface -i images/mtcnn_face4.jpg
tengine-lite library version: 1.5-dev
img_h, img_w : 316, 474
Repeat 1 times, thread 1, avg time 686.30 ms, max_time 686.30 ms, min_time 686.30 ms
--------------------------------------
detected face num: 4
BOX 1.00:( 38.4053 , 86.142 ),( 46.3009 , 64.0174 )
BOX 0.99:( 384.076 , 56.9844 ),( 76.968 , 83.9609 )
BOX 0.99:( 169.196 , 87.1324 ),( 38.4133 , 46.8504 )
BOX 0.98:( 290.004 , 104.453 ),( 37.6345 , 46.7777 )

腾讯开源的ncnn
参考 https://github.com/Tencent/ncnn.git
用时0.99s，速度第三，

/tengine/images # time ./retinaface selfie_960.jpg
dlopen failed File not found
dlopen failed File not found
dlopen failed File not found
dlopen failed File not found
dlopen failed File not found
dlopen failed File not found
load vulkan driver failed
0.99604 at 38.39 86.17 46.31 x 64.00
0.98804 at 384.06 57.02 76.96 x 83.92
0.98677 at 169.21 87.12 38.40 x 46.85
0.98447 at 290.00 104.45 37.62 x 46.79
imshow save image to image.png
waitKey stub
real    0m 0.99s
user    0m 0.90s
sys     0m 0.09s

dlib 之frontal_face_detector
参考https://github.com/david8862/dlib_on_arm
这个交叉编译又复杂，依赖又多，差点放弃，居然耗时最多，准确率也最低，漏检测一个人脸，运行结果图就不上了
/tengine/dlib # time ./sl_face_detect ../images/selfie_960.jpg
processing image ../images/selfie_960.jpg
Number of faces detected: 3
faces detected: [(352, 179) (438, 265)]
faces detected: [(102, 188) (188, 275)]
faces detected: [(563, 208) (649, 294)]
real    0m 34.48s
user    0m 34.43s
sys     0m 0.00s

总结
      身板小归小，人脸识别也能跑。
      3516本身的硬件计算Hog没能用起来， 实在有些可惜 ，否则检测时间还会有很大提升。坛子里的大佬如有建议，还请不吝指导一下，感激不尽。

后续打算
    原本以为在474*316 大小用时 276ms, 预期在1920*1080图片上用时会和数据量成倍数关系的，结果直接刷新我的认知。
    用ultraface跑一直不含人脸的1920*1080的图，用时280ms左右。  假如处理1920*1080图片的fps=3的话，感官上，延迟还可以接受，大概算是实时的吧。

     所以最终是打算用官方SDK中的SMD例程，检测到人形后， 取一张图片来跑前面的ultra face，如果检测到人脸就标记后存下来。

顺便打个小广告，有需要的坛友，可以咸鱼购买小身板开发板

【闲鱼】 https://m.tb.cn/h.grWdc1o?tk=2XJ637NQSq4  MF6563 「我在闲鱼发布了【HI3516EV300开发板，cortex A7@ 900M。】」
点击链接直接打开

接前两个帖子，官方SDK中还包含了一个高级功能，Smart Motion Detection(有人时告警)，这里简单介绍一下如何跑起来。
https://whycan.com/t_11275.html
https://whycan.com/t_11276.html

按前一个帖子中介绍，把SDK中的KO都正常加载后， 就可以跑Sample目录中的各种例程了。
其中Smart Motion Detection是在 mpp\sample\ivp目录中，首次编译的时候，会一起编译出来。
步骤如下：
1、把mpp\sample\ivp的 res目录拷贝到板子上，ivp_re_im_allday_16chn_pr1_640x360_v1030.oms是跑SMD的时候需要用的模型文件。
2、./sample_ivp  运行。

这个例程是直接把检测结果存为文件，所以可以直接跑，当摄像头获取的图像中有人时，会在整张图边缘加上红色。不仔细看不明显，所以修改为左上角加红框。

        .u32Width = 320,
        .u32Height = 180        
//        .u32Width = 640,
//        .u32Height = 360

运行结果如下：

最近在咸鱼上逛遇到hi3516ev300 拆机板子，配置挺不错，价格还可以接受，于是愉快的剁手了。
    收到后焊上串口，电源，确认硬件是好的，马上开整。

    接上串口、电源、网口，马上变成这条街最靓的开发板。
    目前用DOPI的SDK可以愉快的跑起来，DDR确实是128M。

    结合文档看到SDK中包含了几个有意思的例程，耍一耍，效果还行。所以准备分享一下垃圾佬的快乐。

   开始前，得喊一声口号：
       不愧是遥遥领先，多年前就能在有限的资源上跑起高阶功能，YYDS。

   
    后续帖子预告：
         0、烧录成自己的开发版步骤(群里都是大佬，看大家反馈，估计不用专门写了)
         1、ive例程中的移动侦测，手册上的解释： MD（Motion Detection，移动侦测）
            SDK 中default的是输出到fb0, 暂时没屏幕，修改为存为文件。

         2、ivp例程中的SMD,   手册上的解释：当有人时才告警 (Smart Motion Detection，简称：SMD)
            SDK 中default的是整张图红框，在边缘不明显，所以调到左上角了

       这两个例子都是录像存为H264文件，当然也可以改成RTSP传出来，用电脑的VLC实时播放，暂时还没做，日后再说。

/ # free 
             total       used       free     shared    buffers     cached
Mem:         90740      22052      68688          0          0      12444
-/+ buffers/cache:       9608      81132
Swap:            0          0          0
/ # df -h
Filesystem                Size      Used Available Use% Mounted on
/dev/root               250.0M     60.2M    189.8M  24% /
devtmpfs                 44.2M         0     44.2M   0% /dev

板子技术参数：
       CPU:Hi3516ev300, Cortex A7@900M
       RAM: in Chip DDR3L,  128MB （相比于dopi的3516ev200内存翻倍）
       Flash: 256M， SPI Nand Flash
   其他：
       Eth: 100M
       Micro SD
      USB 2.0 Host
      RS485、Audio接口

板子配置图：
CPU面

Sensor面

最近入手了一块Tony老师的 DOPI 3516DV300的开发板，但发现默认的uboot和kernel网口是不通的。

    之前有买过一块易百纳的3516DV300开发板，对比网口原理图发现使用的PHY芯片不同。

DOPI 3516DV300使用的LAN8720A phy芯片

易百纳的3516DV300使用的RTL8201 phy芯片

这两个PHY芯片应该是有一点不同的，然后开始一顿百度，

尝试一：
   参考这个帖子https://blog.csdn.net/cocoron/article/details/105224865
修改了PHY_ADDR\ PHY_ID，

按 8720A手册上的， PHYADDR0引脚悬空时，PHY_ADDR=0，
然后PHY_ID也按帖子中加入了，另外打印了读取的phy_id。

实际编译出来，发现打印读取的phy_id = 0xffff(图中打印的phy_addr是后面尝试从0修改为1的结果)。

尝试二：
   按海思官方的手册《外围设备驱动修改指南》1.1.3 PHY地址配置，修改了 uboot和 kernel的 dts中phy_addr， 结果还是网口不通。

尝试三：
     板子上的LAN8720 PHY始终无法调通，后面暂时跳过，想了从USB网卡的方法进行tftp，居然成功了，但又遇到了机器码不对的问题，而且改问题只有从NFS启动时才有，暂未找到较好的解决办法。

虽然uboot下可以使用USB网卡，但板子上的网口不通始终难受。
哪位大佬有调过Tony老师的 dv300+LAN8720的问题吗？  能否帮忙指导一下还有哪些地方需要修改？