Android Camera2 全屏预览+实时获取预览帧进行图像处理 |
您所在的位置：网站首页 › 实时显示数据在大屏幕显示不全 › Android Camera2 全屏预览+实时获取预览帧进行图像处理 |
Android Camera2 全屏预览+实时获取预览帧进行图像处理
|
前言
之前公司有一个需求：全屏预览的同时将预览图像传到物体检测算法中，得到检测结果（含有识别出的物体的矩阵信息，可以在传入的图像上将其框出来）并实时在预览图像上画出检测框。这里使用的是Camera2 API，而不是Camera。 需要解决的问题有： Android调用相机在自己的应用内实现视频预览：google自己的Camear2Basic例子中就有这部分内容，需要修改（Google/Camera Samples）。实时获取预览的图像资源：这一部分花了我最长时间，网上比较少有详细的说明。手机屏幕适配、预览拉伸问题：由于相机输出的分辨率和屏幕上图层的分辨率不一定能百分百吻合，所以得做一些判断和选择。物体识别算法会返回根据图片识别出的多个物体的坐标位置和结果，需要实时将其“画”在屏幕上：用一个透明的SurfaceView放置在预览图层之上就可以画框了。手机屏幕旋转时的画框问题 开启正文之前先上效果图（后面有源码）说是全屏，但由于相机输出尺寸和屏幕尺寸并不能完全吻合，而缩放会导致预览拉伸。所以在全面屏上竖直方向上会有留白，一些手机上能达到全屏预览效果（亲测）。 Google的这个例子很有代表性，虽然里面实现的是在程序内调用相机拍照并保存JPEG图片，但其中调用相机预览的逻辑是可以直接用的，网上也有很多博客对其进行了详细的介绍，这里不是本篇文章的重点，就不再累述了。以下内容也是认为读者已经对该例子基本熟悉，里面的几个函数名和一些变量名我沿用了下来。 ps:建议在官方文档上查找google例子中出现的各种API，文档上很全。至于博客里的，重在看逻辑。 问题2：实时获取预览的图像 2.1 ImageReader设置这里只讲结论，不讲分析（因为我也不懂图像编码的知识）。 直接上代码：创建ImageReader对象，参数是输入尺寸、格式（ImageFormat）和maxImages，尺寸之后再说，格式选择YUV_420_888(众所周知，JPEG太大，传来传去会很卡)，maxImages的大小没什么区别，选5即可。 // 输入相机的尺寸必须是相机支持的尺寸，这样画面才能不失真，TextureView输入相机的尺寸也是这个 mImageReader = ImageReader.newInstance(selectPreviewSize.getWidth(), selectPreviewSize.getHeight(), ImageFormat.YUV_420_888, /*maxImages*/5); mImageReader.setOnImageAvailableListener( // 设置监听和后台线程处理器 mOnImageAvailableListener, mBackgroundHandler); 2.2 将ImageReader的Surface设为CaptureRequest的target之一 // 预览请求构建(创建适合相机预览窗口的请求：CameraDevice.TEMPLATE_PREVIEW字段) mPreviewRequestBuilder = mCameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW); mPreviewRequestBuilder.addTarget(surface); //请求捕获的目标surface mPreviewRequestBuilder.addTarget(mImageReader.getSurface()); 2.3 ImageReader的回调函数 回调函数中能得到的是Image对象，由于用于物体识别的函数参数需要的是cv::Mat的对象，所以我必须将YUV_420_888格式的图像转为cv::Mat，这部分没有学过，但运气很好找到了GitHub上的一个开源算法，很好用：GitHub-quickbirdstudios / yuvToMat，有需要的朋友用的时候记得给个Star啊！然后这个回调频率和预览刷新的帧率是一样的，帧率太快这里可能会造成crash，所以用一个小技巧来降低调用耗时函数的频率，代码中有备注。最后记得用完Image一定要close()，不然肯定会crash的。 /** * ImageReader的回调函数, 其中的onImageAvailable会以一定频率（由EXECUTION_FREQUENCY和相机帧率决定） * 识别从预览中传回的图像，并在透明的SurfaceView中画框 */ private final static int EXECUTION_FREQUENCY = 10; private int PREVIEW_RETURN_IMAGE_COUNT; private final ImageReader.OnImageAvailableListener mOnImageAvailableListener = new ImageReader.OnImageAvailableListener() { @Override public void onImageAvailable(ImageReader reader) { // 小技巧：降低物体识别的频率 // 设置识别的频率，当EXECUTION_FREQUENCY为5时，也就是此处被回调五次只识别一次 // 假若帧率被我设置在15帧/s，那么就是 1s 识别 3次，若是30帧/s，那就是1s识别6次，以此类推 PREVIEW_RETURN_IMAGE_COUNT++; if(PREVIEW_RETURN_IMAGE_COUNT % EXECUTION_FREQUENCY !=0) return; PREVIEW_RETURN_IMAGE_COUNT = 0; final Image image = reader.acquireLatestImage(); // 获取最近一帧图像 mBackgroundHandler.post(new Runnable() { // 在子线程执行，防止预览界面卡顿 @Override public void run() { Mat mat = Yuv.rgb(image); // 从YUV_420_888 到 Mat(RGB)，这里使用了第三方库，build.gradle中可见 Mat input_mat = new Mat(); Imgproc.cvtColor(mat,input_mat, Imgproc.COLOR_RGB2BGR); // 转换格式 // BvaNative.detect函数是物体识别函数，一个物体为一组数据，都在返回值里 final float[] result = BvaNative.detect(input_mat.getNativeObjAddr(),true,mRotateDegree); // 识别 if(result == null){ Log.d(TAG, "detector: result is null!"); }else { float[][] get_finalResult = TwoArray(result); //变为二维数组 show_detect_results(get_finalResult); // 在UI线程中画框 } image.close(); // 这里一定要close，不然预览会卡死 } }); } }; 问题3：手机屏幕适配、预览拉伸问题这部分问题主要涉及到 屏幕实际尺寸相机可用尺寸（是一个列表）预览用的TextureView尺寸前两个在一部手机上是固定的，我们需要根据前两个尺寸来决定预览尺寸（预览尺寸也就决定了画框用的SurfaceView尺寸和ImageReader初始化时的尺寸）。在Google的例子中，预览的尺寸并不是全屏，所以这部分得重写。网上有方案是对TextureView进行缩放：使用TextureView setTransform(Matrix)方法，解决Camera显示变形问题 才用那种方案时，我还需要将图像进行缩放才能保证框能够准确的画在物体上，但缩放会导致预览拉伸，这里是个矛盾的点。 我最终使用了折中的方案：根据相机所能提供的分辨率和屏幕分辨率之间做“适配”，在做到预览不拉伸的前提下尽可能让预览尺寸接近全屏。 3.1 屏幕尺寸获取这里的逻辑有点乱，主要是因为横竖屏的问题（后来固定竖屏了，这部分没改过来，因为照样可以用） // 获取当前的屏幕尺寸, 放到一个点对象里 Point screenSize = new Point(); getWindowManager().getDefaultDisplay().getSize(screenSize); // 初始时将屏幕认为是横屏的 int screenWidth = screenSize.y; // 2029 int screenHeight = screenSize.x; // 1080 Log.d(TAG, "screenWidth = "+screenWidth+", screenHeight = "+screenHeight); // 2029 1080 // swappedDimensions: (竖屏时true，横屏时false) if (swappedDimensions) { screenWidth = screenSize.x; // 1080 screenHeight = screenSize.y; // 2029 } // 尺寸太大时的极端处理（MAX_PREVIEW_WIDTH/MAX_PREVIEW_HEIGHT = 1920/1080，这是Google例子中标明的） if (screenWidth > MAX_PREVIEW_HEIGHT) screenWidth = MAX_PREVIEW_HEIGHT; if (screenHeight > MAX_PREVIEW_WIDTH) screenHeight = MAX_PREVIEW_WIDTH; Log.d(TAG, "after adjust, screenWidth = "+screenWidth+", screenHeight = "+screenHeight); // 1080 1920 // 自动计算出最适合的预览尺寸（实际从相机得到的尺寸，也是ImageReader的输入尺寸） // 第一个参数:表示相机在SurfaceTexture上支持的输出尺寸List selectPreviewSize = chooseOptimalSize(map.getOutputSizes(SurfaceTexture.class), screenWidth,screenHeight,swappedDimensions); 3.2 chooseOptimalSize函数重写 /** * 计算出最适合全屏预览的尺寸 * 原则是宽度和屏幕宽度相等，高度最接近屏幕高度 * * @param choices 相机支持的尺寸list * @param screenWidth 屏幕宽度 * @param screenHeight 屏幕高度 * @return 最合适的预览尺寸 */ private static Size chooseOptimalSize(Size[] choices, int screenWidth, int screenHeight, boolean swappedDimensions) { List bigEnough = new ArrayList(); StringBuilder stringBuilder = new StringBuilder(); if(swappedDimensions){ // 竖屏 for(Size option : choices){ String str = "["+option.getWidth()+", "+option.getHeight()+"]"; stringBuilder.append(str); if(option.getHeight() != screenWidth || option.getWidth() > screenHeight) continue; bigEnough.add(option); } } else{ // 横屏 for(Size option : choices){ String str = "["+option.getWidth()+", "+option.getHeight()+"]"; stringBuilder.append(str); if(option.getWidth() != screenHeight || option.getHeight() > screenWidth) continue; bigEnough.add(option); } } Log.d(TAG, "chooseOptimalSize: "+ stringBuilder); if(bigEnough.size() > 0){ return Collections.max(bigEnough, new Preview_Detector.CompareSizesByArea()); }else { Log.e(TAG, "Couldn't find any suitable preview size"); return choices[choices.length/2]; } } 3.3 预览TextureView、ImageReader和surfaceView尺寸设置 // 设置画框用的surfaceView的展示尺寸，也是TextureView的展示尺寸（因为是竖屏，所以宽度比高度小） surfaceHolder.setFixedSize(mPreviewSize.getHeight(),mPreviewSize.getWidth()); mTextureView.setAspectRatio(mPreviewSize.getHeight(), mPreviewSize.getWidth()); // 输入相机的尺寸必须是相机支持的尺寸，这样画面才能不失真，TextureView输入相机的尺寸也是这个 mImageReader = ImageReader.newInstance(selectPreviewSize.getWidth(), selectPreviewSize.getHeight(), ImageFormat.YUV_420_888, /*maxImages*/5); // 以下语句在createCameraPreviewSession函数中设置 // 获取用来预览的texture实例 SurfaceTexture texture = mTextureView.getSurfaceTexture(); assert texture != null; texture.setDefaultBufferSize( selectPreviewSize.getWidth(),selectPreviewSize.getHeight()); // 设置宽度和高度 Surface surface = new Surface(texture); // 用获取输出surface 问题4：画框和结果画框倒是不难的，首先清空Canvas上已有框，然后根据识别出来的坐标画上去即可。 /** * 接收识别结果进行画框 * @param get_finalResult 识别的结果数组，包含物体名称、置信度和用于画矩形的参数（x,y,width,height） * name=floats[0] confidence=floats[1] x=floats[2] y=floats[3] width=floats[4] height=floats[5] */ private void show_detect_results(final float[][] get_finalResult) { runOnUiThread(new Runnable() { @Override public void run() { ClearDraw(); // 先清空上次画的框 canvas = surfaceHolder.lockCanvas(); // 得到surfaceView的画布 for (float[] floats : get_finalResult) { // 画框并在框上方输出识别结果和置信度 canvas.drawRect(floats[2], floats[3], floats[2] + floats[4], floats[3] + floats[5], paint_rect); canvas.drawText(resultLabel.get((int) floats[0]) + "\n" + floats[1], floats[2], floats[3], paint_txt); } surfaceHolder.unlockCanvasAndPost(canvas); // 释放 } }); } /** * 清空上次的框 */ private void ClearDraw(){ try{ canvas = surfaceHolder.lockCanvas(null); canvas.drawColor(Color.WHITE); canvas.drawColor(Color.TRANSPARENT, PorterDuff.Mode.SRC); }catch(Exception e){ e.printStackTrace(); }finally{ if(canvas != null){ surfaceHolder.unlockCanvasAndPost(canvas); } } } 问题5：手机屏幕旋转时的画框问题由于横竖屏切换时用户体验不好，实现起来也比较费劲，而且有一些奇怪的问题我无法解决（这才是主要原因）。所以换成固定竖屏，然后调整Canvas坐标系来适应手机的旋转。 5.1 监听屏幕旋转首先得监听屏幕方向的旋转，这里选取了四个角度：竖屏、home键朝左、home键朝右和竖屏并上下颠倒。监听可以在onStart()或onResume()回调中开启。 // 监听屏幕的转动，mRotateDegree有四个值：0/90/180/270,0是平常的竖屏，然后依次顺时针旋转90°得到后三个值 orientationListener = new OrientationEventListener(this, SensorManager.SENSOR_DELAY_NORMAL) { @Override public void onOrientationChanged(int orientation) { if (orientation == OrientationEventListener.ORIENTATION_UNKNOWN) { return; //手机平放时，检测不到有效的角度 } //可以根据不同角度检测处理，这里只检测四个角度的改变 // 可以扩展到多于四个的检测，以在不同角度都可以画出完美的框 // （要在对应的画框处添加多余角度的Canvas的旋转） orientation = (orientation + 45) / 90 * 90; mRotateDegree = orientation % 360; //Log.d(TAG, "mRotateDegree: "+mRotateDegree); } }; if (orientationListener.canDetectOrientation()) { orientationListener.enable(); // 开启此监听 } else { orientationListener.disable(); } 5.2 根据屏幕旋转方向调整坐标系这里需要知道，Android手机固定竖屏时，坐标原点始终在“左上角”，这个左上角指的是正常竖屏放置时的左上角。但输入图像检测时一直都是正常竖直的，所以结果中的坐标也是以图像左上角为坐标原点，如果直接画框，方向肯定是错的。 最简单的解决方案就是旋转Canvas的坐标系，因为它已经提供了函数，很简单使用：canvas.translate和canvas.rotate。这里就不讲Canvas的知识了，网上有很多。 private void show_detect_results(final float[][] get_finalResult) { runOnUiThread(new Runnable() { @Override public void run() { ClearDraw(); // 先清空上次画的框 canvas = surfaceHolder.lockCanvas(); // 得到surfaceView的画布 // 根据屏幕旋转角度调整canvas，以使画框方向正确 if(mRotateDegree != 0){ if(mRotateDegree == 270){ canvas.translate(mPreviewSize.getHeight(),0); // 坐标原点在x轴方向移动屏幕宽度的距离 canvas.rotate(90); // canvas顺时针旋转90° } else if(mRotateDegree == 90){ canvas.translate(0,mPreviewSize.getWidth()); canvas.rotate(-90); } else if(mRotateDegree == 180){ canvas.translate(mPreviewSize.getHeight(),mPreviewSize.getWidth()); canvas.rotate(180); } } for (float[] floats : get_finalResult) { // 画框并在框上方输出识别结果和置信度 canvas.drawRect(floats[2], floats[3], floats[2] + floats[4], floats[3] + floats[5], paint_rect); canvas.drawText(resultLabel.get((int) floats[0]) + "\n" + floats[1], floats[2], floats[3], paint_txt); } surfaceHolder.unlockCanvasAndPost(canvas); // 释放 } }); } 源码github/Preview_Detect csdn/Preview_Detect 感谢Android Camera2预览和实时帧数据获取 GitHub-quickbirdstudios / yuvToMat 设置Android Camera2预览画面的帧率 Camera2在预览的TextureView上画矩形 SurfaceView清空Canvas |
【本文地址】
今日新闻 |
推荐新闻 |