企业级Android音视频开发学习路线+项目实战+源码解析(WebRTC Native 源码、X264源码、FFmpeg、Opus源码…..)

admin • 2021-11-24 20:01 • 程序人生

前言

如今音视频的知识纷繁复杂，自己学习非常困难，既需要非常扎实的基础知识，又需要有很多的工程经验；

而音视频从业者基本上有两个层面：一个层面是搞音视频算法，这类人非常少，需要有深的数学能力和算法背景，这类人一般都会选择去大公司，薪水百万是最low 的。

另一个层面是搞工程，这类人相对较多，他们有扎实的理论基础，很强的技术功底，对音频、视频都非常熟悉。这些人工资要比一般开发者高20%左右；随着5G时代的到来，音视频慢慢变成人们日常生活中的必须品。所以，现在有大量的公司开始寻找音视频人才，一个稍好点的音视频人才现在可能会有3-4家公司抢着要。因此，对音视频人才的需求也从小众变成了大众，这更多的是大家对未来市场的预期导致的结果。

可在目前的确没有比较系统的教程或者书籍，网上的博客文章也都是比较零散的，在此小编花费大量时间收集和整理，终于将音视频方面的知识点整理成了一个专题，今天借此文章分享给对音视频感兴趣的小伙伴。

学习方向

我们先来看看一个方向性的学习指南：

在 Android 平台绘制一张图片，使用至少 3 种不同的 API，ImageView，SurfaceView，自定义 View

在 Android 平台使用 AudioRecord 和 AudioTrack API 完成音频 PCM 数据的采集和播放，并实现读写音频 wav 文件

在 Android 平台使用 Camera API 进行视频的采集，分别使用 SurfaceView、TextureView 来预览 Camera 数据，取到 NV21 的数据回调

学习 Android 平台的 MediaExtractor 和 MediaMuxer API，知道如何解析和封装 mp4 文件

学习 Android 平台 OpenGL ES API，了解 OpenGL 开发的基本流程，使用 OpenGL 绘制一个三角形

学习 Android 平台 OpenGL ES API，学习纹理绘制，能够使用 OpenGL 显示一张图片

学习 MediaCodec API，完成音频 AAC 硬编、硬解

学习 MediaCodec API，完成视频 H.264 的硬编、硬解

串联整个音视频录制流程，完成音视频的采集、编码、封包成 mp4 输出

串联整个音视频播放流程，完成 mp4 的解析、音视频的解码、播放和渲染

进一步学习 OpenGL，了解如何实现视频的剪裁、旋转、水印、滤镜，并学习 OpenGL 高级特性，如：VBO，VAO，FBO 等等

学习 Android 图形图像架构，能够使用 GLSurfaceviw 绘制 Camera 预览画面

深入研究音视频相关的网络协议，如 rtmp，hls，以及封包格式，如：flv，mp4

深入学习一些音视频领域的开源项目，如 webrtc，ffmpeg，ijkplayer，librtmp 等等

将 ffmpeg 库移植到 Android 平台，结合上面积累的经验，编写一款简易的音视频播放器

将 x264 库移植到 Android 平台，结合上面积累的经验，完成视频数据 H264 软编功能

将 librtmp 库移植到 Android 平台，结合上面积累的经验，完成 Android RTMP 推流功能

上面积累的经验，做一款短视频 APP，完成如：断点拍摄、添加水印、本地转码、视频剪辑、视频拼接、MV 特效等功能