使用 IBM Worklight 开发跨平台的 HTML5 视频播放混合应用程序

随着众多企业将触角从计算机转移到移动设备,人们开始使用移动混合应用程序来利用 HTML5 的跨平台功能。不幸的是,在跨平台视频播放方面(尤其是在 Android 操作系统上运行的混合应用程序中),仍然缺乏对 HTML5 的支持。本文将介绍如何利用 IBM® Worklight 的移动混合功能来解决这些问题并实现视频播放。 本文来自于 IBM WebSphere Developer Technical Journal 中文版

Bill Paris, 软件开发人员, IBM

Bill Paris 是为 IBM Software Services for WebSphere 部门提供咨询的一名软件开发人员。他专门从事电信行业的移动应用程序和服务器中间件的开发。



Sreeni Pamidala , 高级认证 IT 架构师, IBM

Sreeni Pamidala 是一位高级认证 IT 架构师,目前担任 ISSW Mobile Services, AIM Software 小组的首席架构师。在此职位上,他将大部分时间用在了与所有行业客户的合作上,使用与企业基础架构和中间件集成在一起的 IBM Mobile Foundation 技术来开发和交付移动解决方案。在担任此职位之前,Sreeni 与 ComSector 客户合作了 15 年,在那里领导了多个成功的服务活动,为移动和遗留电话服务提供商开发并部署复杂的 Web、基于网络的运营商级解决方案,使用 IBM 的跨品牌软件和硬件产品栈以及一些第三方供应商的集成产品来实现一流的解决方案。



Raghunandan K Harithas, 顾问 IT 专家, IBM

Raghunandan Harithas 是在美国马里兰的 IBM 安纳波利斯办事处工作的一名 IT 专家。他在多个使用众多 WebSphere 产品的电信项目中担任过技术领导。他目前正使用基于 IBM Worklight 的 IBM Mobile Foundation 软件从事移动应用程序开发。



2012 年 10 月 24 日

简介

移动混合应用程序将原生的操作系统功能与 Web 技术相结合。通常,混合应用程序在一个嵌入式 Web 浏览器中呈现内容,该方法增强了跨平台功能,因为大部分代码都可使用 HTML5 技术编写,同时支持在必要时访问原生设备功能。IBM Worklight 是一个移动应用程序平台,支持开发跨平台混合应用程序,提供了在 Web 视图与原生视图之间导航的机制,还提供了一个可使混合应用程序更接近 “一次编写,随处运行” 目标的开发和运行时环境。

应用程序中的视频播放是一个很难实现跨平台功能的领域。HTML5 的 <video> 标记用于实现跨平台视频播放,但功能支持上的不一致导致它无法实现此目标。

本文将重点介绍如何在跨平台 HTML5 混合应用程序中开发视频播放,解释 IBM Worklight 开发平台如何帮助解决无法在任何特定平台上支持 HTML5 的视频功能时遇见的问题。


视频播放挑战

计算机和移动设备上的视频播放长久以来一直是开发人员面临的挑战,因为开发视频功能需要理解复杂的技术和术语。在深入介绍之前,让我们来了解一些术语。

视频是一个视频(或图片)流和一个或多个音频流的组合,它们都封装在一个压缩文件中。在常见的视频用语中:

  • 视频容器将音频和视频文件封装在单个压缩文件中。有许多视频容器格式,一些流行的格式包括 MPEG4、Flash Video、Ogg、WebM 和 Audio Video Interleave。容器格式使用文件扩展名表示,比如 mp4、flv、ogv、webm 和 avi 等。
  • 视频编解码器识别用于编码和解码(压缩和解压)视频流的软件算法。视频播放器需要知道使用何种编解码器来解码和播放视频流。
  • 音频编解码器类似于视频编解码器,但用于音频流。

通向 HTML5 之路

视频播放的主要挑战来源于计算机和移动设备中的视频播放机制的演化。在 HTML5 规范诞生之前,没有在浏览器中播放视频的标准方式,而且视频几乎始终是通过第三方插件(比如 RealPlayer、Apple QuickTime 和 Adobe Flash)进行传输的。HTML5 的视频播放功能从一定程度上解决了对插件的依赖性,甚至在 YouTube 播放视频的广受欢迎导致 Flash 成为桌面上的实时标准时也是如此。随着 Apple 拒绝 Flash,转而青睐于使用 HTML5 在 iOS 设备上播放视频,使用 Flash 的跨领域视频播放就变得不可能了,而且开发人员开始关注创建使用 HTML5 播放视频的网站了。

HTML5 添加了一个新 video 标记用于将视频内容直接嵌入到网页中,以不使用插件播放视频。清单 1 给出了添加一个 video 标记来在浏览器窗口中播放 mp4 视频的示例。它指定嵌入到浏览器窗口中的视频播放器的宽度和高度,分配给它的空间量,启用了自动播放,所以视频无需用户操作即可播放,还启用了屏幕视频控件(播放、暂停和音量)。最重要的是,它指定了要播放的视频源压缩文件。

清单 1. 用于将视频嵌入网页中的 HTML5 video 标记
<video width="320px" height="480px" autoplay="autoplay" controls="controls">
	<source src="dir/video.mp4" type="video/mp4"/>
</video>

HTML5 video 标记的采用已得到广泛支持。最初,在起草 HTML5 时,Safari 是惟一提供了 HTML5 视频支持的浏览器,但现在所有现代浏览器都支持它。网络上的流视频正在快速从 Flash 插件过渡到 HTML5 标准,即使 HTML5 规范仍然为草案格式(预计将于 2014 年完成)。

HTML5 视频播放的不足之处

不幸的是,对 HTML5 video 标记的浏览器支持仅是故事的一部分,因为视频播放需要的不仅仅是标记支持。对视频容器格式、视频和音频编解码器,以及传输协议的支持都在跨浏览器的网页互操作性中发挥着重要的作用。例如,对 H.264 和 WebM 等编解码器的浏览器支持是可选择的,一些浏览器支持一种编解码器,而不支持另一种编解码器。HTML5 没有指定编解码器,因为标准小组未对使用哪种编解码器达成一致意见,这意味着考虑使用 HTML5 video 的 Web 开发人员必须考虑浏览器兼容性问题。

由于移动设备的多样性和它们不同的屏幕分辨率和处理器,移动视频播放还带来了其他挑战。例如,移动市场上有数百个 Android 变体版本,它们都需要播放音频和视频。


试验、苦恼和解决方案

我们的 SmarterTVApp 项目涉及到一个具有视频播放功能的跨平台移动混合应用程序的开发,似乎只有使用 HTML5 video 播放视频才是自然而然的事。我们使用经过 Worklight Studio 4.2 Eclipse 插件扩展的 Eclipse、在 Red Hat Linux® 上运行 Worklight Server 的服务器硬件,以及一个填充了 MPEG4 视频文件的视频存储服务器组建了一个开发环境。然后使用多个运行 Android 4.0 Ice Cream Sandwich 和 Apple iOS 5 的移动设备来测试它,它们从一个视频存储服务器接收视频,该服务器使用 HTTP Level Streaming (HLS) 协议传输视频。

3 层混合应用程序模型

Worklight 开发的应用程序使用一种 3 层跨平台应用程序模型,如图 1 所示。最底层包含原生操作系统 API 库提供的原生操作系统功能。对于我们的 SmarterTVApp,这包括内置于应用程序中的 Android 或 iOS 操作系统 API 调用点。

图 1. 3 层应用程序模型
图 1. 3 层应用程序模型

中间层包含 Worklight 和它提供的 Apache Cordova 组件,它们将 HTML5 应用程序代码与原生的设备操作系统功能衔接起来。Apache Cordova(以前称为 PhoneGap)是一个开源移动开发框架,支持通过 JavaScript™ 访问原生操作系统功能来开发混合应用程序。这一层中的 Worklight 组件提供了客户端功能,比如设备皮肤、加密存储、推送通知、服务器集成框架和许多其他功能。

顶层包含应用程序组件。在 SmarterTVApp 中,顶层包含我们的自定义应用程序 JavaScript、HTML 和 CSS 代码,以及我们为了支持应用程序而导入的组件 IBM Dojo Toolkit 1.7.2 版,以及我们的应用程序用来演示和视图间过渡的 IBM issw.mobile 应用程序框架。

开发环境

当在 Eclipse 中创建一个 Worklight 项目时,Worklight Studio 插件创建一个初始目录结构,其中填充了一组针对应用程序和运行时环境的文件夹。SmarterTVApp 的目录结构如图 2 所示。common 文件夹包含所有设备部署环境中通用的 JavaScript、HTML 和 CSS 文件,而 android、ipad 和 mobilewebapp 文件夹包含特定于设备的优化文件。

在 common 文件夹中,我们还添加了与 Dojo 相关的文件夹(dijit、dojo 和 dojox)来保存应用程序使用的 Dojo 文件,并为组成 issw.mobile application 框架的文件添加了一个 issw 文件夹。

图 2. Worklight 项目文件夹
图 2. Worklight 项目文件夹

开发测试环境的一个简单演示如图 3 所示。Android 和 iOS 设备与一个在 Worklight Server 上运行的服务器应用程序交互,该应用程序然后会发起从 Video Storage Server 到设备的视频传输。

图 3. 开发测试环境
图 3. 开发测试环境

使用 HTML5 video 的初始实现

我们的初始设计使用了 HTML5 video 来实现跨平台视频播放,所以我们使用两个 source 元素来实现 video 元素,如清单 2 所示。当遇到多个 source 元素时,浏览器将会使用第一个识别的格式,我们希望 MP4 和 OGV 格式将会提供足够多的跨浏览器功能。

清单 2. 指定一种多格式的视频的 HTML5 video 标记
<video width="320px" height="480px" autoplay="autoplay" controls="controls">
	<source src="dir/video.mp4" type="video/mp4/">
	<source src="dir/video.webm" type="video/webm/">
</video>

在我们开始测试第一个原型时,我们对通过使用 HTML5 video 快速实现跨平台视频播放的高期望破灭了。通过一些调整,我们成功地在 iOS 设备上运行的应用程序之上实现了视频播放,但在 Android 上运行它时就没有这么幸运。因此,要在开发过程中执行一个试用和错误阶段。

努力实现解决方案

这里的一个重要的考虑因素是,用于 Android 的移动混合方法(由 Cordova 实现)基于用于显示网页的 Android WebView 类。一个基于 Cordova 的混合应用程序使用一个 WebView 显示应用程序的 HTML5 内容部分。在我们的测试中,我们发现尽管 HTML5 视频内容能在 Android 浏览器中成功播放,但在通过混合应用程序的 WebView 对象显示 HTML5 视频内容时,无法播放该视频。

我们自然会从网络上寻找信息,一次快速搜索证实了我们的担忧:技术论坛上的许多帖子来自在 Android 4.0 上面临类似 WebView HTML5 视频播放问题的痛苦的开发人员。根据我们查阅到的建议,我们尝试了各种视频格式,尝试过更改 video 标记参数,还尝试过更改创建 video 元素及其属性的许多动态 (JavaScript) 和静态 (HTML) 方面,但都没有成功。

所以是采用 B 计划的时候了:在将应用程序构建为在 Android 上运行时,放弃使用 HTML5 video 标记的跨平台视频播放,改用 Android 原生视频播放功能。当构建来在 iOS 上运行时,应用程序将按最初的计划使用 HTML5 视频播放。

使用 Worklight 开发的一个好处是,它提供了一种将原生页面合并到混合应用程序中的简单机制。Worklight 的混合编码功能支持应用程序在 Web 与原生页面之间导航,以及在这些页面间共享数据。通过使用此功能,我们的混合应用程序能够切换到使用 Android 的 Java API 集播放视频的原生页面,然后在播放完视频时切换回对 iOS 和 Android 通用的 JavaScript 代码。

有了此知识,我们开始实现一个原生页面,它使用 VideoView 对象创建一个 Android 活动来播放视频,最后我们取得了成功:在 Android 上运行的时候播放视频。


解决方案细节

解决方案同时包含 Android 原生 Java 代码和 JavaScript 代码。JavaScript 代码使用 Worklight 的功能调用 Android Java 代码来播放视频。

播放视频的 Android 原生 Java 代码

为了实现 Java 视频功能,我们首先在特定于 Android 的项目结构位置下创建了一个新 StreamingVideoActivity.java 类,如图 4 所示。Worklight 项目结构(将特定于设备的优化文件分离到独立的文件夹中)简化了我们的解决方案需要的 Android 原生代码的添加。

图 4. 包含 Android 原生 Java 代码的 Worklight 项目文件夹
图 4. 包含 Android 原生 Java 代码的 Worklight 项目文件夹

StreamingVideoActivity 被实现为 Android 活动的一个扩展,使用 VideoView 和 MediaController 来播放视频。此实现的大纲如清单 3 所示。完成的解决方案将实现处理视频终止和完成事件的回调,以将控制权返回到 Worklight 的基于 Web 的屏幕视图。

清单 3. StreamingVideoActivity.java 实现
public class StreamingVideoActivity extends Activity {
	
    /** Called when the activity is first created. */
    @Override
    public void onCreate(Bundle savedInstanceState) {
    	
	super.onCreate(savedInstanceState);
	Log.d("StreamingVideoActivity", "Entering onCreate");			

	// Extract the URL from the Intent
	String url = getIntent().getStringExtra("urlParam");
		
	Log.d("StreamingVideoActivity", "About to play URL: url");			
	VideoView videoView = new VideoView(this);
	videoView.setVideoPath(url);
		
	MediaController ctlr = new MediaController(this);
	ctlr.setMediaPlayer(videoView);
	videoView.setMediaController(ctlr);
       
	setContentView(videoView);
	videoView.requestFocus();
	Log.d("StreamingVideoActivity", "Leaving onCreate");			
    }
}

从 Web 应用程序调用 Android 代码

Android 工作完成后,剩余的工作只是创建一个 JavaScript 函数,它使用 Worklight WL.NativePage.show API 函数从基于 Web 的活动切换到新的原生 Android 活动。实现此功能的 JavaScript 文件 SmarterTVApp.js 放在特定于 Android 的项目结构位置中,如图 5 所示。

图 5. 包含特定于 Android 的 JavaScript 文件的 Worklight 项目文件夹
图 5. 包含特定于 Android 的 JavaScript 文件的 Worklight 项目文件夹

清单 4 中的代码摘自 SmarterTVApp.js,显示了调用 Worklight WL.NativePage.show 函数来运行 StreamingVideoActivity 活动的 openNativePage 函数的实现。

清单 4. SmarterTVApp.js 代码摘录
/**
 * Plays the specified video in an Android native page
 * @param url  The video URL
 */
function openNativePage (url) {
	WL.Logger.debug("Switching to SmarterTVApp.StreamingVideoActivity to play " +url);

	// Create an object to hold the URL.  The field name, urlParam, must match
	// the name used in the native Android Java code for extracting the URL
	var params = {urlParam : url};

	// Show the Android native page
	WL.NativePage.show('com.SmarterTVApp.StreamingVideoActivity', 
		backFromNativePage, params);
}

/**
 * Invoked as a call-back on return from the Android native page
 * @param data
 */
function backFromNativePage(data) {
	WL.Logger.debug("Back from StreamingVideoActivity");
}

最后,我们需要在混合应用程序在一个 Android 设备上运行时有条件地调用 openNativePage,Worklight Studio 开发环境也可在这里提供帮助。无需检测设备类型并添加 if-then-else JavaScript 逻辑,Worklight 项目结构会自动处理此任务。在我们的应用程序视频中,播放在 StreamingView.js 文件中执行。通过创建该文件的两个版本,如图 6 所示,一个存储在启动 HTML5 视频播放的 common 文件夹中,另一个存储在调用 Worklight openNativePage 函数来启动 Android 原生视频播放的 android 文件夹中,Worklight Studio 自动处理了包含适合运行时环境的文件版本的过程。

图 6. 视频流的双重实现
图 6. 视频流的双重实现

点击查看大图

图 6. 视频流的双重实现

图 6. 视频流的双重实现

结束语

从这个项目,我们了解到,跨平台视频播放可能很难实现,并且解决方案可能需要使用原生设备功能。Worklight 通过使用它组合原生和基于 Web 的功能的能力,简化了开发。


致谢

感谢我们的同事 Anton Aleksandrov、Raanan Avidor、Karl Bishop 和 Tom Thacher 的技术贡献和指导,正是这些帮助造就了此项目的成功。

参考资料

学习

获得产品和技术

讨论

条评论

developerWorks: 登录

标有星(*)号的字段是必填字段。


需要一个 IBM ID?
忘记 IBM ID?


忘记密码?
更改您的密码

单击提交则表示您同意developerWorks 的条款和条件。 查看条款和条件

 


在您首次登录 developerWorks 时,会为您创建一份个人概要。您的个人概要中的信息(您的姓名、国家/地区,以及公司名称)是公开显示的,而且会随着您发布的任何内容一起显示,除非您选择隐藏您的公司名称。您可以随时更新您的 IBM 帐户。

所有提交的信息确保安全。

选择您的昵称



当您初次登录到 developerWorks 时,将会为您创建一份概要信息,您需要指定一个昵称。您的昵称将和您在 developerWorks 发布的内容显示在一起。

昵称长度在 3 至 31 个字符之间。 您的昵称在 developerWorks 社区中必须是唯一的,并且出于隐私保护的原因,不能是您的电子邮件地址。

标有星(*)号的字段是必填字段。

(昵称长度在 3 至 31 个字符之间)

单击提交则表示您同意developerWorks 的条款和条件。 查看条款和条件.

 


所有提交的信息确保安全。


static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=10
Zone=WebSphere, 移动开发
ArticleID=842486
ArticleTitle=使用 IBM Worklight 开发跨平台的 HTML5 视频播放混合应用程序
publish-date=10242012