静止画のVR180 Side by Side対応を機能追加した Channel Playerの新しいバージョン1.31をリリースしました。Oculus AppLabやSteamから入手可能です。ソフトウェアのページで御案内しています。
カテゴリー: Quest2
動画の色補正とホワイトバランスの実装
具体的には、HSV(Hue:色相、Saturation:彩度、Value/Brightness:明度)や、Contrast:コントラストの調整と、ホワイトバランス(Temperature, Tint)の調整機能をChannel Playerに実装することを考える。
HSV, Contrast, Temperature, Tintの各VR Playerの実装状況を調べてみて、Channel Playerで実装すべき項目を表にして考えてみた。設定できるもの何でもてんこ盛りのHere Sphereでは、Hueの代わりにTintを実装しているように見えるが、どちらで色を調整するかは好みであるとも言えるため、Channel Playerでは両方実装する方針とした。なお現状のShaderのコードでは、SV, Contrastと、Temperature, Tintは実装してある。Hueを実装したShaderにはしていないが、参考情報を元に、HSVのShaderにContrastを追加することを考えることとした。
| Pigasus | HSV, Contrast | ||
| Deo | HSV, Contrast | ||
| Skybox | SV, Contrast | ||
| PLAY’A | SV, Contrast | ||
| HereSphere | S, Contrast, Temperature, Tint | ||
| Channel Player | HSV, Contrast, Temperature, Tint |
参考情報
- Temperature, Tintの実装
https://zenn.dev/shiena/articles/color-grading-shader
動画用に軽量色補正シェーダーを作る
- HSVの実装
https://hacchi-man.hatenablog.com/entry/2020/01/03/220000
【Unity】画像の HSV 変換シェーダー – うにてぃブログ
- SV, Contrastの実装
https://www.programmersought.com/article/20663784804/
Unity Shader color processing (brightness, saturation, contrast) – Programmer Sought
- Contrastの実装
https://nn-hokuson.hatenablog.com/entry/2017/08/01/194341
【Unityシェーダ入門】コントラストを調節できるポストエフェクトを作る – おもちゃラボ
Youtube DL Video Playerアセットを使ったUnityアプリをOculus Quest 2で動作させる
ここ2か月ほどかけて、Youtube DL Video Player というUnity Asset Storeで公開されているAssetを試していた。これは内部に aarファイルの形式で、PythonバイナリとPythonで書かれたyoutube-dlを動作させ、Youtubeのコンテンツの実際のURLを引っ張り出して再生できるようにするもので、これをChannel Playerに組み込むか、あるいは単体アプリとしてYoutubeの動画再生機能をOculus Quest2で動作させるのが目的であった。(ちなみにUnity Asset Storeでは、Youtube Video Player + Youtube APIというAssetも存在し以前使ったこともあるが、古い昔のバージョンとは異なり、近年のバージョンではherokuapp.comを内部で呼んでいてアーキテクチャが理解できていないので保留している)
当初、サンプルアプリを作って、Oculus Goでも動くようにとARMv7向けにbuildしたら、Goで動くことが確認出来た。しかし、これをそのままQuest 2にインストールしても動かず、またARM64向けにbuildしても同様で動作せず、そこからが迷走の始まりであった。
まずエラーメッセージを見ると、ARMv7版とARM64版ではどちらも同じエラーであり、以下のようなものであった。
10-19 00:13:01.571: E/YoutubeDLPlugin(31518): java.io.IOException: Cannot run program “/data/user/0/com.Applet_LLC.myTube/files/youtubedl-android/packages/usr/bin/python”: error=13, Permission denied
Youbue DL Video PlayerのAsset Storeのレビューでは、IL2CPPではbuildできないとか、Android 10ではダメだとかしか書かれておらず、要するにARM64なOculus Quest 2では出来そうにないことが書かれていて断念していたのだが、実行できないのは、このaarプラグイン形式がダメなのだろうと思い、Youtube DL Video Playerアセットを使うのをやめて、NuGetから、NYoutubeDLというyoutube-dlをC#から呼び出すラッパーを試してみた。結論はOculus Riftでは動作できるようにできるが、このラッパーは、youtube-dl.exeを実行するものであるので、解決策からは、ほど遠いものであった。
Pythonが実行できないとダメだと思い、調べてみるとTermuxというアプリで、shellを起動しpythonを実行して、youtube-dlスクリプトを動作させることが出来ることが判った。しかしこれは、Linux Shellが使えるようになるだけで、UnityのC#から呼び出すことはできない。そこで、今度はIronPython for Unityとpython-for-androidを試すことにした。これらは、pythonスクリプトを実行できるが、前者はUnity Editor環境でPythonスクリプトが使えるようにするもので、アプリには出来ない。後者は、もっと調べてみると、Buildozerというpython-for-android を組み込んで書かれたPythonスクリプトを、kivyと呼ばれるGUIを持ったPythonスクリプトをAndroidで動作できるようにAPKファイルを作るものがあったので、それをWSLのUbuntu環境でbuildして、APKを作ることが出来るようになった。ここでBuildozerで、kivy GUIを使わないコードにすればGUIを持たず良いのではと思い、youtube-dlの派生版である yt-dlpを inportするようにしてAPKを作成した。Buildozerは良く出来ていて、Pythonスクリプトや buildozer.spcに yt-dlpのキーワードを書くだけで、勝手にyt-dlpをgetしてbuildしてしまう。このAPKをインストールして、Unityで作ったサンプルアプリから、Intentにyt-dlpの引数を渡して、Pythonスクリプトでは、Intentをyt-dlpの引数に渡すようにして、yt-dlpが実行した際の標準出力をファイル出力させれば、UnityのVideoPlayerやAVPro VideoのPlayerが解釈できるURLを吐き出すことが出来るはず。その後、Unity側から、そのファイルを読み込んで、Playerに渡せば、どうにか動くようにできるのではと作っていたが、Unityから引数が渡せて、Pythonとyt-dlpが動作するようになった時点で、困った事態が発生していることが判った。それは、Unity側のアプリから呼び出したyt-dlpのActivityは、要するに別アプリなので画面が遷移してブラックアウトしてしまう。これではアプリとして成立せずダメだと思いAndroidのサービスプログラムにしなければと、さらなる深みに入ろうとしていた。これが先週末あたりの出来事である。
ここで、迷ったら最初に戻るよろしく、最初のエラーメッセージから解決策が他にないのかを探ることにした。まず、なぜ先のエラーメッセージになっているのかを調べることにした。
そもそもエラーメッセージは、実行権限が無いと言っているだけで、実行ファイルでは無いとかファイルが存在しないと言っているわけでは無い。そこでこのエラーメッセージで検索して調べてみると以下の情報が得られた。
What path to put executable to run on Android 29? – Stack Overflow https://stackoverflow.com/questions/64786837/what-path-to-put-executable-to-run-on-android-29/64792194#64792194
これは、Androidのlevelが29以降だと、アプリのフォルダに置かれたバイナリを実行することが出来ないというものであり、これに該当していたことになる。Google Playとは異なり、Oculus Quest 2の場合は、TargetSDK level は29以上である必要は無いので(25以上であれば良い。ただしAppLabに登録するなら29となります。)、TargetSDKを下げてやれば、実はQuest 2でも先の Youtube DL Video Playerをそのまま使って動作できるのではと考え、実行に移してみた。
Unityの場合、TargetSDKは、Plugin/Androidに置いた AndroidManifest.xmlにも記載場所があるが、実際にbuildする際は、UnityのPlayerSettingsのTargetAPI Levelの指定が有効となる。ここをAutoにしていると環境に依存し、使えるAndroid SDKの一番高いレベルのものでbuildしてしまう。そこで、ここを28にして、ARM64向けにbuildしたら、エラーメッセージは発生せず、無事にYoutubeのコンテンツがサンプルアプリでOculus Quest 2の中で再生できた。
入手したスキル。Ubuntu環境にてBuildozerでAPKの作り方。Pythonスクリプトの書き方(触りだけだけど)。UnityのC#コードから他のAndroid Activityを呼び出しIntentを渡す方法。Pythonスクリプト側で受け取ったIntentを引数として解釈する方法、Pythonでstdin/stdoutをファイル出力に変える方法と、intentをsplitしてsys.argに代入すると、そこから呼び出したPythonスクリプトは、引数が存在していることを想定しているので、うまく渡る。
Fisheye180 Shader HIGH_QUALITY対応
以前対応したときには、HIGH_QUALITYフラグを有効にした場合の動作が出来ていなかったが、対応してみました。以下のコードとなります。しばらく、これでテストしてみて問題無ければ、#ChannelPlayerのリリースに進みます。
オリジナルのコードに比べ、ホワイトバランス、輝度、彩度、コントラスト、ストレッチの追加オプションが付いています。
また、AVProVideo 2.0のちょっと前のバージョンでは、ステレオ(Top_Botton, Left_Right)の切り替えが自動になっているのですが、以下のコードは、直接指定するよう手を加えています。
なおFOVの指定でVR180ではなく、他の角度でも表示できる実装があるのですが、実際は使っておらずケア出来ていないので、正しく動作しないと思います。
追伸、AVProVideo 2.1.8向けのFishEye180対応したShaderファイルと、Interfaces.cs、VideoRender.csは、こちらです。
Shader "AVProVideo/VR/InsideSphere Unlit Transparent(fisheye+stereo+color+fog+alpha)"
{
Properties
{
_MainTex ("Texture", 2D) = "black" {}
_ChromaTex("Chroma", 2D) = "white" {}
_Color("Main Color", Color) = (1,1,1,1)
[KeywordEnum(None, Top_Bottom, Left_Right, Custom_UV)] Stereo ("Stereo Mode", Float) = 0
[KeywordEnum(None, Top_Bottom, Left_Right)] AlphaPack("Alpha Pack", Float) = 0
[Toggle(STEREO_DEBUG)] _StereoDebug ("Stereo Debug Tinting", Float) = 0
[KeywordEnum(None, EquiRect180, Fisheye180)] Layout("Layout", Float) = 0
[Toggle(HIGH_QUALITY)] _HighQuality ("High Quality", Float) = 0
[Toggle(APPLY_GAMMA)] _ApplyGamma("Apply Gamma", Float) = 0
[Toggle(USE_YPCBCR)] _UseYpCbCr("Use YpCbCr", Float) = 0
[Toggle(FLIPX)] _FlipX("X Flip", Float) = 0
[Toggle(FLIPY)] _FlipY("Y Flip", Float) = 0
_Strech ("Strech", Vector)=(1,1,0,0)
_EdgeFeather("Edge Feather", Range (0, 1)) = 0
_Fov("Fov", Range (0,360)) = 180
_ColorBalance("Color Balance", Vector) = (1,1,1,1)
_Brightness ("Brightness", Float) = 1
_Saturation ("Saturation", Float) = 1
_Contrast ("Contrast", Float) = 1
}
SubShader
{
Tags { "Queue" = "Transparent" "IgnoreProjector" = "True" "RenderType" = "Transparent" }
ZWrite On
//ZTest Always
Blend SrcAlpha OneMinusSrcAlpha
Cull Front
Lighting Off
Pass
{
CGPROGRAM
#include "UnityCG.cginc"
#include "AVProVideo.cginc"
#include "Lighting.cginc"
#define MY_PI (3.1415926535897932384626433832795)
#define MY_PI2 (2.0 * 3.1415926535897932384626433832795)
#if HIGH_QUALITY || APPLY_GAMMA
#pragma target 3.0
#endif
#pragma vertex vert
#pragma fragment frag
#pragma multi_compile_fog
// TODO: replace use multi_compile_local instead (Unity 2019.1 feature)
#pragma multi_compile MONOSCOPIC STEREO_TOP_BOTTOM STEREO_LEFT_RIGHT STEREO_CUSTOM_UV
#pragma multi_compile ALPHAPACK_NONE ALPHAPACK_TOP_BOTTOM ALPHAPACK_LEFT_RIGHT
#pragma multi_compile __ STEREO_DEBUG
#pragma multi_compile __ HIGH_QUALITY
#pragma multi_compile __ APPLY_GAMMA
#pragma multi_compile __ USE_YPCBCR
#pragma multi_compile __ LAYOUT_EQUIRECT180
#pragma multi_compile __ LAYOUT_FISHEYE180
struct appdata
{
float4 vertex : POSITION; // vertex position
#if HIGH_QUALITY
float3 normal : NORMAL;
#else
float2 uv : TEXCOORD0; // texture coordinate
#if STEREO_CUSTOM_UV
float2 uv2 : TEXCOORD1; // Custom uv set for right eye (left eye is in TEXCOORD0)
#endif
#endif
#ifdef UNITY_STEREO_INSTANCING_ENABLED
UNITY_VERTEX_INPUT_INSTANCE_ID
#endif
};
struct v2f
{
float4 vertex : SV_POSITION; // clip space position
#if HIGH_QUALITY
float3 normal : TEXCOORD0;
//#if STEREO_TOP_BOTTOM || STEREO_LEFT_RIGHT
float4 scaleOffset : TEXCOORD1; // texture coordinate
UNITY_FOG_COORDS(2)
//#else
// UNITY_FOG_COORDS(1)
//#endif
#else
float4 uv : TEXCOORD0; // texture coordinate
UNITY_FOG_COORDS(1)
#endif
#if STEREO_DEBUG
float4 tint : COLOR;
#endif
#ifdef UNITY_STEREO_INSTANCING_ENABLED
UNITY_VERTEX_OUTPUT_STEREO
#endif
};
uniform sampler2D _MainTex;
#if USE_YPCBCR
uniform sampler2D _ChromaTex;
uniform float4x4 _YpCbCrTransform;
#endif
uniform float4 _MainTex_ST;
uniform float4 _MainTex_TexelSize;
uniform fixed4 _Color;
uniform float _HighQuality;
uniform float _EdgeFeather;
uniform float _FlipX;
uniform float _FlipY;
uniform float4 _Strech;
uniform float _Fov;
uniform float Stereo;
uniform float4 _ColorBalance;
uniform float _Brightness;
uniform float _Saturation;
uniform float _Contrast;
//
// White balance
// Recommended workspace: ACEScg (linear)
// from https://github.com/Unity-Technologies/PostProcessing/blob/v2/PostProcessing/Shaders/Colors.hlsl
//
static const float3x3 LIN_2_LMS_MAT = {
3.90405e-1, 5.49941e-1, 8.92632e-3,
7.08416e-2, 9.63172e-1, 1.35775e-3,
2.31082e-2, 1.28021e-1, 9.36245e-1
};
static const float3x3 LMS_2_LIN_MAT = {
2.85847e+0, -1.62879e+0, -2.48910e-2,
-2.10182e-1, 1.15820e+0, 3.24281e-4,
-4.18120e-2, -1.18169e-1, 1.06867e+0
};
float3 WhiteBalance(float3 c, float3 balance)
{
float3 lms = mul(LIN_2_LMS_MAT, c);
lms *= balance;
return mul(LMS_2_LIN_MAT, lms);
}
v2f vert (appdata v)
{
v2f o;
#ifdef UNITY_STEREO_INSTANCING_ENABLED
UNITY_SETUP_INSTANCE_ID(v); // calculates and sets the built-n unity_StereoEyeIndex and unity_InstanceID Unity shader variables to the correct values based on which eye the GPU is currently rendering
UNITY_INITIALIZE_OUTPUT(v2f, o); // initializes all v2f values to 0
UNITY_INITIALIZE_VERTEX_OUTPUT_STEREO(o); // tells the GPU which eye in the texture array it should render to
#else
UNITY_INITIALIZE_OUTPUT(v2f, o);
#endif
o.vertex = XFormObjectToClip(v.vertex);
#if !HIGH_QUALITY
o.uv.zw = 0.0;
o.uv.xy = TRANSFORM_TEX(v.uv, _MainTex);
#if !LAYOUT_FISHEYE180
#if LAYOUT_EQUIRECT180
o.uv.x = ((o.uv.x - 0.5) * 2.0) + 0.5;
// Set value for clipping if UV area is behind viewer
o.uv.z = -1.0;
if (v.uv.x > 0.25 && v.uv.x < 0.75)
{
o.uv.z = 1.0;
}
#endif
#endif
o.uv.xy = float2(1.0-o.uv.x, o.uv.y); // 反転
#endif
//#if LAYOUT_FISHEYE180 && ( STEREO_TOP_BOTTOM || STEREO_LEFT_RIGHT ) && HIGH_QUALITY
// o.scaleOffset = 1.0;
//#endif
//#if !LAYOUT_FISHEYE180
//#if STEREO_TOP_BOTTOM || STEREO_LEFT_RIGHT
float4 scaleOffset = GetStereoScaleOffset2(IsStereoEyeLeft(), _MainTex_ST.y < 0.0, Stereo);
if (Stereo == 1 || Stereo == 2 )
{
#if !HIGH_QUALITY
o.uv.xy *= scaleOffset.xy;
o.uv.xy += scaleOffset.zw;
#else
o.scaleOffset = scaleOffset;
#endif
}
//#elif STEREO_CUSTOM_UV && !HIGH_QUALITY
#if STEREO_CUSTOM_UV && !HIGH_QUALITY
if (!IsStereoEyeLeft())
{
o.uv.xy = TRANSFORM_TEX(v.uv2, _MainTex);
o.uv.xy = float2(1.0 - o.uv.x, o.uv.y);
}
#endif
//#endif
#if !HIGH_QUALITY
#if ALPHAPACK_TOP_BOTTOM || ALPHAPACK_LEFT_RIGHT
o.uv = OffsetAlphaPackingUV(_MainTex_TexelSize.xy, o.uv.xy, _MainTex_ST.y > 0.0);
#endif
#endif
#if HIGH_QUALITY
o.normal = v.normal;
#endif
#if STEREO_DEBUG
o.tint = GetStereoDebugTint(IsStereoEyeLeft());
#endif
UNITY_TRANSFER_FOG(o, o.vertex);
return o;
}
#if LAYOUT_FISHEYE180
float2 calcUV (float2 _uv)
{
// from https://github.com/ft-lab/Unity_Panorama180View/blob/master/README_jp.md
// MIT License. Copyright (c) 2019 ft-lab.
float2 uv = _uv;
// FishEyeからequirectangularの変換.
// reference : http://paulbourke.net/dome/fish2/
float theta = MY_PI2 * (uv.x - 0.5);
float phi = MY_PI * (uv.y - 0.5);
float FOV = ( MY_PI / 180 ) * _Fov;
float sinP = sin(phi);
float cosP = cos(phi);
float sinT = sin(theta);
float cosT = cos(theta);
float3 vDir = float3(cosP * sinT, cosP * cosT, sinP);
theta = atan2(vDir.z, vDir.x);
phi = atan2(sqrt(vDir.x * vDir.x + vDir.z * vDir.z), vDir.y);
float r = phi / FOV;
// 左右の映像が横50％のサイズで正面(180度)出力。
uv.x = 0.5 + r * cos(theta);
uv.y = 0.5 + r * sin(theta);
//#if STEREO_LEFT_RIGHT
if (Stereo == 2)
{
// 左右を2倍(0.5倍すると2倍になる)にする。360度出力。
uv.x *= 0.5;
// 右を描画しているときは、+0.5して移動させる。
if (unity_StereoEyeIndex > 0)
{
uv.x += 0.5;
}
}
//#endif
//#if STEREO_TOP_BOTTOM
if (Stereo == 1)
{
uv.y *= 0.5;
// 左を描画しているときは、+0.5して移動させる。
if (unity_StereoEyeIndex == 0)
{
uv.y += 0.5;
}
}
//#endif
return uv;
}
#endif
fixed4 frag (v2f i) : SV_Target
{
float4 uv = 0;
#if HIGH_QUALITY
float3 n = normalize(i.normal);
#if LAYOUT_EQUIRECT180 || LAYOUT_FISHEYE180
clip(-n.z); // Clip pixels on the back of the sphere
#endif
//#if LAYOUT_NONE || LAYOUT_EQUIRECT180
float M_1_PI = 1.0 / 3.1415926535897932384626433832795;
float M_1_2PI = 1.0 / 6.283185307179586476925286766559;
uv.x = 0.5 - atan2(n.z, n.x) * M_1_2PI;
uv.y = 0.5 - asin(-n.y) * M_1_PI;
uv.x += 0.75;
uv.x = fmod(uv.x, 1.0);
//uv.x = uv.x % 1.0;
uv.xy = TRANSFORM_TEX(uv, _MainTex);
#if LAYOUT_EQUIRECT180
uv.x = ((uv.x - 0.5) * 2.0) + 0.5;
#endif
#if LAYOUT_FISHEYE180
if (unity_StereoEyeIndex > 0)
{
// 右側
uv.x = ((uv.x - 0.5) * 2.0);
}
else
{
// 左側
uv.x = ((uv.x - 0.5) * 2.0) + 1.0;
}
#endif
//#if STEREO_TOP_BOTTOM || STEREO_LEFT_RIGHT
if (Stereo == 1 || Stereo == 2)
{
uv.xy *= i.scaleOffset.xy;
uv.xy += i.scaleOffset.zw;
}
//#endif
#if ALPHAPACK_TOP_BOTTOM || ALPHAPACK_LEFT_RIGHT
uv = OffsetAlphaPackingUV(_MainTex_TexelSize.xy, uv.xy, _MainTex_ST.y < 0.0);
#endif
#if LAYOUT_FISHEYE180
// FOVを変更したときに、描画スタート位置と終了位置を設定する。180度の場合は0.25から0.75
float _start = 0.5 - ( _Fov / 720 );
float _end = _start + ( _Fov/ 360 );
if (uv.x < _start || uv.x > _end) return float4(0.0, 0.0, 0.0, 1.0);
uv.xy = calcUV(uv.xy);
#endif
#else
uv = i.uv;
#if LAYOUT_FISHEYE180
// FOVを変更したときに、描画スタート位置と終了位置を設定する。180度の場合は0.25から0.75
float _start = 0.5 - ( _Fov / 720 );
float _end = _start + ( _Fov/ 360 );
if (uv.x < _start || uv.x > _end) return float4(0.0, 0.0, 0.0, 1.0);
uv.xy = calcUV(uv.xy);
#elif LAYOUT_EQUIRECT180
clip(i.uv.z); // Clip pixels on the back of the sphere
#endif
#endif
// 鏡像 _FlipX, _FlipY
if(_FlipX > 0) uv.xy = float2(1.0 - uv.x, uv.y); // 反転
if(_FlipY > 0) uv.xy = float2(uv.x, 1.0 - uv.y); // 反転
// ストレッチ _Strech.xy と、歪み補正 _Strech.zw
uv.xy = uv + float2(sin(uv.x * MY_PI2) * _Strech.z, sin(uv.y * MY_PI2) * _Strech.w);
uv.xy = 0.5 + (uv - 0.5) / _Strech.xy;
fixed4 col;
#if USE_YPCBCR
col = SampleYpCbCr(_MainTex, _ChromaTex, uv.xy, _YpCbCrTransform);
#else
col = SampleRGBA(_MainTex, uv.xy);
#endif
#if ALPHAPACK_TOP_BOTTOM || ALPHAPACK_LEFT_RIGHT
col.a = SamplePackedAlpha(_MainTex, uv.zw);
#endif
#if STEREO_DEBUG
col *= i.tint;
#endif
col *= _Color;
UNITY_APPLY_FOG(i.fogCoord, col);
#if LAYOUT_EQUIRECT180 || LAYOUT_FISHEYE180
// Apply edge feathering based on UV mapping - this is useful if you're using a hemisphere mesh for 180 degree video and want to have soft edges
if (_EdgeFeather > 0.0)
{
float4 featherDirection = float4(0.0, 0.0, 1.0, 1.0);
//#if STEREO_TOP_BOTTOM
if (Stereo == 1)
{
if (uv.y > 0.5)
{
featherDirection.y = 0.5;
}
else
{
featherDirection.w = 0.5;
}
}
//#endif
//#if STEREO_LEFT_RIGHT
if (Stereo == 2)
{
if (uv.x > 0.5)
{
featherDirection.x = 0.5;
}
else
{
featherDirection.z = 0.5;
}
}
//#endif
#if ALPHAPACK_TOP_BOTTOM
featherDirection.w *= 0.5;
#endif
#if ALPHAPACK_LEFT_RIGHT
featherDirection.z *= 0.5;
#endif
float d = min(uv.x - featherDirection.x, min((uv.y - featherDirection.y), min(featherDirection.z - uv.x, featherDirection.w - uv.y)));
float a = smoothstep(0.0, _EdgeFeather, d);
col.a *= a;
}
#endif
//return col;
// 元々は 戻り値は、colだったが、WiteBalance()を追加したので
// c, col.aが戻り値
fixed3 c = WhiteBalance(col, _ColorBalance);
//return fixed4(c, col.a);
// Brightness, Saturation, Contrast
// from https://www.programmersought.com/article/20663784804/
// and original https://www.cnblogs.com/grassgarden/p/9784129.html
// fixed4 renderTex = tex2D(_MainTex, i.uv)*i.color;
fixed4 renderTex = fixed4(c, col.a);
// brigtness brightness is directly multiplied by a factor, which is the overall RGB scaling, adjust the brightness
fixed3 finalColor = renderTex * _Brightness;
// saturation saturation: First calculate the lowest saturation value under the same brightness according to the formula:
fixed gray = 0.2125 * renderTex.r + 0.7154 * renderTex.g + 0.0721 * renderTex.b;
fixed3 grayColor = fixed3(gray, gray, gray);
// The difference between the image with the lowest saturation and the original image according to Saturation
finalColor = lerp(grayColor, finalColor, _Saturation);
// contrast: first calculate the lowest contrast value
fixed3 avgColor = fixed3(0.5, 0.5, 0.5);
// According to Contrast, the difference between the image with the lowest contrast and the original image
finalColor = lerp(avgColor, finalColor, _Contrast);
// Return the result, the alpha channel remains unchanged
return fixed4(finalColor, renderTex.a);
}
ENDCG
}
}
}Channel Player 1.28リリース
今回のバージョンにて、Quest2版は、Oculus AppLabからの配信となりました。
それ以外の更新内容としては以下となります。ソフトウェアのページでは、SteamVR版の御案内もあります。
2021-06-18 1.28
・SteamVR/Quest2版共通
ラジアルメニュー右側
- タイトル選択画面 輝度変更機能を追加
- 動画再生中 ホワイトバランス(色温度、色合い)と輝度変更機能を追加
・Quest2版
セキュリティ脆弱性審査のために、AndroidManifest.xml に activity android:taskAffinity=”” を追加
2021-06-15 1.27 (一般向けには未公開)
・Quest2版 AppLab提出
Channel Player 1.26リリース
ソフトウェアのページで御案内しているChannel Playerですが、この度、動画デコーダであるAVPro Video を2.0版(Ver. 2.1.3, 2021-05-14リリース)に差し替え、VRのステレオ動画フォーマットの自動認識に一部対応しました。Quest版では、AppLab申請中のため、今までは32bitのバイナリでしたが、ARM64向けの64bitのバイナリに変更しています。
AVPro Video 2.0版そのままでは、VRステレオ動画フォーマットの自動認識失敗したときに正しい形式に手動で切り替えることはできないのですが、動画プレイヤーでそれが出来ないと致命的なので、先日調査したときに書きましたが、Asset側コードに手を入れて対応しています。
またQuest2向けでは、AVPro Video 2.0版がGradle buildのみ対応となったので、build方法を変更したため、以前と異なるBuild IDとなっています。その結果、以前のバージョンがインストール済だとインストールに失敗します。その場合にはSideQuestアプリを用いてGame Dataのバックアップとアプリのアンインストールを実施してから、新しい版のインストールを実施して、その後Game DataをSideQuestアプリから戻すことで、フォルダ設定やお気に入りを残したままに出来ます。ご面倒をおかけしますが、よろしくお願いいたします。
Channel Player 1.20リリース
Cahhel Playerの新しい版をリリースしました。ソフトウェアのページやSteam, SideQuestでご案内しています。
今回のアップデイト内容は、ダイレクトジャンプ機能を追加しました。ダイレクトジャンプ機能とは、動画再生中にYボタンをクリックするとダイアログが表示されます。そのダイアログではフォルダ内のファイルの一覧がボタンで表示され、上下移動してトリガーで直接選択出来る他、左右にマーカーを移動させて、動画ファイルの任意の位置にジャンプして再生指示することが可能です。ぜひお試しください。
その他更新履歴に記載した内容は以下となります。
2020-03-21 1.20
・以下の機能追加を実施
- ダイレクトジャンプ機能の実装
動画再生中にYボタンでダイアログが表示されます。
上下左右にスティックを操作して、トリガーにて選択したファイルのマーカー位置にジャンプします。 - Quest2版において、内蔵ストレージでの動画再生の際、動画をキャプチャーしてサムネイルする機能の有効化
・以下の仕様変更や機能修正を実施
- キャプチャ機能操作方法変更
動画再生のポーズ中に、Yボタンでキャプチャできる機能は、Yボタンをダイレクトジャンプ用のプロパティダイアログ表示に変更したため、プロパティダイアログ内のキャプチャーボタンとして実装を変更しました。 - 拡張子 大文字対応
拡張子が大文字となるZIPやJPG、MP4も表示対象となります。以前は無視していました。 - フォルダ名表示文字数拡張
タイトル選択画面や動画再生中の情報表示では、省略せずに表示可能な文字数を100文字から140文字に広げました。
・制限事項
- トリガー操作によるトリックプレイにおいて、ダブル、トリプルクリックやワープジャンプが機能しないことがあり
制限事項に追記しました。なおスティック操作やプロパティダイアログからのジャンプ操作は可能です。
Quest 2に挿したUSBメモリ内の動画ファイルにアクセスする
X plore File Manger の最新版4.25のapkファイルをインストールすれば、USB OTGアダプタ経由のFAT32フォーマットのUSBメモリにアクセス可能であり、X plore File Manger上から動画などを選んで再生できる。
https://www.lonelycatgames.com/apps/xplore
https://m.apkpure.com/jp/x-plore-file-manager/com.lonelycatgames.Xplore
X plore File Manager_v4.25.00_apkpure.com.apk
OTG経由のUSBメモリがQuest 2によって自動的にマウントされなくても、X ploreからアクセスできるという記述がX ploreのドキュメントにある。追加のモジュール(exFAT/NTFS for USB by Paragon Software)を入れればexFATとNTFSも読めるようだが、それは試していない。
元々はOculus Questでは当初USB OTG経由のUSBアクセスをOculusギャラリーから実行できたが現在は、OculusギャラリーはOculusテレビに変わってしまい、そしてその機能は削除されている。
「Oculus QuestからUSBストレージデバイスのファイルにアクセスするにはどうすればよいですか。 https://support.oculus.com/2289814927920267/?locale=ja_JP」
リンク先がいつしか無くなったので、Internet Archiveへのリンクはこちら(すでに無い機能なので参考情報でしかないけれども)
X ploreがアクセスしているUSBメモリをX plore自身がWebDAVで公開してもらえるとChannel Playerからはアクセス可能になるだろうが、要はこのアプリが実現している内容を実装すれば、Channel Playerからアクセスできるということにはなると思う。
GitHubを検索してみるとJavaで書かれたlibaumsというライブラリがあり、それを使ってC#にてFile Readerを作られているのを発見する。これらはFAT32のみ対応とあるので、X ploreもこの派生技術を使っている可能性はあるだろう。
https://github.com/magnusja/libaums
https://github.com/vividos/UsbOtgFileReader
さらに探すと、libaumsをexFAT対応させようとしているプロジェクトも見つかるが、残念ながら更新されていない。https://github.com/azrael8576/libaums_exFat
Channel Player Ver1.19リリース
VR動画再生アプリであるChannel Playerの新しい版をリリースしました。今回は新たにコミックブック(zip, cbzファイル形式)に対応し、静止画の表示が可能です。Channel Playerは、宇宙空間にて宇宙船の中のシアタールームでの動画視聴という体裁をとっているため、シアターでの上映時には真っ暗となる代わりに、宇宙空間に飛び出した状態で閲覧することとなります。ただし180°や360°の動画の場合には真っ暗な状態となります。詳しくはソフトウェアのページにてご案内しています。
Quest2でのApplication.Quit()呼び出し
以下の記載は古くなっていて、現在はApplication.Quit()が使えます。後述します。2022-09-07
Unityのアプリケーションではプログラム終了の際、Application.Quit()を呼び出すのだが、これがOculus Quest(Quest 2も)ではプログラムは終了するが、次回の起動に失敗するという問題がある。結論はApplication.Quit()の代わりに、以下を呼び出せばよい。
System.Diagnostics.Process.GetCurrentProcess().Kill();
Channel Playerでは、2回に1回は起動できないという不具合があり、メモリーリークなどを疑い、場所を特定するために、機能をどんどんはずしていて、ついにシーン1個で、Start()でただApplication.Quit()するだけでも事象が発生することが判明した。そこで削るのではなく新たにプロジェクトを作り、デフォルトのシーンでは事象が発生しないことが判明。ただしこのプロジェクトではソースコードが無いので自力ではアプリケーション終了できず、システムメニューから終了させていた。そこでスクリプトを1個置いて、Application.Quit()を記述すると事象が発生し、ここに問題があることが特定できた。
それまでは、debug logの以下のようなログから、Consumer closed input channel or an error occurred. events=0x9 でネットを検索しても原因は特定できずに困っていたが
11-03 09:55:29.617: W/InputDispatcher(1058): channel '8c14a4d com.Applet_LLC.Channel_Player/com.unity3d.player.UnityPlayerActivity (server)' ~ Consumer closed input channel or an error occurred. events=0x9
11-03 09:55:29.617: E/InputDispatcher(1058): channel '8c14a4d com.Applet_LLC.Channel_Player/com.unity3d.player.UnityPlayerActivity (server)' ~ Channel is unrecoverably broken and will be disposed!
11-03 09:55:29.618: I/WindowManager(1058): WIN DEATH: Window{8c14a4d u0 com.Applet_LLC.Channel_Player/com.unity3d.player.UnityPlayerActivity}
11-03 09:55:29.618: W/InputDispatcher(1058): Attempted to unregister already unregistered input channel '8c14a4d com.Applet_LLC.Channel_Player/com.unity3d.player.UnityPlayerActivity (server)'
Application.Quit Oculusでネット検索すると、すぐに以下の記述がヒットした。AndroidのApplication.Quit()ではきちんと終了できていないそうだ。
Application.Quit() causes crashing on next app launch — Oculus https://forums.oculusvr.com/developer/discussion/81042/application-quit-causes-crashing-on-next-app-launch
以下追記(2022-09-07)。
Unityで作ったAndroidアプリがBackキー押下で終了できない場合の仮対応 – Qiita https://qiita.com/ganessa/items/3d80b9065546788c30d4
によると System.Diagnostics.Process.GetCurrentProcess().Kill();でも良いが、以下で安定するとのこと。
Application.runInBackground = false;
Application.Quit();
return;
綺麗に終了するようになったが、２回目起動しない問題再発。
Application.Quit(); したあとで、System.Diagnostics.Process.GetCurrentProcess().Kill();を呼ぶようにしてみるが、これではだめだった。マルチスレッドで動いていて、親プロセスだけ終了させてもダメらしい。
上記によれば、2018.3.8f1では良いらしい。2018.4.6でも直したようなので、これにしてみたら
Unity2018.4.6f1では、Application.Quit&()で正常終了することを確認した。
結論は、本コラム記載当初とは逆となり、System.Diagnostics.Process.GetCurrentProcess().Kill();は、Arm64向けでは失敗する。
Applet LLC 