#ChannelPlayer · Unity · VRソフト

動画の自動露出

色の設定がおかしく感じる動画は、手動でちょっと設定すれば良いのだが、写真を表示するアプリでは自動補正をかけると暗い画面が明るくなったり、明るい画面がちょうど良い感じになったりできるのだから、動画でも出来ても良いのではと、ネットをあちこち検索してみた。

そうすると、Unity Asset Storeにてちょうど良さそうなのがあったので導入してみた。

Auto Exposure Mobile Color Grading | Fullscreen & Camera Effects | Unity Asset Store https://assetstore.unity.com/packages/vfx/shaders/fullscreen-camera-effects/auto-exposure-mobile-color-grading-107079

これはカメラ側にShaderを実装して、その場で変換をかけるようなもの。Asset Storeでの写真へのリンクを示すが、いい感じになるなとは思う。Channel Playerに持ち込む際、Unity 2018から2019に上げる必要があり、そちらの手間がかかり、やっとbuildできるようになったが、取り付けただけで動作は確認できていない。

並行して、色補正は出力側のShaderに実装しているので、カメラ側のShaderで求めたパラメータを、出力側のShaderにどう渡そうかと調査検討中。フラグメントシェーダーやバーテックスシェーダーから値を取り出すのは、GetFloat()などで良いのかと思うが、意外と使っているShaderは見つからない。コンピュートシェーダーなら演算結果を取り出すのは当たり前なんだけれども、とりあえずIndie Visual Lab のUnity Graphics ProgrammingのVol.1と、ソースなどを眺めている。

2022-11-09 追記
さらに調べてみると、Auto ExposureやColor Gradingは、UnityのPost Processing Stack v2にあるので、普通はこちらを使うらしい。もっともVRアプリでは重いので使わないのが一般的のようだが、必要なShader modelを調べるとAuto ExposureはShader model 5, Color Gradingは、Shader Model 3なので、Quest2でも、OpenGL ES 3.1+AEPなら、Shader Model 5なので一応使えることになる。

現在は、Channel PlayerのSteamVR版にて、HDR(High Dynamic Rangeレンダリング)を有効にして、かつ少しでも軽くするために、Stereo Rendering Modeを Multi Passから、Single Passに変更して、VR動画再生時にAuto ExposureとColor Gradingのオンオフ出来ることを確認した。

現在は、Post Processing Stackを導入すると、左右のカメラの前に、矩形で再生中の動画のミラー映像が表示されるようになったため、左右のカメラを廃止する方向で検討中。

左右カメラの存在は、VR動画再生中に動画の前にオブジェクトを配置すると左右の目からはブレて表示されるので、それを避けるために、左右のカメラを導入して、キャプションやダイアログウィンドウ表示を左右のどちらか片方に表示するようにしていたのだが、左右カメラを廃止して、その代わり、他の動画アプリ同様 3D表示オフモードを用意することになる。

3D表示オフモードを用意するには、AVProVideoのユーザーサポート掲示板によれば、AVProVideo AssetのVer1の頃には存在したForceEye Modeを、Ver2版にポーティングすることになる。実際、AVProVideo Asset Ver2でも、AVProVideo.cgincにコードは存在するのだが、使っているShaderによっては実装されていないので、自前で改造することになる。

広告
#ChannelPlayer · Unity · VRソフト

静止画のGamma → Linear 変換

Channel Playerでは、動画だけでなく静止画の描画も実装している。静止画だが180/LRフォーマットで、3D表示させる実装は今まで実現していなかったので現在実装中である。ちなみに参考にしているサイトはUnity_Panorama180Viewである。

静止画を一度表示した後で、2D/Monoから、180/LRにフォーマットを変換した場合、動画とは異なりTextureに再ロードが必要となるが、SteamVR版に比べQuest版は異様に遅いので、どこに問題があるか調べていた。

結論は、Texture2Dに展開後のGamma→Linear変換に時間がかかっていた。8000×4000ドットの静止画だと、大体4秒ぐらいかかる。

Quest版は、SteamVR版のUnity環境のビルドターゲットをWindowsからAndroidに変えたものであるので、基本的には全く同じように動作するはずである。しかし、SciFiシアターシーンでは問題無いが、Playerシーンでは、どうしても暗い映像となってしまい、Ver1.28以前では、ビルド時の色空間をLinearではなくGammaとしていた。

Ver1.29では色空間をLinearにした結果、SciFiシアターシーンも明るくなったが、Playerシーンでは、静止画表示の際、Gamma→Linearに変換することが必要となった。

それでも1920×1080程度の大きさの静止画であれば問題無かったが、評価用に用いた静止画の180/LRの静止画はその約16倍の面積であり、このときのGamma→Linear変換の時間が長くなってた。

Gamma→Linear変換は、RenderTexture(Texture2D)を画像保存すると暗い時での取り組みを参考にして、以下のようなコードを書いていた。

    private void gamma_correct(Texture2D tex)
    {
#if UNITY_ANDROID
        if (tex != null)
        {
            // ガンマ補正
            var color = tex.GetPixels();
            //Debug.Log(DateTime.Now.ToString("HH:mm:ss.fff") + ": 13 LinearToGammaSpace start");
            for (int i = 0; i < color.Length; i++)
            {
                color[i].r = Mathf.LinearToGammaSpace(color[i].r);
                color[i].g = Mathf.LinearToGammaSpace(color[i].g);
                color[i].b = Mathf.LinearToGammaSpace(color[i].b);
            }
            //Debug.Log(DateTime.Now.ToString("HH:mm:ss.fff") + ": 14 LinearToGammaSpace done");
            tex.SetPixels(color);
            //Debug.Log(DateTime.Now.ToString("HH:mm:ss.fff") + ": 15 tex.SetPixels(color) done");            
        }
#endif
    }

でも、ここに時間がかかることが判ったので、【Unity】【C#】ガンマ(Gamma, sRGB) – リニア(Linear) 値の相互変換  の情報を参考にして、以下コードに書き換えた。その結果、約4秒が0.8秒ぐらに短縮できた。その他の処理もあるので、8000×4000ドットの静止画だと残念ながらページめくるだけでも2秒ほどかかる。Quest 2はそもそも片目2Kぐらいの解像度なんだから、もっと小さい面積の静止画で十分だろうとは思う。

    private void gamma_correct(Texture2D tex)
    {
#if UNITY_ANDROID
        if (tex != null)
        {
            // ガンマ補正
            var color = tex.GetPixels();
            //Debug.Log(DateTime.Now.ToString("HH:mm:ss.fff") + ": 13 LinearToGammaSpace start");
            for (int i = 0; i < color.Length; i++)
            {
                //color[i].r = Mathf.LinearToGammaSpace(color[i].r);
                //color[i].g = Mathf.LinearToGammaSpace(color[i].g);
                //color[i].b = Mathf.LinearToGammaSpace(color[i].b);
                color[i].r = linearValue(color[i].r);
                color[i].g = linearValue(color[i].g);
                color[i].b = linearValue(color[i].b);
            }
            //Debug.Log(DateTime.Now.ToString("HH:mm:ss.fff") + ": 14 LinearToGammaSpace done");
            tex.SetPixels(color);
            //Debug.Log(DateTime.Now.ToString("HH:mm:ss.fff") + ": 15 tex.SetPixels(color) done");            
        }
#endif
    }

    private float linearValue(float gamma)
    {
        return gamma * (gamma * (gamma * 0.305306011f + 0.682171111f) + 0.012522878f);
    }
#ChannelPlayer · Unity · VRソフト

Twitch Live Stream Playerアセットの調査

Unity Asset StoreにてTwitch Live Stream Playerアセットが復活していたので試してみた。
ドキュメントもあまりないので、ソースコードを確認すると、TwitchのURLを入れると、ストリームのURLを、どこかのサーバーに接続して取得する構造になっていて、相変わらず使うのが難しいアセットのままだった。

残念。

Channel Playerが再生可能なメディアは現状、ローカルストレージとWebDAVだけで、とてもChannel Playerとは言える状態にまだ無いが、TwitchやYoutubeなどのコンテンツが再生できるチャンネルを、どうやって追加するか模索の日々は続く。Youtube-DL系を採用するのが一番早いかなとは、やはり思う。

#ChannelPlayer · Quest2 · Rift · Unity · VRソフト

動画の色補正とホワイトバランスの実装

具体的には、HSV(Hue:色相、Saturation:彩度、Value/Brightness:明度)や、Contrast:コントラストの調整と、ホワイトバランス(Temperature, Tint)の調整機能をChannel Playerに実装することを考える。

HSV, Contrast, Temperature, Tintの各VR Playerの実装状況を調べてみて、Channel Playerで実装すべき項目を表にして考えてみた。設定できるもの何でもてんこ盛りのHere Sphereでは、Hueの代わりにTintを実装しているように見えるが、どちらで色を調整するかは好みであるとも言えるため、Channel Playerでは両方実装する方針とした。なお現状のShaderのコードでは、SV, Contrastと、Temperature, Tintは実装してある。Hueを実装したShaderにはしていないが、参考情報を元に、HSVのShaderにContrastを追加することを考えることとした。

PigasusHSV, Contrast
DeoHSV, Contrast
SkyboxSV, Contrast
PLAY’ASV, Contrast
HereSphereS, Contrast, Temperature, Tint
Channel PlayerHSV, Contrast, Temperature, Tint

参考情報

#ChannelPlayer · Go · Quest2 · Rift · Unity · VRソフト

Youtube DL Video Playerアセットを使ったUnityアプリをOculus Quest 2で動作させる

ここ2か月ほどかけて、Youtube DL Video Player というUnity Asset Storeで公開されているAssetを試していた。これは内部に aarファイルの形式で、PythonバイナリとPythonで書かれたyoutube-dlを動作させ、Youtubeのコンテンツの実際のURLを引っ張り出して再生できるようにするもので、これをChannel Playerに組み込むか、あるいは単体アプリとしてYoutubeの動画再生機能をOculus Quest2で動作させるのが目的であった。(ちなみにUnity Asset Storeでは、Youtube Video Player + Youtube APIというAssetも存在し以前使ったこともあるが、古い昔のバージョンとは異なり、近年のバージョンではherokuapp.comを内部で呼んでいてアーキテクチャが理解できていないので保留している)

当初、サンプルアプリを作って、Oculus Goでも動くようにとARMv7向けにbuildしたら、Goで動くことが確認出来た。しかし、これをそのままQuest 2にインストールしても動かず、またARM64向けにbuildしても同様で動作せず、そこからが迷走の始まりであった。

まずエラーメッセージを見ると、ARMv7版とARM64版ではどちらも同じエラーであり、以下のようなものであった。

10-19 00:13:01.571: E/YoutubeDLPlugin(31518): java.io.IOException: Cannot run program “/data/user/0/com.Applet_LLC.myTube/files/youtubedl-android/packages/usr/bin/python”: error=13, Permission denied

Youbue DL Video PlayerのAsset Storeのレビューでは、IL2CPPではbuildできないとか、Android 10ではダメだとかしか書かれておらず、要するにARM64なOculus Quest 2では出来そうにないことが書かれていて断念していたのだが、実行できないのは、このaarプラグイン形式がダメなのだろうと思い、Youtube DL Video Playerアセットを使うのをやめて、NuGetから、NYoutubeDLというyoutube-dlをC#から呼び出すラッパーを試してみた。結論はOculus Riftでは動作できるようにできるが、このラッパーは、youtube-dl.exeを実行するものであるので、解決策からは、ほど遠いものであった。

Pythonが実行できないとダメだと思い、調べてみるとTermuxというアプリで、shellを起動しpythonを実行して、youtube-dlスクリプトを動作させることが出来ることが判った。しかしこれは、Linux Shellが使えるようになるだけで、UnityのC#から呼び出すことはできない。そこで、今度はIronPython for Unityとpython-for-androidを試すことにした。これらは、pythonスクリプトを実行できるが、前者はUnity Editor環境でPythonスクリプトが使えるようにするもので、アプリには出来ない。後者は、もっと調べてみると、Buildozerというpython-for-android を組み込んで書かれたPythonスクリプトを、kivyと呼ばれるGUIを持ったPythonスクリプトをAndroidで動作できるようにAPKファイルを作るものがあったので、それをWSLのUbuntu環境でbuildして、APKを作ることが出来るようになった。ここでBuildozerで、kivy GUIを使わないコードにすればGUIを持たず良いのではと思い、youtube-dlの派生版である yt-dlpを inportするようにしてAPKを作成した。Buildozerは良く出来ていて、Pythonスクリプトや buildozer.spcに yt-dlpのキーワードを書くだけで、勝手にyt-dlpをgetしてbuildしてしまう。このAPKをインストールして、Unityで作ったサンプルアプリから、Intentにyt-dlpの引数を渡して、Pythonスクリプトでは、Intentをyt-dlpの引数に渡すようにして、yt-dlpが実行した際の標準出力をファイル出力させれば、UnityのVideoPlayerやAVPro VideoのPlayerが解釈できるURLを吐き出すことが出来るはず。その後、Unity側から、そのファイルを読み込んで、Playerに渡せば、どうにか動くようにできるのではと作っていたが、Unityから引数が渡せて、Pythonとyt-dlpが動作するようになった時点で、困った事態が発生していることが判った。それは、Unity側のアプリから呼び出したyt-dlpのActivityは、要するに別アプリなので画面が遷移してブラックアウトしてしまう。これではアプリとして成立せずダメだと思いAndroidのサービスプログラムにしなければと、さらなる深みに入ろうとしていた。これが先週末あたりの出来事である。

ここで、迷ったら最初に戻るよろしく、最初のエラーメッセージから解決策が他にないのかを探ることにした。まず、なぜ先のエラーメッセージになっているのかを調べることにした。

そもそもエラーメッセージは、実行権限が無いと言っているだけで、実行ファイルでは無いとかファイルが存在しないと言っているわけでは無い。そこでこのエラーメッセージで検索して調べてみると以下の情報が得られた。

What path to put executable to run on Android 29? – Stack Overflow https://stackoverflow.com/questions/64786837/what-path-to-put-executable-to-run-on-android-29/64792194#64792194

これは、Androidのlevelが29以降だと、アプリのフォルダに置かれたバイナリを実行することが出来ないというものであり、これに該当していたことになる。Google Playとは異なり、Oculus Quest 2の場合は、TargetSDK level は29以上である必要は無いので(25以上であれば良い。ただしAppLabに登録するなら29となります。)、TargetSDKを下げてやれば、実はQuest 2でも先の Youtube DL Video Playerをそのまま使って動作できるのではと考え、実行に移してみた。

Unityの場合、TargetSDKは、Plugin/Androidに置いた AndroidManifest.xmlにも記載場所があるが、実際にbuildする際は、UnityのPlayerSettingsのTargetAPI Levelの指定が有効となる。ここをAutoにしていると環境に依存し、使えるAndroid SDKの一番高いレベルのものでbuildしてしまう。そこで、ここを28にして、ARM64向けにbuildしたら、エラーメッセージは発生せず、無事にYoutubeのコンテンツがサンプルアプリでOculus Quest 2の中で再生できた。

入手したスキル。Ubuntu環境にてBuildozerでAPKの作り方。Pythonスクリプトの書き方(触りだけだけど)。UnityのC#コードから他のAndroid Activityを呼び出しIntentを渡す方法。Pythonスクリプト側で受け取ったIntentを引数として解釈する方法、Pythonでstdin/stdoutをファイル出力に変える方法と、intentをsplitしてsys.argに代入すると、そこから呼び出したPythonスクリプトは、引数が存在していることを想定しているので、うまく渡る。

#ChannelPlayer · Quest2 · Unity · VRソフト

Fisheye180 Shader HIGH_QUALITY対応

以前対応したときには、HIGH_QUALITYフラグを有効にした場合の動作が出来ていなかったが、対応してみました。以下のコードとなります。しばらく、これでテストしてみて問題無ければ、#ChannelPlayerのリリースに進みます。

オリジナルのコードに比べ、ホワイトバランス、輝度、彩度、コントラスト、ストレッチの追加オプションが付いています。
また、AVProVideo 2.0のちょっと前のバージョンでは、ステレオ(Top_Botton, Left_Right)の切り替えが自動になっているのですが、以下のコードは、直接指定するよう手を加えています。

なおFOVの指定でVR180ではなく、他の角度でも表示できる実装があるのですが、実際は使っておらずケア出来ていないので、正しく動作しないと思います。

追伸、AVProVideo 2.1.8向けのFishEye180対応したShaderファイルと、Interfaces.cs、VideoRender.csは、こちらです。

Shader "AVProVideo/VR/InsideSphere Unlit Transparent(fisheye+stereo+color+fog+alpha)"
{
	Properties
	{
		_MainTex ("Texture", 2D) = "black" {}
		_ChromaTex("Chroma", 2D) = "white" {}
		_Color("Main Color", Color) = (1,1,1,1)

		[KeywordEnum(None, Top_Bottom, Left_Right, Custom_UV)] Stereo ("Stereo Mode", Float) = 0
		[KeywordEnum(None, Top_Bottom, Left_Right)] AlphaPack("Alpha Pack", Float) = 0
		[Toggle(STEREO_DEBUG)] _StereoDebug ("Stereo Debug Tinting", Float) = 0
		[KeywordEnum(None, EquiRect180, Fisheye180)] Layout("Layout", Float) = 0
		[Toggle(HIGH_QUALITY)] _HighQuality ("High Quality", Float) = 0
		[Toggle(APPLY_GAMMA)] _ApplyGamma("Apply Gamma", Float) = 0
		[Toggle(USE_YPCBCR)] _UseYpCbCr("Use YpCbCr", Float) = 0
		[Toggle(FLIPX)] _FlipX("X Flip", Float) = 0
		[Toggle(FLIPY)] _FlipY("Y Flip", Float) = 0
		_Strech ("Strech", Vector)=(1,1,0,0)
		_EdgeFeather("Edge Feather", Range (0, 1)) = 0
		_Fov("Fov", Range (0,360)) = 180
		_ColorBalance("Color Balance", Vector) = (1,1,1,1)
		_Brightness ("Brightness", Float) = 1
		_Saturation ("Saturation", Float) = 1
		_Contrast ("Contrast", Float) = 1

	}
	SubShader
	{
		Tags { "Queue" = "Transparent" "IgnoreProjector" = "True" "RenderType" = "Transparent" }
		ZWrite On
		//ZTest Always
		Blend SrcAlpha OneMinusSrcAlpha
		Cull Front
		Lighting Off

		Pass
		{
			CGPROGRAM
			#include "UnityCG.cginc"
			#include "AVProVideo.cginc"
			#include "Lighting.cginc"
			#define MY_PI (3.1415926535897932384626433832795)
			#define MY_PI2 (2.0 * 3.1415926535897932384626433832795)
#if HIGH_QUALITY || APPLY_GAMMA
			#pragma target 3.0
#endif
			#pragma vertex vert
			#pragma fragment frag

			#pragma multi_compile_fog
			// TODO: replace use multi_compile_local instead (Unity 2019.1 feature)
			#pragma multi_compile MONOSCOPIC STEREO_TOP_BOTTOM STEREO_LEFT_RIGHT STEREO_CUSTOM_UV
			#pragma multi_compile ALPHAPACK_NONE ALPHAPACK_TOP_BOTTOM ALPHAPACK_LEFT_RIGHT
			#pragma multi_compile __ STEREO_DEBUG
			#pragma multi_compile __ HIGH_QUALITY
			#pragma multi_compile __ APPLY_GAMMA
			#pragma multi_compile __ USE_YPCBCR
			#pragma multi_compile __ LAYOUT_EQUIRECT180
			#pragma multi_compile __ LAYOUT_FISHEYE180

			struct appdata
			{
				float4 vertex : POSITION; // vertex position
#if HIGH_QUALITY
				float3 normal : NORMAL;
#else
				float2 uv : TEXCOORD0; // texture coordinate
	#if STEREO_CUSTOM_UV
				float2 uv2 : TEXCOORD1;	// Custom uv set for right eye (left eye is in TEXCOORD0)
	#endif
#endif

#ifdef UNITY_STEREO_INSTANCING_ENABLED
				UNITY_VERTEX_INPUT_INSTANCE_ID
#endif
			};

			struct v2f
			{
				float4 vertex : SV_POSITION; // clip space position
#if HIGH_QUALITY
				float3 normal : TEXCOORD0;
				
	//#if STEREO_TOP_BOTTOM || STEREO_LEFT_RIGHT
				float4 scaleOffset : TEXCOORD1; // texture coordinate
				UNITY_FOG_COORDS(2)
	//#else
	//			UNITY_FOG_COORDS(1)
	//#endif
#else
				float4 uv : TEXCOORD0; // texture coordinate
				UNITY_FOG_COORDS(1)
#endif

#if STEREO_DEBUG
				float4 tint : COLOR;
#endif

#ifdef UNITY_STEREO_INSTANCING_ENABLED
				UNITY_VERTEX_OUTPUT_STEREO
#endif
			};

			uniform sampler2D _MainTex;
#if USE_YPCBCR
			uniform sampler2D _ChromaTex;
			uniform float4x4 _YpCbCrTransform;
#endif
			uniform float4 _MainTex_ST;
			uniform float4 _MainTex_TexelSize;
			uniform fixed4 _Color;
			uniform float _HighQuality;
			uniform float _EdgeFeather;
			uniform float _FlipX;
			uniform float _FlipY;
			uniform float4 _Strech;
			uniform float _Fov;
			uniform float Stereo;
			uniform float4 _ColorBalance;
			uniform float _Brightness;
			uniform float _Saturation;
			uniform float _Contrast;
			//
			// White balance
			// Recommended workspace: ACEScg (linear)
			// from https://github.com/Unity-Technologies/PostProcessing/blob/v2/PostProcessing/Shaders/Colors.hlsl
			//
			static const float3x3 LIN_2_LMS_MAT = {
				3.90405e-1, 5.49941e-1, 8.92632e-3,
				7.08416e-2, 9.63172e-1, 1.35775e-3,
				2.31082e-2, 1.28021e-1, 9.36245e-1
			};

			static const float3x3 LMS_2_LIN_MAT = {
				2.85847e+0, -1.62879e+0, -2.48910e-2,
				-2.10182e-1,  1.15820e+0,  3.24281e-4,
				-4.18120e-2, -1.18169e-1,  1.06867e+0
			};

			float3 WhiteBalance(float3 c, float3 balance)
			{
				float3 lms = mul(LIN_2_LMS_MAT, c);
				lms *= balance;
				return mul(LMS_2_LIN_MAT, lms);
			}

			v2f vert (appdata v)
			{
				v2f o;
#ifdef UNITY_STEREO_INSTANCING_ENABLED
				UNITY_SETUP_INSTANCE_ID(v);						// calculates and sets the built-n unity_StereoEyeIndex and unity_InstanceID Unity shader variables to the correct values based on which eye the GPU is currently rendering
				UNITY_INITIALIZE_OUTPUT(v2f, o);				// initializes all v2f values to 0
				UNITY_INITIALIZE_VERTEX_OUTPUT_STEREO(o);		// tells the GPU which eye in the texture array it should render to
#else
				UNITY_INITIALIZE_OUTPUT(v2f, o);
#endif
								
				o.vertex = XFormObjectToClip(v.vertex);
#if !HIGH_QUALITY
				o.uv.zw = 0.0;
				o.uv.xy = TRANSFORM_TEX(v.uv, _MainTex);
	#if !LAYOUT_FISHEYE180				
		#if LAYOUT_EQUIRECT180
				o.uv.x = ((o.uv.x - 0.5) * 2.0) + 0.5;
				// Set value for clipping if UV area is behind viewer
				o.uv.z = -1.0;
				if (v.uv.x > 0.25 && v.uv.x < 0.75)
				{
					o.uv.z = 1.0;
				}
		#endif
	#endif
				o.uv.xy = float2(1.0-o.uv.x, o.uv.y);			// 反転
#endif

//#if LAYOUT_FISHEYE180 && ( STEREO_TOP_BOTTOM || STEREO_LEFT_RIGHT ) && HIGH_QUALITY
//				o.scaleOffset = 1.0;
//#endif
//#if !LAYOUT_FISHEYE180
	//#if STEREO_TOP_BOTTOM || STEREO_LEFT_RIGHT

				float4 scaleOffset = GetStereoScaleOffset2(IsStereoEyeLeft(), _MainTex_ST.y < 0.0, Stereo);
				if (Stereo == 1 || Stereo == 2 )
				{	
					#if !HIGH_QUALITY
					o.uv.xy *= scaleOffset.xy;
					o.uv.xy += scaleOffset.zw;
					#else
					o.scaleOffset = scaleOffset;
					#endif
				}
	//#elif STEREO_CUSTOM_UV && !HIGH_QUALITY
	#if STEREO_CUSTOM_UV && !HIGH_QUALITY
				if (!IsStereoEyeLeft())
				{
					o.uv.xy = TRANSFORM_TEX(v.uv2, _MainTex);
					o.uv.xy = float2(1.0 - o.uv.x, o.uv.y);
				}
	#endif
//#endif
				
#if !HIGH_QUALITY
	#if ALPHAPACK_TOP_BOTTOM || ALPHAPACK_LEFT_RIGHT
				o.uv = OffsetAlphaPackingUV(_MainTex_TexelSize.xy, o.uv.xy, _MainTex_ST.y > 0.0);
	#endif
#endif

#if HIGH_QUALITY
				o.normal = v.normal;
#endif

				#if STEREO_DEBUG
				o.tint = GetStereoDebugTint(IsStereoEyeLeft());
				#endif

				UNITY_TRANSFER_FOG(o, o.vertex);
				return o;
			}

#if LAYOUT_FISHEYE180
			float2 calcUV (float2 _uv)
			{
				// from https://github.com/ft-lab/Unity_Panorama180View/blob/master/README_jp.md
				// MIT License. Copyright (c) 2019 ft-lab.
				float2 uv = _uv;

				// FishEyeからequirectangularの変換.
				// reference : http://paulbourke.net/dome/fish2/
				float theta = MY_PI2 * (uv.x - 0.5);
				float phi   = MY_PI * (uv.y - 0.5);
				float FOV   = ( MY_PI / 180 ) * _Fov;
				float sinP = sin(phi);
				float cosP = cos(phi);
				float sinT = sin(theta);
				float cosT = cos(theta);
				float3 vDir = float3(cosP * sinT, cosP * cosT, sinP);

				theta = atan2(vDir.z, vDir.x);
				phi   = atan2(sqrt(vDir.x * vDir.x + vDir.z * vDir.z), vDir.y);
				float r = phi / FOV; 

				// 左右の映像が横50%のサイズで正面(180度)出力。
				uv.x = 0.5 + r * cos(theta);
				uv.y = 0.5 + r * sin(theta);

	//#if STEREO_LEFT_RIGHT
				if (Stereo == 2)
				{
					// 左右を2倍(0.5倍すると2倍になる)にする。360度出力。
					uv.x *= 0.5;
					// 右を描画しているときは、+0.5して移動させる。
					if (unity_StereoEyeIndex > 0)
					{
						uv.x += 0.5;
					}
				}
	//#endif
	//#if STEREO_TOP_BOTTOM
				if (Stereo == 1)
				{
					uv.y *= 0.5;
					// 左を描画しているときは、+0.5して移動させる。
					if (unity_StereoEyeIndex == 0)
					{
						uv.y += 0.5;
					}
				}
	//#endif
				return uv;
			}
#endif

			fixed4 frag (v2f i) : SV_Target
			{
				float4 uv = 0;
#if HIGH_QUALITY
				float3 n = normalize(i.normal);
		#if LAYOUT_EQUIRECT180 || LAYOUT_FISHEYE180
				clip(-n.z);	// Clip pixels on the back of the sphere
		#endif

	//#if LAYOUT_NONE || LAYOUT_EQUIRECT180
				float M_1_PI = 1.0 / 3.1415926535897932384626433832795;
				float M_1_2PI = 1.0 / 6.283185307179586476925286766559;
				uv.x = 0.5 - atan2(n.z, n.x) * M_1_2PI;
				uv.y = 0.5 - asin(-n.y) * M_1_PI;
				uv.x += 0.75;
				uv.x = fmod(uv.x, 1.0);
				//uv.x = uv.x % 1.0;
				uv.xy = TRANSFORM_TEX(uv, _MainTex);

	#if LAYOUT_EQUIRECT180
				uv.x = ((uv.x - 0.5) * 2.0) + 0.5;
	#endif
	#if LAYOUT_FISHEYE180
			   	if (unity_StereoEyeIndex > 0)
				{
					// 右側
					uv.x = ((uv.x - 0.5) * 2.0);
				}
				else
				{
					// 左側
					uv.x = ((uv.x - 0.5) * 2.0) + 1.0;
				}
	#endif
	//#if STEREO_TOP_BOTTOM || STEREO_LEFT_RIGHT
				if (Stereo == 1 || Stereo == 2)
				{
					uv.xy *= i.scaleOffset.xy;
					uv.xy += i.scaleOffset.zw;
				}
	//#endif
	#if ALPHAPACK_TOP_BOTTOM || ALPHAPACK_LEFT_RIGHT
				uv = OffsetAlphaPackingUV(_MainTex_TexelSize.xy, uv.xy, _MainTex_ST.y < 0.0);
	#endif
	#if LAYOUT_FISHEYE180
				// FOVを変更したときに、描画スタート位置と終了位置を設定する。180度の場合は0.25から0.75
				float _start = 0.5 - ( _Fov / 720 );
				float _end = _start + ( _Fov/ 360 );
				if (uv.x < _start || uv.x > _end) return float4(0.0, 0.0, 0.0, 1.0);
				uv.xy = calcUV(uv.xy);
	#endif

#else
				uv = i.uv;
	#if LAYOUT_FISHEYE180
				// FOVを変更したときに、描画スタート位置と終了位置を設定する。180度の場合は0.25から0.75
				float _start = 0.5 - ( _Fov / 720 );
				float _end = _start + ( _Fov/ 360 );
				if (uv.x < _start || uv.x > _end) return float4(0.0, 0.0, 0.0, 1.0);
				uv.xy = calcUV(uv.xy);
	#elif LAYOUT_EQUIRECT180
				clip(i.uv.z);	// Clip pixels on the back of the sphere
	#endif
#endif
				// 鏡像 _FlipX, _FlipY
				if(_FlipX > 0) uv.xy = float2(1.0 - uv.x, uv.y); // 反転
				if(_FlipY > 0) uv.xy = float2(uv.x, 1.0 - uv.y); // 反転

				// ストレッチ _Strech.xy と、歪み補正 _Strech.zw
				uv.xy = uv + float2(sin(uv.x * MY_PI2) * _Strech.z, sin(uv.y * MY_PI2) * _Strech.w);
				uv.xy = 0.5 + (uv - 0.5) / _Strech.xy;

				fixed4 col;
#if USE_YPCBCR
				col = SampleYpCbCr(_MainTex, _ChromaTex, uv.xy, _YpCbCrTransform);
#else
				col = SampleRGBA(_MainTex, uv.xy);
#endif

#if ALPHAPACK_TOP_BOTTOM || ALPHAPACK_LEFT_RIGHT
				col.a = SamplePackedAlpha(_MainTex, uv.zw);
#endif

#if STEREO_DEBUG
				col *= i.tint;
#endif

				col *= _Color;

				UNITY_APPLY_FOG(i.fogCoord, col);

#if LAYOUT_EQUIRECT180 || LAYOUT_FISHEYE180
				// Apply edge feathering based on UV mapping - this is useful if you're using a hemisphere mesh for 180 degree video and want to have soft edges
				if (_EdgeFeather > 0.0)
				{
					float4 featherDirection = float4(0.0, 0.0, 1.0, 1.0);
					
	//#if STEREO_TOP_BOTTOM
					if (Stereo == 1)
					{ 
					if (uv.y > 0.5)
					{
						featherDirection.y = 0.5;
					}
					else
					{
						featherDirection.w = 0.5;
					}
					}
	//#endif

	//#if STEREO_LEFT_RIGHT
					if (Stereo == 2)
					{
					if (uv.x > 0.5)
					{
						featherDirection.x = 0.5;
					}
					else
					{
						featherDirection.z = 0.5;
					}
					}
	//#endif


	#if ALPHAPACK_TOP_BOTTOM
					featherDirection.w *= 0.5;
	#endif

	#if ALPHAPACK_LEFT_RIGHT
					featherDirection.z *= 0.5;
	#endif

					float d = min(uv.x - featherDirection.x, min((uv.y - featherDirection.y), min(featherDirection.z - uv.x, featherDirection.w - uv.y)));
					float a = smoothstep(0.0, _EdgeFeather, d);
					col.a *= a;
				}
#endif
				//return col;
				// 元々は 戻り値は、colだったが、WiteBalance()を追加したので
				// c, col.aが戻り値
				fixed3 c = WhiteBalance(col, _ColorBalance);
				//return fixed4(c, col.a);

				// Brightness, Saturation, Contrast
				// from https://www.programmersought.com/article/20663784804/
				// and original https://www.cnblogs.com/grassgarden/p/9784129.html

				// fixed4 renderTex = tex2D(_MainTex, i.uv)*i.color;
				fixed4 renderTex = fixed4(c, col.a);

				// brigtness brightness is directly multiplied by a factor, which is the overall RGB scaling, adjust the brightness
				fixed3 finalColor = renderTex * _Brightness;
				// saturation saturation: First calculate the lowest saturation value under the same brightness according to the formula:
				fixed gray = 0.2125 * renderTex.r + 0.7154 * renderTex.g + 0.0721 * renderTex.b;
				fixed3 grayColor = fixed3(gray, gray, gray);
				// The difference between the image with the lowest saturation and the original image according to Saturation
				finalColor = lerp(grayColor, finalColor, _Saturation);
				// contrast: first calculate the lowest contrast value
				fixed3 avgColor = fixed3(0.5, 0.5, 0.5);
				// According to Contrast, the difference between the image with the lowest contrast and the original image
				finalColor = lerp(avgColor, finalColor, _Contrast);
				// Return the result, the alpha channel remains unchanged
				return fixed4(finalColor, renderTex.a);
			}
			ENDCG
		}
	}
}
#ChannelPlayer · FOVE · Quest2 · Rift · Unity · VRソフト

Channel Player 1.28リリース

今回のバージョンにて、Quest2版は、Oculus AppLabからの配信となりました。
それ以外の更新内容としては以下となります。ソフトウェアのページでは、SteamVR版の御案内もあります。

2021-06-18 1.28
・SteamVR/Quest2版共通
 ラジアルメニュー右側
 - タイトル選択画面 輝度変更機能を追加
 - 動画再生中 ホワイトバランス(色温度、色合い)と輝度変更機能を追加
・Quest2版
セキュリティ脆弱性審査のために、AndroidManifest.xml に activity android:taskAffinity=”” を追加

2021-06-15 1.27 (一般向けには未公開)
・Quest2版 AppLab提出


#ChannelPlayer · FOVE · Quest2 · Rift · Unity · VRソフト

Channel Player 1.26リリース

ソフトウェアのページで御案内しているChannel Playerですが、この度、動画デコーダであるAVPro Video を2.0版(Ver. 2.1.3, 2021-05-14リリース)に差し替え、VRのステレオ動画フォーマットの自動認識に一部対応しました。Quest版では、AppLab申請中のため、今までは32bitのバイナリでしたが、ARM64向けの64bitのバイナリに変更しています。

AVPro Video 2.0版そのままでは、VRステレオ動画フォーマットの自動認識失敗したときに正しい形式に手動で切り替えることはできないのですが、動画プレイヤーでそれが出来ないと致命的なので、先日調査したときに書きましたが、Asset側コードに手を入れて対応しています。

またQuest2向けでは、AVPro Video 2.0版がGradle buildのみ対応となったので、build方法を変更したため、以前と異なるBuild IDとなっています。その結果、以前のバージョンがインストール済だとインストールに失敗します。その場合にはSideQuestアプリを用いてGame Dataのバックアップとアプリのアンインストールを実施してから、新しい版のインストールを実施して、その後Game DataをSideQuestアプリから戻すことで、フォルダ設定やお気に入りを残したままに出来ます。ご面倒をおかけしますが、よろしくお願いいたします。

#ChannelPlayer · Unity · VRソフト

バーチャルコミックブック

前回の続き。やっと時間が取れて、任意の静止画ファイルを起動時に読み取り、ページに張り付け、かつページをめくれるようになった。つくりとしては本一冊分の各ページの表と裏それぞれにTextureにして読み込ませる必要があるので、例えば2~300ページある場合、どうなるかテストが必要だろうとは思う。

Todo:
・現在静止画ファイル名が決め打ちになっているので、フォルダを設定できるようにする。
・本のサイズを静止画ファイルのアスペクト比に合わせる。
・表紙や裏表紙を設定できるようにする。ただし指定が無い場合は、一枚目を表紙にする。
・右めくりか左めくりか、コミックごとに指定できるようにする。