#ChannelPlayer · Quest2 · Unity · VRソフト

Fisheye180 Shader HIGH_QUALITY対応

以前対応したときには、HIGH_QUALITYフラグを有効にした場合の動作が出来ていなかったが、対応してみました。以下のコードとなります。しばらく、これでテストしてみて問題無ければ、#ChannelPlayerのリリースに進みます。

オリジナルのコードに比べ、ホワイトバランス、輝度、彩度、コントラスト、ストレッチの追加オプションが付いています。
また、AVProVideo 2.0のちょっと前のバージョンでは、ステレオ(Top_Botton, Left_Right)の切り替えが自動になっているのですが、以下のコードは、直接指定するよう手を加えています。

なおFOVの指定でVR180ではなく、他の角度でも表示できる実装があるのですが、実際は使っておらずケア出来ていないので、正しく動作しないと思います。

追伸、AVProVideo 2.1.8向けのFishEye180対応したShaderファイルと、Interfaces.cs、VideoRender.csは、こちらです。

Shader "AVProVideo/VR/InsideSphere Unlit Transparent(fisheye+stereo+color+fog+alpha)"
{
	Properties
	{
		_MainTex ("Texture", 2D) = "black" {}
		_ChromaTex("Chroma", 2D) = "white" {}
		_Color("Main Color", Color) = (1,1,1,1)

		[KeywordEnum(None, Top_Bottom, Left_Right, Custom_UV)] Stereo ("Stereo Mode", Float) = 0
		[KeywordEnum(None, Top_Bottom, Left_Right)] AlphaPack("Alpha Pack", Float) = 0
		[Toggle(STEREO_DEBUG)] _StereoDebug ("Stereo Debug Tinting", Float) = 0
		[KeywordEnum(None, EquiRect180, Fisheye180)] Layout("Layout", Float) = 0
		[Toggle(HIGH_QUALITY)] _HighQuality ("High Quality", Float) = 0
		[Toggle(APPLY_GAMMA)] _ApplyGamma("Apply Gamma", Float) = 0
		[Toggle(USE_YPCBCR)] _UseYpCbCr("Use YpCbCr", Float) = 0
		[Toggle(FLIPX)] _FlipX("X Flip", Float) = 0
		[Toggle(FLIPY)] _FlipY("Y Flip", Float) = 0
		_Strech ("Strech", Vector)=(1,1,0,0)
		_EdgeFeather("Edge Feather", Range (0, 1)) = 0
		_Fov("Fov", Range (0,360)) = 180
		_ColorBalance("Color Balance", Vector) = (1,1,1,1)
		_Brightness ("Brightness", Float) = 1
		_Saturation ("Saturation", Float) = 1
		_Contrast ("Contrast", Float) = 1

	}
	SubShader
	{
		Tags { "Queue" = "Transparent" "IgnoreProjector" = "True" "RenderType" = "Transparent" }
		ZWrite On
		//ZTest Always
		Blend SrcAlpha OneMinusSrcAlpha
		Cull Front
		Lighting Off

		Pass
		{
			CGPROGRAM
			#include "UnityCG.cginc"
			#include "AVProVideo.cginc"
			#include "Lighting.cginc"
			#define MY_PI (3.1415926535897932384626433832795)
			#define MY_PI2 (2.0 * 3.1415926535897932384626433832795)
#if HIGH_QUALITY || APPLY_GAMMA
			#pragma target 3.0
#endif
			#pragma vertex vert
			#pragma fragment frag

			#pragma multi_compile_fog
			// TODO: replace use multi_compile_local instead (Unity 2019.1 feature)
			#pragma multi_compile MONOSCOPIC STEREO_TOP_BOTTOM STEREO_LEFT_RIGHT STEREO_CUSTOM_UV
			#pragma multi_compile ALPHAPACK_NONE ALPHAPACK_TOP_BOTTOM ALPHAPACK_LEFT_RIGHT
			#pragma multi_compile __ STEREO_DEBUG
			#pragma multi_compile __ HIGH_QUALITY
			#pragma multi_compile __ APPLY_GAMMA
			#pragma multi_compile __ USE_YPCBCR
			#pragma multi_compile __ LAYOUT_EQUIRECT180
			#pragma multi_compile __ LAYOUT_FISHEYE180

			struct appdata
			{
				float4 vertex : POSITION; // vertex position
#if HIGH_QUALITY
				float3 normal : NORMAL;
#else
				float2 uv : TEXCOORD0; // texture coordinate
	#if STEREO_CUSTOM_UV
				float2 uv2 : TEXCOORD1;	// Custom uv set for right eye (left eye is in TEXCOORD0)
	#endif
#endif

#ifdef UNITY_STEREO_INSTANCING_ENABLED
				UNITY_VERTEX_INPUT_INSTANCE_ID
#endif
			};

			struct v2f
			{
				float4 vertex : SV_POSITION; // clip space position
#if HIGH_QUALITY
				float3 normal : TEXCOORD0;
				
	//#if STEREO_TOP_BOTTOM || STEREO_LEFT_RIGHT
				float4 scaleOffset : TEXCOORD1; // texture coordinate
				UNITY_FOG_COORDS(2)
	//#else
	//			UNITY_FOG_COORDS(1)
	//#endif
#else
				float4 uv : TEXCOORD0; // texture coordinate
				UNITY_FOG_COORDS(1)
#endif

#if STEREO_DEBUG
				float4 tint : COLOR;
#endif

#ifdef UNITY_STEREO_INSTANCING_ENABLED
				UNITY_VERTEX_OUTPUT_STEREO
#endif
			};

			uniform sampler2D _MainTex;
#if USE_YPCBCR
			uniform sampler2D _ChromaTex;
			uniform float4x4 _YpCbCrTransform;
#endif
			uniform float4 _MainTex_ST;
			uniform float4 _MainTex_TexelSize;
			uniform fixed4 _Color;
			uniform float _HighQuality;
			uniform float _EdgeFeather;
			uniform float _FlipX;
			uniform float _FlipY;
			uniform float4 _Strech;
			uniform float _Fov;
			uniform float Stereo;
			uniform float4 _ColorBalance;
			uniform float _Brightness;
			uniform float _Saturation;
			uniform float _Contrast;
			//
			// White balance
			// Recommended workspace: ACEScg (linear)
			// from https://github.com/Unity-Technologies/PostProcessing/blob/v2/PostProcessing/Shaders/Colors.hlsl
			//
			static const float3x3 LIN_2_LMS_MAT = {
				3.90405e-1, 5.49941e-1, 8.92632e-3,
				7.08416e-2, 9.63172e-1, 1.35775e-3,
				2.31082e-2, 1.28021e-1, 9.36245e-1
			};

			static const float3x3 LMS_2_LIN_MAT = {
				2.85847e+0, -1.62879e+0, -2.48910e-2,
				-2.10182e-1,  1.15820e+0,  3.24281e-4,
				-4.18120e-2, -1.18169e-1,  1.06867e+0
			};

			float3 WhiteBalance(float3 c, float3 balance)
			{
				float3 lms = mul(LIN_2_LMS_MAT, c);
				lms *= balance;
				return mul(LMS_2_LIN_MAT, lms);
			}

			v2f vert (appdata v)
			{
				v2f o;
#ifdef UNITY_STEREO_INSTANCING_ENABLED
				UNITY_SETUP_INSTANCE_ID(v);						// calculates and sets the built-n unity_StereoEyeIndex and unity_InstanceID Unity shader variables to the correct values based on which eye the GPU is currently rendering
				UNITY_INITIALIZE_OUTPUT(v2f, o);				// initializes all v2f values to 0
				UNITY_INITIALIZE_VERTEX_OUTPUT_STEREO(o);		// tells the GPU which eye in the texture array it should render to
#else
				UNITY_INITIALIZE_OUTPUT(v2f, o);
#endif
								
				o.vertex = XFormObjectToClip(v.vertex);
#if !HIGH_QUALITY
				o.uv.zw = 0.0;
				o.uv.xy = TRANSFORM_TEX(v.uv, _MainTex);
	#if !LAYOUT_FISHEYE180				
		#if LAYOUT_EQUIRECT180
				o.uv.x = ((o.uv.x - 0.5) * 2.0) + 0.5;
				// Set value for clipping if UV area is behind viewer
				o.uv.z = -1.0;
				if (v.uv.x > 0.25 && v.uv.x < 0.75)
				{
					o.uv.z = 1.0;
				}
		#endif
	#endif
				o.uv.xy = float2(1.0-o.uv.x, o.uv.y);			// 反転
#endif

//#if LAYOUT_FISHEYE180 && ( STEREO_TOP_BOTTOM || STEREO_LEFT_RIGHT ) && HIGH_QUALITY
//				o.scaleOffset = 1.0;
//#endif
//#if !LAYOUT_FISHEYE180
	//#if STEREO_TOP_BOTTOM || STEREO_LEFT_RIGHT

				float4 scaleOffset = GetStereoScaleOffset2(IsStereoEyeLeft(), _MainTex_ST.y < 0.0, Stereo);
				if (Stereo == 1 || Stereo == 2 )
				{	
					#if !HIGH_QUALITY
					o.uv.xy *= scaleOffset.xy;
					o.uv.xy += scaleOffset.zw;
					#else
					o.scaleOffset = scaleOffset;
					#endif
				}
	//#elif STEREO_CUSTOM_UV && !HIGH_QUALITY
	#if STEREO_CUSTOM_UV && !HIGH_QUALITY
				if (!IsStereoEyeLeft())
				{
					o.uv.xy = TRANSFORM_TEX(v.uv2, _MainTex);
					o.uv.xy = float2(1.0 - o.uv.x, o.uv.y);
				}
	#endif
//#endif
				
#if !HIGH_QUALITY
	#if ALPHAPACK_TOP_BOTTOM || ALPHAPACK_LEFT_RIGHT
				o.uv = OffsetAlphaPackingUV(_MainTex_TexelSize.xy, o.uv.xy, _MainTex_ST.y > 0.0);
	#endif
#endif

#if HIGH_QUALITY
				o.normal = v.normal;
#endif

				#if STEREO_DEBUG
				o.tint = GetStereoDebugTint(IsStereoEyeLeft());
				#endif

				UNITY_TRANSFER_FOG(o, o.vertex);
				return o;
			}

#if LAYOUT_FISHEYE180
			float2 calcUV (float2 _uv)
			{
				// from https://github.com/ft-lab/Unity_Panorama180View/blob/master/README_jp.md
				// MIT License. Copyright (c) 2019 ft-lab.
				float2 uv = _uv;

				// FishEyeからequirectangularの変換.
				// reference : http://paulbourke.net/dome/fish2/
				float theta = MY_PI2 * (uv.x - 0.5);
				float phi   = MY_PI * (uv.y - 0.5);
				float FOV   = ( MY_PI / 180 ) * _Fov;
				float sinP = sin(phi);
				float cosP = cos(phi);
				float sinT = sin(theta);
				float cosT = cos(theta);
				float3 vDir = float3(cosP * sinT, cosP * cosT, sinP);

				theta = atan2(vDir.z, vDir.x);
				phi   = atan2(sqrt(vDir.x * vDir.x + vDir.z * vDir.z), vDir.y);
				float r = phi / FOV; 

				// 左右の映像が横50%のサイズで正面(180度)出力。
				uv.x = 0.5 + r * cos(theta);
				uv.y = 0.5 + r * sin(theta);

	//#if STEREO_LEFT_RIGHT
				if (Stereo == 2)
				{
					// 左右を2倍(0.5倍すると2倍になる)にする。360度出力。
					uv.x *= 0.5;
					// 右を描画しているときは、+0.5して移動させる。
					if (unity_StereoEyeIndex > 0)
					{
						uv.x += 0.5;
					}
				}
	//#endif
	//#if STEREO_TOP_BOTTOM
				if (Stereo == 1)
				{
					uv.y *= 0.5;
					// 左を描画しているときは、+0.5して移動させる。
					if (unity_StereoEyeIndex == 0)
					{
						uv.y += 0.5;
					}
				}
	//#endif
				return uv;
			}
#endif

			fixed4 frag (v2f i) : SV_Target
			{
				float4 uv = 0;
#if HIGH_QUALITY
				float3 n = normalize(i.normal);
		#if LAYOUT_EQUIRECT180 || LAYOUT_FISHEYE180
				clip(-n.z);	// Clip pixels on the back of the sphere
		#endif

	//#if LAYOUT_NONE || LAYOUT_EQUIRECT180
				float M_1_PI = 1.0 / 3.1415926535897932384626433832795;
				float M_1_2PI = 1.0 / 6.283185307179586476925286766559;
				uv.x = 0.5 - atan2(n.z, n.x) * M_1_2PI;
				uv.y = 0.5 - asin(-n.y) * M_1_PI;
				uv.x += 0.75;
				uv.x = fmod(uv.x, 1.0);
				//uv.x = uv.x % 1.0;
				uv.xy = TRANSFORM_TEX(uv, _MainTex);

	#if LAYOUT_EQUIRECT180
				uv.x = ((uv.x - 0.5) * 2.0) + 0.5;
	#endif
	#if LAYOUT_FISHEYE180
			   	if (unity_StereoEyeIndex > 0)
				{
					// 右側
					uv.x = ((uv.x - 0.5) * 2.0);
				}
				else
				{
					// 左側
					uv.x = ((uv.x - 0.5) * 2.0) + 1.0;
				}
	#endif
	//#if STEREO_TOP_BOTTOM || STEREO_LEFT_RIGHT
				if (Stereo == 1 || Stereo == 2)
				{
					uv.xy *= i.scaleOffset.xy;
					uv.xy += i.scaleOffset.zw;
				}
	//#endif
	#if ALPHAPACK_TOP_BOTTOM || ALPHAPACK_LEFT_RIGHT
				uv = OffsetAlphaPackingUV(_MainTex_TexelSize.xy, uv.xy, _MainTex_ST.y < 0.0);
	#endif
	#if LAYOUT_FISHEYE180
				// FOVを変更したときに、描画スタート位置と終了位置を設定する。180度の場合は0.25から0.75
				float _start = 0.5 - ( _Fov / 720 );
				float _end = _start + ( _Fov/ 360 );
				if (uv.x < _start || uv.x > _end) return float4(0.0, 0.0, 0.0, 1.0);
				uv.xy = calcUV(uv.xy);
	#endif

#else
				uv = i.uv;
	#if LAYOUT_FISHEYE180
				// FOVを変更したときに、描画スタート位置と終了位置を設定する。180度の場合は0.25から0.75
				float _start = 0.5 - ( _Fov / 720 );
				float _end = _start + ( _Fov/ 360 );
				if (uv.x < _start || uv.x > _end) return float4(0.0, 0.0, 0.0, 1.0);
				uv.xy = calcUV(uv.xy);
	#elif LAYOUT_EQUIRECT180
				clip(i.uv.z);	// Clip pixels on the back of the sphere
	#endif
#endif
				// 鏡像 _FlipX, _FlipY
				if(_FlipX > 0) uv.xy = float2(1.0 - uv.x, uv.y); // 反転
				if(_FlipY > 0) uv.xy = float2(uv.x, 1.0 - uv.y); // 反転

				// ストレッチ _Strech.xy と、歪み補正 _Strech.zw
				uv.xy = uv + float2(sin(uv.x * MY_PI2) * _Strech.z, sin(uv.y * MY_PI2) * _Strech.w);
				uv.xy = 0.5 + (uv - 0.5) / _Strech.xy;

				fixed4 col;
#if USE_YPCBCR
				col = SampleYpCbCr(_MainTex, _ChromaTex, uv.xy, _YpCbCrTransform);
#else
				col = SampleRGBA(_MainTex, uv.xy);
#endif

#if ALPHAPACK_TOP_BOTTOM || ALPHAPACK_LEFT_RIGHT
				col.a = SamplePackedAlpha(_MainTex, uv.zw);
#endif

#if STEREO_DEBUG
				col *= i.tint;
#endif

				col *= _Color;

				UNITY_APPLY_FOG(i.fogCoord, col);

#if LAYOUT_EQUIRECT180 || LAYOUT_FISHEYE180
				// Apply edge feathering based on UV mapping - this is useful if you're using a hemisphere mesh for 180 degree video and want to have soft edges
				if (_EdgeFeather > 0.0)
				{
					float4 featherDirection = float4(0.0, 0.0, 1.0, 1.0);
					
	//#if STEREO_TOP_BOTTOM
					if (Stereo == 1)
					{ 
					if (uv.y > 0.5)
					{
						featherDirection.y = 0.5;
					}
					else
					{
						featherDirection.w = 0.5;
					}
					}
	//#endif

	//#if STEREO_LEFT_RIGHT
					if (Stereo == 2)
					{
					if (uv.x > 0.5)
					{
						featherDirection.x = 0.5;
					}
					else
					{
						featherDirection.z = 0.5;
					}
					}
	//#endif


	#if ALPHAPACK_TOP_BOTTOM
					featherDirection.w *= 0.5;
	#endif

	#if ALPHAPACK_LEFT_RIGHT
					featherDirection.z *= 0.5;
	#endif

					float d = min(uv.x - featherDirection.x, min((uv.y - featherDirection.y), min(featherDirection.z - uv.x, featherDirection.w - uv.y)));
					float a = smoothstep(0.0, _EdgeFeather, d);
					col.a *= a;
				}
#endif
				//return col;
				// 元々は 戻り値は、colだったが、WiteBalance()を追加したので
				// c, col.aが戻り値
				fixed3 c = WhiteBalance(col, _ColorBalance);
				//return fixed4(c, col.a);

				// Brightness, Saturation, Contrast
				// from https://www.programmersought.com/article/20663784804/
				// and original https://www.cnblogs.com/grassgarden/p/9784129.html

				// fixed4 renderTex = tex2D(_MainTex, i.uv)*i.color;
				fixed4 renderTex = fixed4(c, col.a);

				// brigtness brightness is directly multiplied by a factor, which is the overall RGB scaling, adjust the brightness
				fixed3 finalColor = renderTex * _Brightness;
				// saturation saturation: First calculate the lowest saturation value under the same brightness according to the formula:
				fixed gray = 0.2125 * renderTex.r + 0.7154 * renderTex.g + 0.0721 * renderTex.b;
				fixed3 grayColor = fixed3(gray, gray, gray);
				// The difference between the image with the lowest saturation and the original image according to Saturation
				finalColor = lerp(grayColor, finalColor, _Saturation);
				// contrast: first calculate the lowest contrast value
				fixed3 avgColor = fixed3(0.5, 0.5, 0.5);
				// According to Contrast, the difference between the image with the lowest contrast and the original image
				finalColor = lerp(avgColor, finalColor, _Contrast);
				// Return the result, the alpha channel remains unchanged
				return fixed4(finalColor, renderTex.a);
			}
			ENDCG
		}
	}
}
広告

Fisheye180 Shader HIGH_QUALITY対応” への2件のフィードバック

  1. AVProVideoの該当チケットは昨日閉じてしまい、特にコードに反映することは無いそうです。残念。
    とは言え、提供したShaderのコードはgithubにもコピーが保存されたので、AVProVideoで FIsheye対応される場合には、参照されることになるようです。

    https://github.com/RenderHeads/UnityPlugin-AVProVideo/issues/83
    Add FishEye Layout Mapping Support #83

    https://github.com/RenderHeads/UnityPlugin-AVProVideo/files/7677368/Shader.zip

    いいね

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト /  変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト /  変更 )

%s と連携中