Bump version: 0.21 → 0.22

.bumpversion.cfg

@@ -1,7 +1,7 @@
 [bumpversion]
 commit = True
 tag = True
-current_version = 0.17
+current_version = 0.22
 parse = (?P<major>\d+)\.(?P<minor>\d+)(\.(?P<patch>\d+)(\-(?P<release>[a-z]+))?)?
 serialize = 
 	{major}.{minor}

Makefile

@@ -6,7 +6,7 @@ LDFLAGS ?=
 
 # =====
 CC = gcc
-LIBS = -lm -ljpeg -pthread -levent -levent_pthreads
+LIBS = -lm -ljpeg -pthread -levent -levent_pthreads -luuid
 override CFLAGS += -c -std=c99 -Wall -Wextra -D_GNU_SOURCE
 SOURCES = $(shell ls src/*.c src/jpeg/*.c)
 OBJECTS = $(SOURCES:.c=.o)

PKGBUILD

@@ -3,13 +3,13 @@
 
 
 pkgname=ustreamer
-pkgver=0.17
+pkgver=0.22
 pkgrel=1
 pkgdesc="Lightweight and fast MJPG-HTTP streamer"
 url="https://github.com/pi-kvm/ustreamer"
 license=(GPL)
 arch=(i686 x86_64 armv6h armv7h)
-depends=(libjpeg libevent)
+depends=(libjpeg libevent libutil-linux)
 # optional: raspberrypi-firmware for OMX JPEG compressor
 makedepends=(gcc make)
 source=("$url/archive/v$pkgver.tar.gz")

README.md

@@ -17,9 +17,9 @@
 | Возможность сервить файлы встроенным<br>HTTP-сервером, настройки авторизации | ![#f03c15](https://placehold.it/15/f03c15/000000?text=+) Нет <sup>4</sup> | ![#00aa00](https://placehold.it/15/00aa00/000000?text=+) Есть |
 
 Сносочки:
-  * ```1``` Для mjpg-streamer существует [мой патч](https://github.com/jacksonliam/mjpg-streamer/pull/164), предотвращающий зависание при отключении устройства и добавляющий поддержку DV-таймингов, однако трансляция при этом все равно прерывается. В данный момент этот патч не принят в апстрим, и я даже не гарантирую его стопроцентную работоспособность. Код mjpg-streamer очень плохо структурирован и чрезвычайно запутан, и я мог что-то упустить. Собственно, это одна из причин, почему µStreamer был написан с нуля.
+  * ```1``` Для mjpg-streamer существует [мой патч](https://github.com/jacksonliam/mjpg-streamer/pull/164), предотвращающий зависание при отключении устройства и добавляющий поддержку DV-таймингов, однако трансляция при этом все равно прерывается. В данный момент этот патч не принят в апстрим, и я даже не гарантирую его стопроцентную работоспособность. Код mjpg-streamer очень плохо структурирован, чрезвычайно запутан, и я мог что-то упустить. Собственно, это одна из причин, почему µStreamer был написан с нуля.
   
-  * ```2``` Это фича позволяет в несколько раз снизить объем исходящего трафика при трансляции HDMI, однако увеличивает загрузку процессора и добавляет небольшую задержку. Суть в том, что HDMI - полностью цифровой интерфейс, и новый захваченный фрейм может быть идентичен предыдущему в точности до байта. В этом случае нет нужды передавать одну и ту же картинку по сети несколько раз в секунду. При использовании опции `--drop-same-frames=20`, µStreamer будет дропать все одинаковые фреймы, но не более 20. Новый фрейм сравнивается с предыдущим сначала по длине, а затем помощью ```memcmp()```.
+  * ```2``` Это фича позволяет в несколько раз снизить объем исходящего трафика при трансляции HDMI, однако немного увеличивает загрузку процессора. Суть в том, что HDMI - полностью цифровой интерфейс, и новый захваченный фрейм может быть идентичен предыдущему в точности до байта. В этом случае нет нужды передавать одну и ту же картинку по сети несколько раз в секунду. При использовании опции `--drop-same-frames=20`, µStreamer будет дропать все одинаковые фреймы, но не более 20 подряд. Новый фрейм сравнивается с предыдущим сначала по длине, а затем помощью ```memcmp()```.
 
   * ```3``` Поскольку µStreamer писался в первую очередь для устройств видеозахвата, в нем реализованы только те форматы, которые для них были нужны. MJPG в контексте входных данных означает, что устройство умеет самостоятельно сжимать картинку в JPEG и отдавать ее программе, что позволяет значительно снизить загрузку процессора и избавить его от необходимости кодировать картинку софтом. Этот формат поддерживается большинством веб-камер, но не поддерживается ни одним из встреченных мной устройств видеозахвата; его не умеет ни [Auvidea B101](https://auvidea.com/b101-hdmi-to-csi-2-bridge-15-pin-fpc/), ни [EasyCap UTV 007](https://www.amazon.com/dp/B0126O0RDC). Нет никаких технических сложностей добавить поддержку аппаратного MJPG источника, но у меня просто пока не дошли до этого руки.
 
@@ -31,9 +31,9 @@
 
 -----
 # Сборка
-Для сборки вам понадобятся ```make```, ```gcc```, ```libevent``` с поддержкой ```pthreads``` и ```libjpeg8```/```libjpeg-turbo```.
+Для сборки вам понадобятся ```make```, ```gcc```, ```libevent``` с поддержкой ```pthreads```, ```libjpeg8```/```libjpeg-turbo``` и ```libuuid```.
 
-На Raspberry Pi програма автоматически собирается с поддержкой OpenMAX, если обнаружит нужные хедеры в ```/opt/vc/include```.
+На Raspberry Pi програма автоматически собирается с поддержкой OpenMAX IL, если обнаружит нужные хедеры в ```/opt/vc/include```.
 
 ```
 $ git clone --depth=1 https://github.com/pi-kvm/ustreamer
@@ -57,6 +57,8 @@ $ ./ustreamer \
     --format=uyvy \ # Настройка входного формата устройства
     --encoder=omx \ # Использование аппаратного кодирования с помощью OpenMAX
     --dv-timings # Включение DV-таймингов
+    --quality=20 # У OpenMAX нелинейная шкала качества
+    --drop-same-frames=30 # Экономим трафик
 ```
 
 За полным списком опций обращайтесь ко встроенной справке: ```ustreamer --help```.

src/config.h

@@ -21,4 +21,4 @@
 
 #pragma once
 
-#define VERSION "0.17"
+#define VERSION "0.22"

src/http.c

@@ -30,6 +30,8 @@
 #include <event2/buffer.h>
 #include <event2/bufferevent.h>
 
+#include <uuid/uuid.h>
+
 #ifndef EVTHREAD_USE_PTHREADS_IMPLEMENTED
 #	error Required libevent-pthreads support
 #endif
@@ -172,17 +174,25 @@ static void _http_callback_ping(struct evhttp_request *request, void *v_server)
 
 	assert((buf = evbuffer_new()));
 	assert(evbuffer_add_printf(buf,
-		"{\"stream\": {\"resolution\":"
-		" {\"width\": %u, \"height\": %u},"
-		" \"fps\": %u, \"eps\": %u,"
-		" \"online\": %s, \"clients\": %u}}",
+		"{\"source\": {\"resolution\": {\"width\": %u, \"height\": %u},"
+		" \"online\": %s, \"quality\": %u, \"captured_fps\": %u},"
+		" \"stream\": {\"queued_fps\": %u,  \"clients\": %u, \"clients_stat\": {",
 		(server->fake_width ? server->fake_width : server->run->exposed->width),
 		(server->fake_height ? server->fake_height : server->run->exposed->height),
-		server->run->exposed->fps, // frame per second (capturing)
-		server->run->exposed->eps, // expose per second (server)
 		(server->run->exposed->online ? "true" : "false"),
+		server->run->stream->encoder->quality,
+		server->run->exposed->captured_fps,
+		server->run->exposed->queued_fps,
 		server->run->stream_clients_count
 	));
+	for (struct stream_client_t * client = server->run->stream_clients; client != NULL; client = client->next) {
+		assert(evbuffer_add_printf(buf,
+			"\"%s\": {\"fps\": %u}%s",
+			client->id, client->fps, (client->next ? ", " : "")
+		));
+	}
+	assert(evbuffer_add_printf(buf, "}}}"));
+
 	ADD_HEADER("Content-Type", "application/json");
 	evhttp_send_reply(request, HTTP_OK, "OK", buf);
 	evbuffer_free(buf);
@@ -244,6 +254,7 @@ static void _http_callback_stream(struct evhttp_request *request, void *v_server
 	struct stream_client_t *client;
 	char *client_addr;
 	unsigned short client_port;
+	uuid_t uuid;
 
 	PROCESS_HEAD_REQUEST;
 
@@ -255,6 +266,9 @@ static void _http_callback_stream(struct evhttp_request *request, void *v_server
 		client->need_initial = true;
 		client->need_first_frame = true;
 
+		uuid_generate(uuid);
+		uuid_unparse_lower(uuid, client->id);
+
 		if (server->run->stream_clients == NULL) {
 			server->run->stream_clients = client;
 		} else {
@@ -268,8 +282,8 @@ static void _http_callback_stream(struct evhttp_request *request, void *v_server
 
 		evhttp_connection_get_peer(conn, &client_addr, &client_port);
 		LOG_INFO(
-			"HTTP: Registered the new stream client: [%s]:%u; clients now: %u",
-			client_addr, client_port, server->run->stream_clients_count
+			"HTTP: Registered the new stream client: [%s]:%u; id=%s; clients now: %u",
+			client_addr, client_port, client->id, server->run->stream_clients_count
 		);
 
 		buf_event = evhttp_connection_get_bufferevent(conn);
@@ -288,6 +302,15 @@ static void _http_callback_stream_write(struct bufferevent *buf_event, void *v_c
 
 	struct stream_client_t *client = (struct stream_client_t *)v_client;
 	struct evbuffer *buf;
+	long double now = get_now_monotonic();
+	long long now_second = floor_ms(now);
+
+	if (now_second != client->fps_accum_second) {
+		client->fps = client->fps_accum;
+		client->fps_accum = 0;
+		client->fps_accum_second = now_second;
+	}
+	client->fps_accum += 1;
 
 	assert((buf = evbuffer_new()));
 
@@ -298,9 +321,11 @@ static void _http_callback_stream_write(struct bufferevent *buf_event, void *v_c
 			"Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0" RN
 			"Pragma: no-cache" RN
 			"Expires: Mon, 3 Jan 2000 12:34:56 GMT" RN
+			"Set-Cookie: stream_client_id=%s; path=/; max-age=30" RN
 			"Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY RN
 			RN
-			"--" BOUNDARY RN
+			"--" BOUNDARY RN,
+			client->id
 		));
 		assert(!bufferevent_write_buffer(buf_event, buf));
 		client->need_initial = false;
@@ -319,6 +344,7 @@ static void _http_callback_stream_write(struct bufferevent *buf_event, void *v_c
 	if (client->server->extra_stream_headers) {
 		assert(evbuffer_add_printf(buf,
 			"X-UStreamer-Online: %s" RN
+			"X-UStreamer-Client-FPS: %u" RN
 			"X-UStreamer-Grab-Time: %.06Lf" RN
 			"X-UStreamer-Encode-Begin-Time: %.06Lf" RN
 			"X-UStreamer-Encode-End-Time: %.06Lf" RN
@@ -328,13 +354,14 @@ static void _http_callback_stream_write(struct bufferevent *buf_event, void *v_c
 			"X-UStreamer-Send-Time: %.06Lf" RN
 			RN,
 			(EXPOSED(online) ? "true" : "false"),
+			client->fps,
 			EXPOSED(picture.grab_time),
 			EXPOSED(picture.encode_begin_time),
 			EXPOSED(picture.encode_end_time),
 			EXPOSED(expose_begin_time),
 			EXPOSED(expose_cmp_time),
 			EXPOSED(expose_end_time),
-			get_now_monotonic()
+			now
 		));
 	}
 
@@ -387,28 +414,38 @@ static void _http_callback_stream_error(UNUSED struct bufferevent *buf_event, UN
 }
 
 static void _http_queue_send_stream(struct http_server_t *server, const bool updated) {
-	struct stream_client_t *client;
 	struct evhttp_connection *conn;
 	struct bufferevent *buf_event;
+	long long now;
+	bool queued = false;
+	static unsigned queued_fps_accum = 0;
+	static long long queued_fps_second = 0;
 
-	for (client = server->run->stream_clients; client != NULL; client = client->next) {
+	for (struct stream_client_t *client = server->run->stream_clients; client != NULL; client = client->next) {
 		conn = evhttp_request_get_connection(client->request);
 		if (conn != NULL && (updated || client->need_first_frame)) {
 			buf_event = evhttp_connection_get_bufferevent(conn);
 			bufferevent_setcb(buf_event, NULL, _http_callback_stream_write, _http_callback_stream_error, (void *)client);
 			bufferevent_enable(buf_event, EV_READ|EV_WRITE);
 			client->need_first_frame = false;
+			queued = true;
 		}
 	}
+
+	if (queued) {
+		if ((now = floor_ms(get_now_monotonic())) != queued_fps_second) {
+			server->run->exposed->queued_fps = queued_fps_accum;
+			queued_fps_accum = 0;
+			queued_fps_second = now;
+		}
+		queued_fps_accum += 1;
+	}
 }
 
 static void _http_exposed_refresh(UNUSED int fd, UNUSED short what, void *v_server) {
 	struct http_server_t *server = (struct http_server_t *)v_server;
 	bool updated = false;
 	bool queue_send = false;
-	long long now;
-	static unsigned eps = 0;
-	static long long eps_second = 0;
 
 #define LOCK_STREAM \
 	A_PTHREAD_M_LOCK(&server->run->stream->mutex);
@@ -434,12 +471,19 @@ static void _http_exposed_refresh(UNUSED int fd, UNUSED short what, void *v_serv
 	}
 
 	if (queue_send) {
-		if ((now = floor_ms(get_now_monotonic())) != eps_second) {
-			server->run->exposed->eps = eps;
-			eps = 0;
-			eps_second = now;
+		if (server->drop_same_frames) {
+			// Хром всегда показывает не новый пришедший фрейм, а предыдущий.
+			// При updated == false нужно еще один раз послать предыдущий фрейм
+			// https://bugs.chromium.org/p/chromium/issues/detail?id=527446
+
+			static bool updated_prev = false;
+			bool updated_orig = updated;
+
+			if (updated_prev && !updated_orig) {
+				updated = true;
+			}
+			updated_prev = updated_orig;
 		}
-		eps += 1;
 
 		_http_queue_send_stream(server, updated);
 	}
@@ -453,7 +497,7 @@ static bool _expose_new_picture(struct http_server_t *server) {
 #	define EXPOSED(_next) server->run->exposed->_next
 
 	assert(STREAM(picture.size) > 0);
-	EXPOSED(fps) = STREAM(fps);
+	EXPOSED(captured_fps) = STREAM(captured_fps);
 	EXPOSED(expose_begin_time) = get_now_monotonic();
 
 #	define MEM_STREAM_TO_EXPOSED \
@@ -536,7 +580,7 @@ static bool _expose_blank_picture(struct http_server_t *server) {
 
 		EXPOSED(width) = BLANK_JPG_WIDTH;
 		EXPOSED(height) = BLANK_JPG_HEIGHT;
-		EXPOSED(fps) = 0;
+		EXPOSED(captured_fps) = 0;
 		EXPOSED(online) = false;
 		goto updated;
 	}

src/http.h

@@ -31,8 +31,12 @@
 struct stream_client_t {
 	struct http_server_t	*server;
 	struct evhttp_request	*request;
+	char					id[37]; // ex. "1b4e28ba-2fa1-11d2-883f-0016d3cca427" + "\0"
 	bool					need_initial;
 	bool					need_first_frame;
+	unsigned				fps;
+	unsigned				fps_accum;
+	long long				fps_accum_second;
 
 	struct stream_client_t	*prev;
 	struct stream_client_t	*next;
@@ -42,10 +46,10 @@ struct exposed_t {
 	struct picture_t	picture;
 	unsigned			width;
 	unsigned			height;
-	unsigned			fps;
+	unsigned			captured_fps;
+	unsigned			queued_fps;
 	bool				online;
 	unsigned			dropped;
-	unsigned			eps;
 	long double			expose_begin_time;
 	long double			expose_cmp_time;
 	long double			expose_end_time;

src/stream.c

@@ -85,8 +85,8 @@ void stream_loop(struct stream_t *stream) {
 		unsigned frames_count = 0;
 		long double grab_after = 0;
 		unsigned fluency_passed = 0;
-		unsigned fps = 0;
-		long long fps_second = 0;
+		unsigned captured_fps_accum = 0;
+		long long captured_fps_second = 0;
 
 		LOG_DEBUG("Allocation memory for stream picture ...");
 		A_CALLOC(stream->picture.data, stream->dev->run->max_picture_size);
@@ -111,7 +111,7 @@ void stream_loop(struct stream_t *stream) {
 				free_worker_number = oldest_worker->ctx.number;
 				oldest_worker = oldest_worker->order_next;
 
-				LOG_PERF("##### ACCEPT : %u", free_worker_number);
+				LOG_PERF("##### Raw frame accepted; worker = %u", free_worker_number);
 			} else {
 				for (unsigned number = 0; number < stream->dev->run->n_workers; ++number) {
 					if (!pool.workers[number].has_job && (free_worker_number == -1
@@ -125,7 +125,7 @@ void stream_loop(struct stream_t *stream) {
 				assert(free_worker_number >= 0);
 				assert(!pool.workers[free_worker_number].has_job);
 
-				LOG_PERF("----- DROP   : %u", free_worker_number);
+				LOG_PERF("----- Raw frame dropped;  worker = %u", free_worker_number);
 			}
 
 			if (stream->dev->stop) {
@@ -197,13 +197,13 @@ void stream_loop(struct stream_t *stream) {
 						}
 						fluency_passed = 0;
 
-						if (now_second != fps_second) {
-							LOG_PERF("Oldest worker complete, encoding FPS = %u", fps);
-							stream->fps = fps;
-							fps = 0;
-							fps_second = now_second;
+						if (now_second != captured_fps_second) {
+							stream->captured_fps = captured_fps_accum;
+							captured_fps_accum = 0;
+							captured_fps_second = now_second;
+							LOG_PERF("Oldest worker complete, Captured-FPS = %u", stream->captured_fps);
 						}
-						fps += 1;
+						captured_fps_accum += 1;
 
 						long double fluency_delay = _stream_get_fluency_delay(stream->dev, &pool);
 

src/stream.h

@@ -86,7 +86,7 @@ struct stream_t {
 	struct picture_t	picture;
 	unsigned			width;
 	unsigned			height;
-	unsigned			fps;
+	unsigned			captured_fps;
 	bool				updated;
 	pthread_mutex_t		mutex;
 	struct device_t		*dev;