Bump version: 0.11 → 0.12

.bumpversion.cfg

@@ -1,7 +1,7 @@
 [bumpversion]
 commit = True
 tag = True
-current_version = 0.11
+current_version = 0.12
 parse = (?P<major>\d+)\.(?P<minor>\d+)(\.(?P<patch>\d+)(\-(?P<release>[a-z]+))?)?
 serialize = 
 	{major}.{minor}

PKGBUILD

@@ -3,7 +3,7 @@
 
 
 pkgname=ustreamer
-pkgver=0.11
+pkgver=0.12
 pkgrel=1
 pkgdesc="Lightweight and fast MJPG-HTTP streamer"
 url="https://github.com/pi-kvm/ustreamer"

README.md

@@ -10,17 +10,20 @@
 | Аппаратное кодирование с помощью [OpenMAX IL](https://www.khronos.org/openmaxil) на Raspberry Pi | ![#00aa00](https://placehold.it/15/00aa00/000000?text=+) Есть | ![#f03c15](https://placehold.it/15/f03c15/000000?text=+) Нет |
 | Поведение при физическом отключении устройства<br>от сервера во время работы | ![#00aa00](https://placehold.it/15/00aa00/000000?text=+) Транслирует черный экран<br>с надписью ```NO SIGNAL```,<br>пока устройство не будет подключено снова | ![#f03c15](https://placehold.it/15/f03c15/000000?text=+) Необратимо зависает <sup>1</sup> |
 | Поддержка [DV-таймингов](https://linuxtv.org/downloads/v4l-dvb-apis/uapi/v4l/dv-timings.html) - возможности изменения <br>параметров разрешения трансляции на лету<br>по сигналу источника (устройства видеозахвата) | ![#00aa00](https://placehold.it/15/00aa00/000000?text=+) Есть | ![#f03c15](https://placehold.it/15/f03c15/000000?text=+) Нет <sup>1</sup> |
+| Возможность пропуска фреймов при передаче<br>статического изображения по HTTP<br>для экономии трафика | ![#00aa00](https://placehold.it/15/00aa00/000000?text=+) Есть <sup>2</sup> | ![#f03c15](https://placehold.it/15/f03c15/000000?text=+) Нет |
 | Дебаг-логи без перекомпиляции,<br>логгирование статистики производительности,<br>возможность получения параметров<br>трансляции по HTTP | ![#00aa00](https://placehold.it/15/00aa00/000000?text=+) Есть | ![#f03c15](https://placehold.it/15/f03c15/000000?text=+) Нет |
-| Поддерживаемые входные форматы устройств | ![#ffaa00](https://placehold.it/15/ffaa00/000000?text=+) YUYV, UYVY,<br>RGB565, ~~MJPG~~ <sup>2</sup> | ![#00aa00](https://placehold.it/15/00aa00/000000?text=+) YUYV, UYVY,<br>RGB565, MJPG |
+| Поддерживаемые входные форматы устройств | ![#ffaa00](https://placehold.it/15/ffaa00/000000?text=+) YUYV, UYVY,<br>RGB565, ~~MJPG~~ <sup>3</sup> | ![#00aa00](https://placehold.it/15/00aa00/000000?text=+) YUYV, UYVY,<br>RGB565, MJPG |
 | Поддержка контролов веб-камер (фокус,<br> движение сервами) и всяких настроек,<br> типа яркости, через HTTP | ![#f03c15](https://placehold.it/15/f03c15/000000?text=+) Нет | ![#00aa00](https://placehold.it/15/00aa00/000000?text=+) Есть |
-| Возможность сервить файлы встроенным<br>HTTP-сервером, настройки авторизации | ![#f03c15](https://placehold.it/15/f03c15/000000?text=+) Нет <sup>3</sup> | ![#00aa00](https://placehold.it/15/00aa00/000000?text=+) Есть |
+| Возможность сервить файлы встроенным<br>HTTP-сервером, настройки авторизации | ![#f03c15](https://placehold.it/15/f03c15/000000?text=+) Нет <sup>4</sup> | ![#00aa00](https://placehold.it/15/00aa00/000000?text=+) Есть |
 
 Сносочки:
   * ```1``` Для mjpg-streamer существует [мой патч](https://github.com/jacksonliam/mjpg-streamer/pull/164), предотвращающий зависание при отключении устройства и добавляющий поддержку DV-таймингов, однако трансляция при этом все равно прерывается. В данный момент этот патч не принят в апстрим, и я даже не гарантирую его стопроцентную работоспособность. Код mjpg-streamer очень плохо структурирован и чрезвычайно запутан, и я мог что-то упустить. Собственно, это одна из причин, почему µStreamer написан с нуля.
+  
+  * ```2``` Это фича позволяет в несколько раз снизить объем исходящего трафика при трансляции HDMI, однако увеличивает загрузку процессора и добавляет небольшую задержку. Суть в том, что HDMI - полностью цифровой интерфейс, и новый захваченный фрейм может быть идентичен предыдущему в точности до байта. В этом случае нет нужды передавать одну и ту же картинку по сети несколько раз в секунду. При использовании опции `--drop-same-frames=20`, µStreamer будет дропать все одинаковые фреймы, но не более 20. Новый фрейм сравнивается с предыдущим сначала по длине, а затем помощью ```memcmp()```.
 
-  * ```2``` Поскольку µStreamer писался в первую очередь для устройств видеозахвата, в нем реализованы только те форматы, которые для них были нужны. MJPG в контексте входных данных означает, что устройство умеет самостоятельно сжимать картинку в JPEG и отдавать ее программе, что позволяет значительно снизить загрузку процессора и избавить его от необходимости кодировать картинку софтом. Этот формат поддерживается большинством веб-камер, но не поддерживается ни одним из встреченных мной устройств видеозахвата; его не умеет ни [Auvidea B101](https://auvidea.com/b101-hdmi-to-csi-2-bridge-15-pin-fpc/), ни [EasyCap UTV 007](https://www.amazon.com/dp/B0126O0RDC). Нет никаких технических сложностей добавить поддержку аппаратного MJPG источника, но у меня просто пока не дошли до этого руки.
+  * ```3``` Поскольку µStreamer писался в первую очередь для устройств видеозахвата, в нем реализованы только те форматы, которые для них были нужны. MJPG в контексте входных данных означает, что устройство умеет самостоятельно сжимать картинку в JPEG и отдавать ее программе, что позволяет значительно снизить загрузку процессора и избавить его от необходимости кодировать картинку софтом. Этот формат поддерживается большинством веб-камер, но не поддерживается ни одним из встреченных мной устройств видеозахвата; его не умеет ни [Auvidea B101](https://auvidea.com/b101-hdmi-to-csi-2-bridge-15-pin-fpc/), ни [EasyCap UTV 007](https://www.amazon.com/dp/B0126O0RDC). Нет никаких технических сложностей добавить поддержку аппаратного MJPG источника, но у меня просто пока не дошли до этого руки.
 
-  * ```3``` ... и не будет. µStreamer придерживается концепции UNIX-way, так что если вам нужно нарисовать маленький сайтик со встроенной трансляцией - просто поставьте NGINX.
+  * ```4``` ... и не будет. µStreamer придерживается концепции UNIX-way, так что если вам нужно нарисовать маленький сайтик со встроенной трансляцией - просто поставьте NGINX.
 
 -----
 # TL;DR

src/config.h

@@ -21,4 +21,4 @@
 
 #pragma once
 
-#define VERSION "0.11"
+#define VERSION "0.12"

src/http.c

@@ -52,24 +52,24 @@ static void _http_callback_stream_write(struct bufferevent *buf_event, void *v_c
 static void _http_callback_stream_error(struct bufferevent *buf_event, short what, void *v_ctx);
 
 static void _http_exposed_refresh(int fd, short event, void *v_server);
-static void _http_queue_send_stream(struct http_server_t *server);
+static void _http_queue_send_stream(struct http_server_t *server, const bool updated);
 
-static void _expose_new_picture(struct http_server_t *server);
-static void _expose_blank_picture(struct http_server_t *server);
+static bool _expose_new_picture(struct http_server_t *server);
+static bool _expose_blank_picture(struct http_server_t *server);
 
 
 struct http_server_t *http_server_init(struct stream_t *stream) {
 	struct http_server_runtime_t *run;
 	struct http_server_t *server;
 	struct exposed_t *exposed;
+	struct timeval refresh_interval;
 
 	A_CALLOC(exposed, 1);
 
 	A_CALLOC(run, 1);
 	run->stream = stream;
 	run->exposed = exposed;
-	run->refresh_interval.tv_sec = 0;
-	run->refresh_interval.tv_usec = 30000; // ~30 refreshes per second
+	run->drop_same_frames_blank = 10;
 
 	A_CALLOC(server, 1);
 	server->host = "localhost";
@@ -89,8 +89,11 @@ struct http_server_t *http_server_init(struct stream_t *stream) {
 	assert(!evhttp_set_cb(run->http, "/snapshot", _http_callback_snapshot, (void *)exposed));
 	assert(!evhttp_set_cb(run->http, "/stream", _http_callback_stream, (void *)server));
 
+	refresh_interval.tv_sec = 0;
+	refresh_interval.tv_usec = 30000; // ~30 refreshes per second
 	assert((run->refresh = event_new(run->base, -1, EV_PERSIST, _http_exposed_refresh, server)));
-	assert(!event_add(run->refresh, &run->refresh_interval));
+	assert(!event_add(run->refresh, &refresh_interval));
+
 	return server;
 }
 
@@ -108,12 +111,16 @@ void http_server_destroy(struct http_server_t *server) {
 }
 
 int http_server_listen(struct http_server_t *server) {
+	server->run->drop_same_frames_blank = max_u(server->drop_same_frames, server->run->drop_same_frames_blank);
+
 	LOG_DEBUG("Binding HTTP to [%s]:%d ...", server->host, server->port);
 	evhttp_set_timeout(server->run->http, server->timeout);
+
 	if (evhttp_bind_socket(server->run->http, server->host, server->port) != 0) {
 		LOG_PERROR("Can't listen HTTP on [%s]:%d", server->host, server->port)
 		return -1;
 	}
+
 	LOG_INFO("Listening HTTP on [%s]:%d", server->host, server->port);
 	return 0;
 }
@@ -229,6 +236,7 @@ static void _http_callback_stream(struct evhttp_request *request, void *v_server
 		client->server = server;
 		client->request = request;
 		client->need_initial = true;
+		client->need_first_frame = true;
 
 		if (server->run->stream_clients == NULL) {
 			server->run->stream_clients = client;
@@ -321,23 +329,26 @@ static void _http_callback_stream_error(UNUSED struct bufferevent *buf_event, UN
 	free(client);
 }
 
-static void _http_queue_send_stream(struct http_server_t *server) {
+static void _http_queue_send_stream(struct http_server_t *server, const bool updated) {
 	struct stream_client_t *client;
 	struct evhttp_connection *conn;
 	struct bufferevent *buf_event;
 
 	for (client = server->run->stream_clients; client != NULL; client = client->next) {
 		conn = evhttp_request_get_connection(client->request);
-		if (conn != NULL) {
+		if (conn != NULL && (updated || client->need_first_frame)) {
 			buf_event = evhttp_connection_get_bufferevent(conn);
 			bufferevent_setcb(buf_event, NULL, _http_callback_stream_write, _http_callback_stream_error, (void *)client);
 			bufferevent_enable(buf_event, EV_READ|EV_WRITE);
+			client->need_first_frame = false;
 		}
 	}
 }
 
 static void _http_exposed_refresh(UNUSED int fd, UNUSED short what, void *v_server) {
 	struct http_server_t *server = (struct http_server_t *)v_server;
+	bool updated = false;
+	bool queue_send = false;
 
 #define LOCK_STREAM \
 	A_PTHREAD_M_LOCK(&server->run->stream->mutex);
@@ -349,41 +360,66 @@ static void _http_exposed_refresh(UNUSED int fd, UNUSED short what, void *v_serv
 		LOG_DEBUG("Refreshing HTTP exposed ...");
 		LOCK_STREAM;
 		if (server->run->stream->picture.size > 0) { // If online
-			_expose_new_picture(server);
+			updated = _expose_new_picture(server);
 			UNLOCK_STREAM;
 		} else {
 			UNLOCK_STREAM;
-			_expose_blank_picture(server);
+			updated = _expose_blank_picture(server);
 		}
-		_http_queue_send_stream(server);
+		queue_send = true;
 	} else if (!server->run->exposed->online) {
 		LOG_DEBUG("Refreshing HTTP exposed (BLANK) ...");
-		_http_queue_send_stream(server);
+		updated = _expose_blank_picture(server);
+		queue_send = true;
+	}
+
+	if (queue_send) {
+		_http_queue_send_stream(server, updated);
 	}
 
 #	undef LOCK_STREAM
 #	undef UNLOCK_STREAM
 }
 
-void _expose_new_picture(struct http_server_t *server) {
+static bool _expose_new_picture(struct http_server_t *server) {
+	assert(server->run->stream->picture.size > 0);
+	server->run->exposed->fps = server->run->stream->fps;
+
+#	define MEM_STREAM_TO_EXPOSED \
+		server->run->exposed->picture.data, server->run->stream->picture.data, \
+		server->run->stream->picture.size * sizeof(*server->run->exposed->picture.data)
+
+	if (server->drop_same_frames) {
+		if (
+			server->run->exposed->online
+			&& server->run->exposed->dropped < server->drop_same_frames
+			&& server->run->exposed->picture.size == server->run->stream->picture.size
+			&& !memcmp(MEM_STREAM_TO_EXPOSED)
+		) {
+			LOG_PERF("HTTP: dropped same frame number %u", server->run->exposed->dropped);
+			++server->run->exposed->dropped;
+			return false; // Not updated
+		}
+	}
+
 	if (server->run->exposed->picture.allocated < server->run->stream->picture.allocated) {
 		A_REALLOC(server->run->exposed->picture.data, server->run->stream->picture.allocated);
 		server->run->exposed->picture.allocated = server->run->stream->picture.allocated;
 	}
 
-	memcpy(
-		server->run->exposed->picture.data, server->run->stream->picture.data,
-		server->run->stream->picture.size * sizeof(*server->run->exposed->picture.data)
-	);
+	memcpy(MEM_STREAM_TO_EXPOSED);
+
+#	undef MEM_STREAM_TO_EXPOSED
 
 	server->run->exposed->picture.size = server->run->stream->picture.size;
 	server->run->exposed->width = server->run->stream->width;
 	server->run->exposed->height = server->run->stream->height;
-	server->run->exposed->fps = server->run->stream->fps;
 	server->run->exposed->online = true;
+	server->run->exposed->dropped = 0;
+	return true; // Updated
 }
 
-void _expose_blank_picture(struct http_server_t *server) {
+static bool _expose_blank_picture(struct http_server_t *server) {
 	if (server->run->exposed->online || server->run->exposed->picture.size == 0) {
 		if (server->run->exposed->picture.allocated < BLANK_JPG_SIZE) {
 			A_REALLOC(server->run->exposed->picture.data, BLANK_JPG_SIZE);
@@ -400,5 +436,16 @@ void _expose_blank_picture(struct http_server_t *server) {
 		server->run->exposed->height = BLANK_JPG_HEIGHT;
 		server->run->exposed->fps = 0;
 		server->run->exposed->online = false;
+		goto updated;
 	}
+
+	if (server->run->exposed->dropped < server->run->drop_same_frames_blank) {
+		LOG_PERF("HTTP: dropped same frame (BLANK) number %u", server->run->exposed->dropped);
+		++server->run->exposed->dropped;
+		return false; // Not updated
+	}
+
+	updated:
+		server->run->exposed->dropped = 0;
+		return true; // Updated
 }

src/http.h

@@ -20,7 +20,6 @@
 
 
 #include <stdbool.h>
-#include <time.h>
 
 #include <event2/event.h>
 #include <event2/http.h>
@@ -33,6 +32,7 @@ struct stream_client_t {
 	struct http_server_t	*server;
 	struct evhttp_request	*request;
 	bool					need_initial;
+	bool					need_first_frame;
 
 	struct stream_client_t	*prev;
 	struct stream_client_t	*next;
@@ -44,6 +44,7 @@ struct exposed_t {
 	unsigned			height;
 	unsigned			fps;
 	bool				online;
+	unsigned			dropped;
 };
 
 struct http_server_runtime_t {
@@ -52,14 +53,14 @@ struct http_server_runtime_t {
 	struct event			*refresh;
 	struct stream_t			*stream;
 	struct exposed_t		*exposed;
-	struct timeval			refresh_interval;
-
 	struct stream_client_t	*stream_clients;
+	unsigned				drop_same_frames_blank;
 };
 
 struct http_server_t {
 	char		*host;
 	unsigned	port;
+	unsigned	drop_same_frames;
 	unsigned	fake_width;
 	unsigned	fake_height;
 	unsigned	timeout;

src/main.c

@@ -40,7 +40,7 @@
 #include "http.h"
 
 
-static const char _short_opts[] = "d:x:y:f:a:e:z:tn:w:q:c:s:p:h";
+static const char _short_opts[] = "d:x:y:f:a:e:z:tn:w:q:c:s:p:r:h";
 static const struct option _long_opts[] = {
 	{"device",					required_argument,	NULL,	'd'},
 	{"width",					required_argument,	NULL,	'x'},
@@ -62,6 +62,7 @@ static const struct option _long_opts[] = {
 
 	{"host",					required_argument,	NULL,	's'},
 	{"port",					required_argument,	NULL,	'p'},
+	{"drop-same-frames",		required_argument,	NULL,	'r'},
 	{"fake-width",				required_argument,	NULL,	2000},
 	{"fake-height",				required_argument,	NULL,	2001},
 	{"server-timeout",			required_argument,	NULL,	2002},
@@ -111,6 +112,10 @@ static void _help(struct device_t *dev, struct encoder_t *encoder, struct http_s
 	printf("--------------------\n");
 	printf("    --host <address>           -- Listen on Hostname or IP. Default: %s\n\n", server->host);
 	printf("    --port <N>                 -- Bind to this TCP port. Default: %d\n\n", server->port);
+	printf("    --drop-same-frames <N>     -- Don't send same frames to clients, but no more than specified number.\n");
+	printf("                                  It can significantly reduce the outgoing traffic, but will increase\n");
+	printf("                                  the CPU loading. Don't use this option with analog signal sources\n");
+	printf("                                  or webcams, it's useless. Default: disabled.\n\n");
 	printf("    --fake-width <N>           -- Override image width for /ping. Default: disabled\n\n");
 	printf("    --fake-height <N>          -- Override image height for /ping. Default: disabled.\n\n");
 	printf("    --server-timeout <seconds> -- Timeout for client connections. Default: %d\n\n", server->timeout);
@@ -136,7 +141,7 @@ static int _parse_options(int argc, char *argv[], struct device_t *dev, struct e
 #	define OPT_UNSIGNED(_dest, _name, _min, _max) \
 		{ errno = 0; int _tmp = strtol(optarg, NULL, 0); \
 		if (errno || _tmp < _min || _tmp > _max) \
-		{ printf("Invalid value for '%s=%u'; minimal=%u; maximum=%u\n", _name, _tmp, _min, _max); return -1; } \
+		{ printf("Invalid value for '%s=%u'; min=%u; max=%u\n", _name, _tmp, _min, _max); return -1; } \
 		_dest = _tmp; break; }
 
 #	define OPT_PARSE(_dest, _func, _invalid, _name) \
@@ -173,6 +178,7 @@ static int _parse_options(int argc, char *argv[], struct device_t *dev, struct e
 
 			case 's':	server->host = optarg; break;
 			case 'p':	OPT_UNSIGNED(server->port, "--port", 1, 65535);
+			case 'r':	OPT_UNSIGNED(server->drop_same_frames, "--drop-same-frames", 0, 30);
 			case 2000:	OPT_UNSIGNED(server->fake_width, "--fake-width", 0, 1920);
 			case 2001:	OPT_UNSIGNED(server->fake_height, "--fake-height", 0, 1200);
 			case 2002:	OPT_UNSIGNED(server->timeout, "--server-timeout", 1, 60);