Мой форум занимает 40ГБ. Как оптимизировать картинки (уменьшить вес) и прочее?

[Catalo]

Привет Мафия. Подскажите, как массово сжать картинки, что еще оптимизировать. Один из моих форумов денег особо не приносит, но все разрастается, уже 40GB достиг и надо в очередной раз тариф повышать. На форуме очень много картинок. Верия Invision Community 4.4.10

Изменено 23 апреля, 2021 пользователем Catalo

[Respected]

Разрастаются именно картинки или логи?

[Catalo]

я не знаю, пока попросил хостера взвесить папки т.к. через ftp-клиент и через панель хостинга я не вижу размеров. Но фоток на форуме много. 

Вижу в папках фотки весом по 3-6 мегабайт.

Изменено 23 апреля, 2021 пользователем Catalo

[Respected]

Скорее всего много логов скопилось, базу проверить тоже не помешало бы, отсортировать по весу таблиц.

[Catalo]

Папку /uploads/logs можно чистить не опасаясь? Логов действительно много, самый тяжелый 2017_10_05_uncaught_exception.php весит 894 МБ. 

[Respected]

Да, можно почистить.

[Juar]

12 часов назад, Catalo сказал:

Привет Мафия. Подскажите, как массово сжать картинки, что еще оптимизировать. Один из моих форумов денег особо не приносит, но все разрастается, уже 40GB достиг и надо в очередной раз тариф повышать. На форуме очень много картинок. Верия Invision Community 4.4.10

Когда у меня пару лет назад появилась аналогичная задача (папка uploads стала весить более 60 Gb), оптимизацию пришлось проводить в полу ручном режиме.

Ушел на это почти день, но зато размер папки сократился на 70-80%.

Делал примерно так:
- скачал всю папка на локальный комп   
- разобрал все файлы по подпапкам в зависимости от расширения (jpg, jpeg, JPG и т.д.)
- с помощью Faststone photo resizer ужал качество и разрешение для файлов в подпапках
- вернул правильные расширения файлам по подпапкам (для Faststone и Windows строчные и заглавные буквы это одно и тоже, а для сервера под Linux это разные вещи, переименовывал через командную строку используя "rename")
- сложил все файлы из подпапок в месячный каталоги (которые использует форум)
- залил все обратно на сервер rename 

P.S. для пункта:  разобрал все файлы по подпапкам в зависимости от расширения (jpg, jpeg, JPG и т.д.) использовал Total Commander

 

Изменено 23 апреля, 2021 пользователем Juar

[bsnet]

В последних версиях движка база форума на utf8mb4 весит значительно больше, чем на старой просто utf8.

Картинки jpg можно сконвертировать в .webp, в некоторых случаях их вес получается в 10 раз меньше .jpg 
Сжатие 80% сделать можно в настройках сохранения .webp, что ещё уменьшит вес.
Это формат от Google, от jpg устаревшего надо постепенно отказываться 😉

Ну и про логи уже написали выше
 

Изменено 25 апреля, 2021 пользователем bsnet

[zxcoikio]

3 часа назад, bsnet сказал:

В последних версиях движка база форума на utf8mb4 весит значительно больше, чем на старой просто utf8.

Картинки jpg можно сконвертировать в .webp, в некоторых случаях их вес получается в 10 раз меньше .jpg 
Сжатие 80% сделать можно в настройках сохранения .webp, что ещё уменьшит вес.
Это формат от Google, от jpg устаревшего надо постепенно отказываться 😉

Ну и про логи уже написали выше
 

где webp включить?

[bsnet]

1 час назад, zxcoikio сказал:

где webp включить?

Но я сами .webp заливаю через ftp, чтоб сохранялось исходное качество. Потом на них указываю ссылки.

Изменено 25 апреля, 2021 пользователем bsnet

[Exception]

8 часов назад, bsnet сказал:

Это формат от Google, от jpg устаревшего надо постепенно отказываться

я тоже так когда-то думал, к сожалению webp не заменит привычные форматы и в скором времени скорее всего просто вымрет и останется как один из форматов для разнообразия
Да и на сегодня не все новые устройства поддерживают этот формат, что уж говорить о старых, сам гугл этому подтверждение, который не перешел на свой же формат до сих пор.
Т.е. придется писать дополнительную логику, чтобы устройствам без поддержки отдавать старый формат, а с поддержкой webp - а это удар по дисковому пространству, так как нужно иметь целых 2 копии картинки.

Цитата

чтобы фото было в разы меньше - всего лишь достаточно научиться их правильно оптимизировать.

https://habr.com/ru/company/yandex/blog/493616/

Спойлер

 

[bsnet]

3 часа назад, ZIKURIK сказал:

https://habr.com/ru/company/yandex/blog/493616/

Одно дело - сжимать фото для сайта, другое дело сжимать фото для личных архивов и работы. Надо мне отличное качество, без потерь, буду сохранять в png, psd или вообще в bmp, места то террабайты на HDD. 
Превьюшки картинок у меня размером 110x150  пикселей, получаются в .webp весом по 3-5 килобайт.
jpg, png, gif в большинстве случаев проигрывают .webp по качеству, если надо получить картинку минимального веса, я как бы постоянно сохраняю сразу в разных форматах и смотрю где меньше результат.
Все современные Android смартфоны поддерживают .webp, да и топовые сайты на него перешли, например самая популярная в мире стриминговая платформа Netflix, можно зайти и глянуть, в каком у них формате постеры 😃
На pikabu вижу, что в последнее время в .webp тоже стали размещать некоторые фотки.

Изменено 25 апреля, 2021 пользователем bsnet

[bsnet]

La_Promesse_tv_series.zip

[Exception]

27 минут назад, bsnet сказал:

Одно дело - сжимать фото для сайта, другое дело сжимать фото для личных архивов и работы. Надо мне отличное качество, без потерь, буду сохранять в png, psd или вообще в bmp, места то террабайты на HDD. 
Превьюшки картинок у меня размером 110x150  пикселей, получаются в .webp весом по 3-5 килобайт.
jpg, png, gif в большинстве случаев проигрывают .webp по качеству, если надо получить картинку минимального веса, я как бы постоянно сохраняю сразу в разных форматах и смотрю где меньше результат.
Все современные Android смартфоны поддерживают .webp, да и топовые сайты на него перешли, например самая популярная в мире стриминговая платформа Netflix, можно зайти и глянуть, в каком у них формате постеры 😃
На pikabu вижу, что в последнее время в .webp тоже стали размещать некоторые фотки.

в jpg формате все картинки у netflix
у пикабу есть картинки в webp но там логика которая проверяет поддержку, соответственно картинки в несколько копий. Использовать формат webp это дурачество, никакой "топовый" сайт не перешел на формат webp, он лишь используется для выдачи если имеется поддержка такого формата, и уж точно это не делается в целях ОПТИМИЗИРОВАТЬ САЙТ ЧТОБЫ СЖАТЬ КАРТИНКИ ИБО ВЫДАЕТСЯ СРАЗУ НЕСКОЛЬКО КОПИЙ КАРТИНКИ ПОТОМУ ЧТО У ТОГО ЖЕ ПИКАБУ ОГРОМНОЕ КОЛИЧЕСТВО РЕСУРСОВ ЧТОБЫ ЭТО ДЕЛАТЬ

[bsnet]

45 минут назад, ZIKURIK сказал:

в jpg формате все картинки у netflix

https://vk.cc/c1jth3
https://vk.cc/c1jtjT
https://vk.cc/c1jtlo
https://vk.cc/c1jtp4

Скриншоты постеров из топа фильмов Netflix, чтоб их посмотреть, надо иметь аккаунт Netflix 😁

Хватит уже ерунду нести, человек сказал как уменьшить размер, ему был предложен вариант.
Знаешь лучше? Напиши и не надо тут строить из себя умника, не разбираясь в вопросе.
 

Изменено 25 апреля, 2021 пользователем bsnet

[Juar]

45 минут назад, bsnet сказал:

человек сказал как уменьшить размер, ему был предложен вариант.

Дико извиняюсь, можно для меня еще раз повторить про "предложенный вариант", хочется им воспользоваться, но пока он мне непонятен (((

1. На сейчас на сервере уже лежат десятки тысяч файлов с картинками (90% из них это JPG и JPEG) , занимающие объем 25 ГБ.
Как Вы предлагаете поступить с ними чтобы уменьшить занимаемое ими месте? 

2. В 99% случаев новые картинки загружают сами пользователи, в основном это фотографии со смартфонов в формате JPG и JPEG.
Как именно Вы предлагаете поступить чтобы в дальнейшем все хранилось в .webp ?

[gelo]

10 часов назад, Juar сказал:

Дико извиняюсь, можно для меня еще раз повторить про "предложенный вариант", хочется им воспользоваться, но пока он мне непонятен (((

1. На сейчас на сервере уже лежат десятки тысяч файлов с картинками (90% из них это JPG и JPEG) , занимающие объем 25 ГБ.
Как Вы предлагаете поступить с ними чтобы уменьшить занимаемое ими месте? 

2. В 99% случаев новые картинки загружают сами пользователи, в основном это фотографии со смартфонов в формате JPG и JPEG.
Как именно Вы предлагаете поступить чтобы в дальнейшем все хранилось в .webp ?

- Самый оптимальный вариант для Вас, но перед этим делается бэкап.

http://webdevil.ru/post/2016/452-jpegoptim

Массовое сжатие PNG- и JPEG-картинок на сервере без существенной потери качества

- Выкачать к себе на пк папку uploads и сжать все содержимое через какой-то редактор.

Изменено 26 апреля, 2021 пользователем gelo

[Litesm]

У меня несколько сайтов на WordPress и форум IPS и вот решил все изображения перевести на webp.
Много гуглил, много экспериментировал, но формат webp так и не сделал. Особого смысла в нем нету. Настраивать его неудобно, не все браузеры поддерживали, чет я забил ))))

Перед загрузкой изображения на форум/сайт пользуюсь сервисом imageonline он капец, как сильно уменьшает весь без потери качества. Далее на компе дожимаю бесплатной утилитой от Google Page Speed "ImageOptim". Это основной алгоритм работы с изображениями ))))

Рекомендую настроить сайт/форум через сети CDN. Это ускорит загрузку сайта в разы.

[Exception]

Цитата

Яндекс индексирует картинки только стандартных графических форматов (JPEG, GIF и PNG)

с картинками webp про яндекс можно будет скорее всего забыть

Изменено 26 апреля, 2021 пользователем ZIKURIK

[bsnet]

В 26.04.2021 в 21:25, ZIKURIK сказал:

с картинками webp про яндекс можно будет скорее всего забыть

яндекс индексирует .webp

[bsnet]

Invision Community 4.6.0
Added support for uploaded webp images (if the server's image handling software supports webp).

Теперь официально добавили поддержку изображений в формате .webp 😉

[Mano]

16 минут назад, bsnet сказал:

Теперь официально добавили поддержку изображений в формате .webp 😉

Добавить то добавили, только теперь перезаливать все картинки в новом формате?))

[Desti]

38 минут назад, the.bunin сказал:

только теперь перезаливать все картинки в новом формате

Есть же imagemagick и cwebp, можно что-то организовать в виде неспешной конвертации в фоне. Но переходить на webp уже поздно, скоро его avif заменит (хотя чем реально закончится борьба этих нанайских мальчиков - непонятно)  Я сижу на jpg, картинок больше 1,5Тб, так что я эту веселуху с конвертацией откладываю до последнего...

[flanger]

Каждый месяц по 5 гигов картинок и видео заливаю, если чо, новый SSD куплю 🤣

[Mano]

Desti да это я так, естественно этого делать не буду) Сам сижу на jpg, но по максимуму их сжимаю просто в tinypng, с 1.5Мб ужимает примерно до 300-400Кб без потери качества, вообще огонь😉