Вы не авторизированы: Вы не можете создавать темы; Вы не можете отвечать в теме.
#1 Konstantin [ 2187 132 ] : 2019-01-16 18:28:29
Вчера произошел небольшой сбой базы данных у которого на данный момент нет определенного объяснения. Конкретно - слетела схема основной рабочей базы данных, из-за чего новые подклюения к бд получали отказы. При этом старые подключения и основные функции продолжали отрабатывать.

В связи с этим, мы решили не играть на живой бд, а перегрузить архив, который де факто был создан несколькими часами ранее.

Так как текущий объем базы данных довольно большой, перегрузка бд шла довольно долго, поэтому, чтобы хоть сколько то ускорить прогрузку, мы убрали сайт из доступа

В базе могли быть утеряны 2-3 часа работы сервиса.

В связи с этим, мы решили, что держать такую базу данных не имеет смысла, и начинаем переходить к следующей схеме хранения данных:

Данные трекинга посылок не занесенных в пользователями с свои аккаунты: не более 2 месяцев.
Данные трекинга посылок занесенных в аккаунты: не более 1 года.
Посылки занесенные в аккаунт (включая архив) - не более 1 года (вопрос открыт)
Пользователи не заходившие в аккаунт более 1 года - полное удаление без восстановления
Пользователи не заходившие в аккаунт более 1 месяца - полный останов ВСЕХ функций.

В связи с большим количеством случайных регистраций (для отслеживания одной посылки и тд), и последующем хранении фактически баластных данных, возможно принятие решения платной регистрации, для отсеивания этой категории пользователей.

Все эти меры помогут нам сократить лишние данные, облегчить/ускорить работу сервиса.

Ждем ваших комментариев на эту тему.
#2 Эдем [ 5 0 ] : 2019-01-16 20:04:31
Ни разу не юзер френдли решение.

Оптимизация БД, работа сервера и прочее юзера не заботит, он выбирает сервис, который хорошо работает и обладает оптимальным функционалом.

Все выдвинутые предложения являются ухудшением функционала, особенно вот это:

> Посылки занесенные в аккаунт (включая архив) - не более 1 года (вопрос открыт)
> Пользователи не заходившие в аккаунт более 1 года - полное удаление без восстановления
> Пользователи не заходившие в аккаунт более 1 месяца - полный останов ВСЕХ функций

> В связи с большим количеством случайных регистраций (для отслеживания
одной посылки и тд), и последующем хранении фактически баластных данных,
возможно принятие решения платной регистрации, для отсеивания этой
категории пользователей.
Это, вообще, из пальца высосано.


Предлагаю такое решение:
- для всех категорий хранить полные данные трекинга не более 2 месяцев
- навечно оставить посылки с названием и номером трекинга, чтобы пользователь мог в случае необходимости пробить трекинг конкретной посылки
- пользователей не удалять

Если остро стоит проблема со спам-регистрацией, сделать SMS-регистрацию, затраты на SMS переложить на платных пользователей. Но это под большим вопросом.

Это разгрузит БД и юзерфрендли.
А иначе будете терять клиентов.
#3 Konstantin [ 2187 132 ] : 2019-01-16 20:09:21
ни одно из указанных утверждений не высосано из пальца - а результат проверки бд.
притом эти идеи все были в голове уже давно.

случайные регистрации - это когда человек зарегистрировался, проверил посылку один раз,
и больше не заходил. такие забывают что они регистрировались, а потом начинается нытье об удалении из списка рассылок (когда приходит напоминание о том что пол года аккаунт не используется.

для меня это балласт.


посылки со сроком более одного года - это тоже балласт. который не имеет никакого практического смысла в хранении.
#4 Konstantin [ 2187 132 ] : 2019-01-16 20:10:52
по поводу хранения данных о посылках - в принципе это возможно. это не такой большой объем информации по отношению к данным отслеживания.
#5 Эдем [ 5 0 ] : 2019-01-17 02:39:37
Обоснование платной регистрации из пальца высосано
#6 Alfa [ 450 22 ] : 2019-01-17 09:01:33
В принципе, со всем согласна, кроме платных регистраций. Это отпугнет новых пользователей. Здесь необходимо какое-то другое решение. 
#7 Alfa [ 450 22 ] : 2019-01-17 09:24:33
#12877 Эдем [ 5 0 ]
Ни разу не юзер френдли решение.

Оптимизация БД, работа сервера и прочее юзера не заботит, он выбирает сервис, который хорошо работает и обладает оптимальным функционалом.

Все выдвинутые предложения являются ухудшением функционала, особенно вот это:

> Посылки занесенные в аккаунт (включая архив) - не более 1 года (вопрос открыт)
> Пользователи не заходившие в аккаунт более 1 года - полное удаление без восстановления
> Пользователи не заходившие в аккаунт более 1 месяца - полный останов ВСЕХ функций

> В связи с большим количеством случайных регистраций (для отслеживания
одной посылки и тд), и последующем хранении фактически баластных данных,
возможно принятие решения платной регистрации, для отсеивания этой
категории пользователей.
Это, вообще, из пальца высосано.


Предлагаю такое решение:
- для всех категорий хранить полные данные трекинга не более 2 месяцев
- навечно оставить посылки с названием и номером трекинга, чтобы пользователь мог в случае необходимости пробить трекинг конкретной посылки
- пользователей не удалять

Если остро стоит проблема со спам-регистрацией, сделать SMS-регистрацию, затраты на SMS переложить на платных пользователей. Но это под большим вопросом.

Это разгрузит БД и юзерфрендли.
А иначе будете терять клиентов.
Предлагаю такое решение:
- для всех категорий хранить полные данные трекинга не более 2 месяцев
Вообще-то многие отправления идут больше двух месяцев

- навечно оставить посылки с названием и номером трекинга, чтобы пользователь мог в случае необходимости пробить трекинг конкретной посылки
Вообще-то почтовые службы в большинстве своем хранят данные трекингов от 6 месяцев до 1 года 

- пользователей не удалять
Вообще-то пользователи могут в любой момент снова зарегистрироваться. А хранить информацию, которая в общем-то не нужна, согласитесь, бессмысленно.  
#8 Konstantin [ 2187 132 ] : 2019-01-17 09:54:53
По платным регистрациям - решения идельного пка нет, и высосана это не из пальца.

по большому счету - мне интересны пользователи, которе понимают где и для чего они регистрируются.
1 проверенный и адекватный лучше 10 пустых профилей, которые при напоминании начинают нести околечицу о том, что они не регистрировались и ничего не подключали (в частности аутентификацию для ebay).

для меня не обязательно что это будет платно, но мне нужно так, чтобы регистрирующися были не однодневками. а то такиех регистрируется в сутки по 200 чел...

нужно какое то подтверждение регистрации, на которое можно сослаться. ну а почему платное интересно - с таких пустых регистраций, можно хотябы платить за доработки и новый функционал какойто. И да, это не означает, что платежи регулярные - регистрация предполагается единичный платеж. Хотя об бизнес клиентов уже были предложения сделать сервис именно бизнесориентированным и профиля давать только за плату. Но это пока тоже отклонено.

по хранению данных - 2 месяца для НЕпользователей считаю нормально. по сути даже можно и месяц сохранять, так как все данне все равно можно перенакатятся с каждым новым отслеживанием.

для пользователей до 2м, сокращать не правильно, так как есть случаи и по 3-4 месяца доставка.

есть еще вариант, для пользователей, после помещения в архив, дампить информацию о вручении (или последний полученный статус) в доп поле.

По пользователям. не вижу смысл хранения тех, кто не откликнулся после второго напоминания.
Есть адекватные - которые пользуются редко, но оон понимают что они пользуются. а есть не адекватные.
#9 Konstantin [ 2187 132 ] : 2019-01-17 09:59:14
И еще по поводу вечного хранения данных о посылках.

все тоже самое, если пользователь не заходит более года, тогда в чем смысл хранить данные.
сейчас вот с одним немецким магазом разговаривали он сам просит удалить данные, так как у него в архиве уже свыше 11000 посылок.
#10 Egorko [ 1 0 ] : 2019-01-17 11:52:28
Можно использовать две базы данных - оперативную и архивную. В оперативной только актуальные посылки. В архиве все что остановлено/в архиве и т.д.
Архивную базу можно держать на более медленном (дешевом) железе.
Или вообще организовать доступ к архиву по запросу (срок получения данных, к примеру, час).
#11 Konstantin [ 2187 132 ] : 2019-01-17 13:26:01
#12887 Egorko [ 1 0 ]
Можно использовать две базы данных - оперативную и архивную. В оперативной только актуальные посылки. В архиве все что остановлено/в архиве и т.д.
Архивную базу можно держать на более медленном (дешевом) железе.
Или вообще организовать доступ к архиву по запросу (срок получения данных, к примеру, час).
кто нибудь может сказать практическую пользу от хранения посылок 2-3-4 летней давности?

смысла бить базу данных по архивам и не архивам не вижу. целесообразность?
имею ввиду не посылки пользователей, а данные трекинга.

к тому же, если запустить арзивную бд - то коннекты к ней будут жрать еще доп ресурсы.

по посылкам:
в принципе - можно сделать опцию хранения:
к примеру дать возможность выбирать срок хранения посылок перенесенных в архив
полгода, год, два года, три.

все что свыше я вообще не вижу целесообразности, поэтому взимать плату.

+ попробовать сделать возможность дампа архива в Csv или еще какие форматы.
#12 Эдем [ 5 0 ] : 2019-01-17 15:05:22
> для пользователей до 2м, сокращать не правильно, так как есть случаи и по 3-4 месяца доставка.

Сделать привязку не к дате создания посылки, а к дате, когда статус перешёл в "Остановлено".
Если пользователь вручную не обновляет трекинг, то через 2 месяца адьос.
#13 KillSeller [ 17 3 ] : 2019-01-17 18:42:04
Есть ли возможность, постоянным пользователям дать активацию к дальнейшей работе с посылками, ну к примеру на месяц, после просмотра рекламы спонсора,чтобы как то помочь сервису? Я был бы не против раз в месяц проделать эту процедуру, но не чаще.
По поводу хлама? Автоудаление архива больше года - это нормально.
#14 rast [ 3 0 ] : 2019-01-18 02:28:50
#12888 Konstantin [ 2187 132 ]
кто нибудь может сказать практическую пользу от хранения посылок 2-3-4 летней давности?

смысла бить базу данных по архивам и не архивам не вижу. целесообразность?
имею ввиду не посылки пользователей, а данные трекинга.

к тому же, если запустить арзивную бд - то коннекты к ней будут жрать еще доп ресурсы.

по посылкам:
в принципе - можно сделать опцию хранения:
к примеру дать возможность выбирать срок хранения посылок перенесенных в архив
полгода, год, два года, три.

все что свыше я вообще не вижу целесообразности, поэтому взимать плату.

+ попробовать сделать возможность дампа архива в Csv или еще какие форматы.
Можно считать статистику всякую по таким-то данным. Исследования какие-нибудь мутить, аналитику продавать службам доставки, магазинам, пиариться на хабре с прикольными графиками.
UPD: другое дело что их можно выгрузить в какое-нибудь холодное хранилище для таких целей, а не оставлять на боевой БД.
#15 EBAY_SELLER_KZ [ 1049 68 ] : 2019-01-19 19:41:39
#12888 Konstantin [ 2187 132 ]
кто нибудь может сказать практическую пользу от хранения посылок 2-3-4 летней давности?

смысла бить базу данных по архивам и не архивам не вижу. целесообразность?
имею ввиду не посылки пользователей, а данные трекинга.

к тому же, если запустить арзивную бд - то коннекты к ней будут жрать еще доп ресурсы.

по посылкам:
в принципе - можно сделать опцию хранения:
к примеру дать возможность выбирать срок хранения посылок перенесенных в архив
полгода, год, два года, три.

все что свыше я вообще не вижу целесообразности, поэтому взимать плату.

+ попробовать сделать возможность дампа архива в Csv или еще какие форматы.
Сделать регистрацию платной - дело последнее я считаю.
Подтвержедние регистрации можн сделать так:
Первая регистрация - ВООБЩЕ БЕЗ подтверждения.
Через месяц отправляем имейл типа вот подтвердите регистриацю.
Даем 15 дней, клиенты которые "забыли" что вообще что-то делали - автоматически дерегистрирубются в результате бездействия. Вот так я считаю все однодневки отсеются.

Посылки я считаю в активе надо минимум год ВСЕ, про то что после года или после статуса доставлено можно перебирать их в архвное дешеыое железо вполне согласен, считаю вполне объективно.
#16 laser [ 4 1 ] : 2019-01-21 11:56:44
Поддерживаю чистку БД на регулярной основе. 
Весьма логичный и нужный иснтрумент оптимизации любой системы.

В каких случаях нужны архивы? вот к примеру я не раз возвращался к старым посилкам, чтоб посмотреть ориентировочное время обработки таможни или отдельных сорт.центров. А также какой локальной курьеской службе будут переданы посылки от такой-то почтовой службы. Что б в случае заминки трекинга или еще чего не прошлепать посылку и долбить почту самостоятельно.

Предлагаю:
  • перед чисткой БД сделать следующую статистику почта отправитель + почта получатель что б понимать где получать посылку из китая (покупателю), или кто вручит посылку (для продавца)
  • текущий раздел архив переименовать в полученные. создать раздел архив с платными или ограниченными возможностями описанными ниже
  • добавить возможность архивирования на любой срок платно. нужен архив - плати. или опцию експорта в ексель/пдф. кому нужно - сохранит локально на ПК (привязку нужно делать к годам. чтоб в случае хранения архива на ПК не ломать голову где искать а в файлику 2016.pdf, 2017.csv ,2018.xls и тп.). или ограничить так — 500 +/- треков в архиве (или разделе полученные) бесплатно, остальное платно, или автоматическое удаление.
  • юзеров пустышек удалять. кому нужно заново зарегается
  • рассмотреть компромиссный вариант сохранение архива в формате название + трек, без истории но с датой.
вообще статистика — хорошая штука. вот смотрел недавно аналитику на 17трек. очень познавательно даже. особенно полезно для экспортеров — формировать таблицы времени доставки по странам/месяцам.
#17 Alex812 [ 23 1 ] : 2019-01-24 12:40:14
Работать с архивом очень удобно и важно особенно для продавцов, чтобы разгрузить вашу систему, можно предусмотреть выгрузку архива на комп. пользователя для последующей работы в локальном режиме
#18 Polina [ 31 4 ] : 2019-01-24 19:14:09
Предлагаю считать пустышками и удалять аккаунты, в которые пользователи не логинились дольше двух месяцев и в которых нет хотя бы десяти сохраненных трекингов. Если не логинится ваш давний "плодовитый" на трекинги пользователь, значит, временно нет денег на покупки или что-то случилось. Например, человек может валяться в больнице полгода - реальная ситуация.
Ваш рессурс для меня лично самый удобный и аналога нет, я вас всегда подсказываю интересующимся удобной следилкой за посылками, даже пару раз купила платный месяц, в основном из благодарности разработчику. Шкурный вопрос: если вы сделаете платную регистрацию, в меня лично полетят тапки, я же везде раструбила, что рессурс дефолтно бесплатный, оплата дополнительных ништяков по желанию.
Я готова иногда заплатить за временно платный аккаунт, чтобы пробежаться по своему архиву, расставив флажки "важное", "получено", "пришел брак", "потеряшка", "продавец хамло", добавив сглючившие превьюхи вручную и текстовые примечания (сейчас я это делаю, редактируя название трека) . И да, в таком случае мне важно, чтобы помеченные флажками строчки сохранились навсегда, и когда кончится платный срок. Год и даже два - это очень мало. Некоторые свои любимые одежки и гаджеты я купила второй-пятый раз, подняв ссылку в архиве на этом сайте. Выше писали о необходимости зайти в архив проверить, как вела себя определенная почтовая контора в прошлый раз - это тоже очень важно и используется регулярно
#19 Polina [ 31 4 ] : 2019-01-24 19:26:21
#12888 Konstantin [ 2187 132 ]
кто нибудь может сказать практическую пользу от хранения посылок 2-3-4 летней давности?

смысла бить базу данных по архивам и не архивам не вижу. целесообразность?
имею ввиду не посылки пользователей, а данные трекинга.

к тому же, если запустить арзивную бд - то коннекты к ней будут жрать еще доп ресурсы.

по посылкам:
в принципе - можно сделать опцию хранения:
к примеру дать возможность выбирать срок хранения посылок перенесенных в архив
полгода, год, два года, три.

все что свыше я вообще не вижу целесообразности, поэтому взимать плату.

+ попробовать сделать возможность дампа архива в Csv или еще какие форматы.
Может, прибить в старых архивах трекинг, заменив его на примечания вручную? Флажки и это вот всё. 
Например, допустим, я хочу пометить в архиве и навечно сохранить ссылку на вот такие зеленые штаны. Нажимаю соответствующую кнопку, соглашаюсь галкой прибить трекинг взамен на пометки, расставляю нужные флажки, пишу в примечании "продавец козел, но штаны красивые" - и это сохраняется навсегда, а строчки трекинга стираются.
Это облегчит работу базы данных?
#20 Konstantin [ 2187 132 ] : 2019-01-24 19:33:45
я ранее писал, что самит посылки по большому счету проблем не создают, их не так много как данных отслеживания. к тому же посылки есть у зареганых, а от внешних остаются только данные отслеживания.

добавить поле с текстовым описание можно и я это хочу сделать сведя два раздела в один:
мои посылки + мои покупки, так как раздельно их держать смысла не вижу.

я думаю, что в посылке можно сохранить статус о доставке. но только один в виде текста.

про флажок - тоже можно.
к приемру на все посылки поставить срок автоудаления, а нужные пометить, чтобы не удлялись,
но кмк такая опция должна быть платной)) свыше определенного количества уже помеченных посылок.

может не деньгами а каким то действием... типа просмотра реклы или еще чтото в этом духе.
Forums >>>