Big Data

[Natik209]

Всем доброго дня,

 

На Сколько велик или вообще есть Big Data Ecosystem у наc на рынке ИТ.

Если потребность в Hadoop-e и вообще какие компании у нас пользуеться Big Data Ecosystem(Batch or Real time data processing).

Давайте поделимся мнение опытам или мыслями об этом.

[AntiTime]

15 часов назад, Natik209 сказал:

Всем доброго дня,

 

На Сколько велик или вообще есть Big Data Ecosystem у наc на рынке ИТ.

Если потребность в Hadoop-e и вообще какие компании у нас пользуеться Big Data Ecosystem(Batch or Real time data processing).

Давайте поделимся мнение опытам или мыслями об этом.

 

 

Нуууу... Знаете когда говорится о Big Data, обычно приходят в голову огромные корпорации с огромными массивами разнотипной информации, которые обрабатывают сложные алгоритмы и на основе выходных данных принимается управленческое решение. Видя тот бардак который творится во всех слоях государства и учитывая что население сегодняшней Республики это 3-4 месячный поток клиентов в магазинах Costco в нескольких штатах США, видя и зная управление и тут и там, то приходится признать что для применения Big Data у нас пока нету никаких предпосылок. Ну и с дргой стороны, как вы представляете Сиявуша Новрузова например который читает выходной отчет сгенерированный Big Data? Сиявуша я привел как пример, закройте глаза и представьте любого чиновника из люього ешалона нашей власти на месте Сиявуша... Представили? То то.....

Edited May 13, 2021 by AntiTime

[1ink]

https://mincom.gov.az/ru/view/pages/116/

[1ink]

26 минут назад, AntiTime сказал:

представьте любого чиновника

https://mincom.gov.az/ru/view/news/812/

[1ink]

«Big Data как тинейджерский секс: все об этом говорят, никто на самом деле не знает, что это и как, но все думают, что уже все этим занимаются и потому тоже говорят, что делают это…» (Ден Ариэли)

[Gretzky]

наша Big Data пока на уровне "мюэллим+печать+подпись" :)

 

[Посредник]

Особенность бизнеса в АР - интуитивное управление. Интуитивный маркетинг, интуитивная реклама. Под интуицией надо понимать "маа эля гялейр ки партдадажах ая!" сказанное кем то очень далёким от маркетинга, рекламы, продаж, производства и менеджмента. 

 

[AntiTime]

1 час назад, 1ink сказал:

https://mincom.gov.az/ru/view/pages/116/

 

Прочитал, улыбнулся. Это из области построения смарт деревень на оккупированных территориях. Когда я слышу об этих смрт деревнях сразу представляю, как например в селе Ашагы Айыблы, Агстафинского района, Туказбан хала обогревает свой дом коровьим навозом (тезек), а в в соседнем районе построено смарт село в котором рассекает такси без водителя, дома управляются ИИ и т.д. Представили? Так вот ваш линк о том же....

[Natik209]

7 hours ago, AntiTime said:

 

 

Нуууу... Знаете когда говорится о Big Data, обычно приходят в голову огромные корпорации с огромными массивами разнотипной информации, которые обрабатывают сложные алгоритмы и на основе выходных данных принимается управленческое решение. Видя тот бардак который творится во всех слоях государства и учитывая что население сегодняшней Республики это 3-4 месячный поток клиентов в магазинах Costco в нескольких штатах США, видя и зная управление и тут и там, то приходится признать что для применения Big Data у нас пока нету никаких предпосылок. Ну и с дргой стороны, как вы представляете Сиявуша Новрузова например который читает выходной отчет сгенерированный Big Data? Сиявуша я привел как пример, закройте глаза и представьте любого чиновника из люього ешалона нашей власти на месте Сиявуша... Представили? То то.....

Вы даканца правы. То что вы перечислели относиться Data Scientist and Data Analytics.

 

Data Scientist  это очень сложная вещь где требуеться знание вышей математики и статистики.И не вовсех сферах она нужна.

Data Analytics - это анализ отробатаных или от фильтровоных даных  и последужим их правильным отображение.

Пример Tableau ,Microsoft Power BI.

 

 

[Natik209]

Вот маленький пример для Биг Даты.

 

Азеришыг

В режиме реального времени собираются данные со всех счетчиков в стране делаеться через систему SCADA который уже стоит в Азеришыге.И тут два варианты

 

1) собирать данние и бросать в Hadoop(HDFS) для последушего обробатки с помощью Spark/Pyspark/SPARKSQL. Построить систему типа Batch processing образца ETL. И потом загрузить в базу данных для последущий обработки где будет работать Data Analytic.

 

2) Или же передовать дальше и менять формат и данные в реальном решиме с помощью Kafka и потом грузить в базу типа PostgreSQL   для последущий обработки где будет работать Data Analytic.

 

Вот один грубый пример.

 

Сюда можна дабавить сбор данных со всех вышек,подстанций,ГЕС,ГРЕС и других преборов.

[Natik209]

Для нашего рынка очень преспективно в развитие в двух направлениях это Data Analytics и Data Engineering.

 

[MegadriveXX]

В 14.05.2021 в 02:38, Natik209 сказал:

Для нашего рынка очень преспективно в развитие в двух направлениях это Data Analytics и Data Engineering.

 

Откуда "математика" достать который знает программирование в Азербайджане? У нас даже не родилось всё это, а интегрировано уже мертвым..

Люди даже вебинары по azure делают с некорректными знаниями. Я уже не говорю о сегменте Spotfire, Qlick. Всё это не перспективно в плане затрат и прибыли для того кто эти отрасли знает в нашей стране. Кто знал - уехал, и машет ... .

Edited May 22, 2021 by MegadriveXX