Революция Искусственного Интеллекта: хайп, афера или ‘’Большой Брат’’?
Что стоит за Искусственным Интеллектом?
Искусственный интеллект можно определить, как науку, которая занимается моделированием разумного поведения. Это определение возможно имеет один существенный недостаток — понятие интеллекта трудно объяснить в принципе. Проблема определения искусственного интеллекта сводится к проблеме определения интеллекта вообще: является ли он чем-то единым, или же этот термин объединяет набор разрозненных способностей и тем более индивидуальных или даже коллективных способностей? В какой мере интеллект можно создать? Что такое творчество? Что такое интуиция? Можно ли судить о наличии интеллекта только по наблюдаемому поведению? Что такое интеллект человека и тем более интеллект машины или программы? Возможно ли интеллект человека свести к алгоритму? И здесь, вопрос скорее даже философский, чем научный. Если быть честным, на эти вопросы ответа пока не найдено, но все они помогли сформировать задачи, составляющие основу современного искусственного интеллекта, как научного подхода. Отчасти привлекательность искусственного интеллекта в том и состоит, что он является оригинальным и мощным оружием для исследования этих же самих проблем. Искусственный интеллект предоставляет средство и испытательную модель для теорий интеллекта: эти теории могут быть сформулированы на языке компьютерных программ, а затем — испытаны. Проблема поиска точного определения искусственного интеллекта вполне объяснима. Изучение искусственного интеллекта — еще молодая дисциплина, структура данного явления в науке еще только формируется, поэтому только со временем, в общественном сознании будет сгенерирован четкий тезис о том, что такое искусственный интеллект. Однако уже сегодня видно, что искусственный интеллект призван расширить возможности прежде всего компьютерных наук, а не определить их границы. Следующим шагом возможно станет расширение возможностей интеллекта самого человека. Одной из важных задач, стоящих перед исследователями, является поддержание этих усилий ясными теоретическими принципами, с которыми сегодня проблемы.
Наиболее оптимальным на сегодня определением является следующее: Искусственный интеллект — это область науки и инжиниринга, занимающаяся созданием машин и компьютерных программ, обладающих интеллектом, либо искусственный интеллект — это область информатики, которая занимается разработкой интеллектуальных компьютерных систем, то есть систем, обладающих возможностями, которые мы традиционно связываем с человеческим разумом, — понимание языка, обучение, способность рассуждать, решать проблемы. В результате Искусственный интеллект должен стать уникальным продуктом технического прогресса, который позволит машинам учиться, используя человеческий и собственный опыт, приспосабливаться к новым условиям в рамках своего применения, выполнять разноплановые задачи, которые долгое время были под силу только человеку, прогнозировать события и оптимизировать ресурсы различного характера. Большинство примеров использования AI, известные сегодня, — от компьютеров, играющих в шахматы, до автономных роботизированных систем, — все еще зависят от человеческого фактора и требуют глубокого обучения. Однако, даже на этапе своего нынешнего прогресса они глобально влияют на жизнедеятельность всего общества, формируя новые представления о будущем и перспективы развития современных технологий. На сегодня пока что, AI не стал способностью приходить к итоговому решению при помощи вычислений, человеческий фактор в рамках мониторинга результатов применения AI все еще доминирует в принятии решений, ведь до тех пор, пока есть доступ к коду алгоритма, результаты вычислений и наблюдений/выводов AI можно менять и на них влиять. Но и насколько человек будущего захочет отпустить в свободное плавание и забыть о доступе к такому коду алгоритма — вопрос риторический и манипуляторный. Сегодня повторяю еще раз, пока нет понимания, какие виды вычислительных процедур мы хотим назвать интеллектуальными. Мы знаем далеко не обо всех механизмах своего интеллекта, чтобы рассуждать об искусственном. Тем более, сказочным пока видится концепция, при которой футурологи нас пугают тем, что в скором будущем, AI полностью заменит человеческий интеллект. Ведь до тех пор, пока исследователи используют алгоритмы, которые не наблюдаются у людей или требуют гораздо больших вычислительных ресурсов, искусственные попытки заменить нас пока слишком фантастичны. Но это лишь пока, на данном этапе развития технологии и самой молодой науки. Артур Р. Дженсен, ведущий исследователь в области человеческого интеллекта, в качестве «эвристической гипотезы» утверждает, что люди имеют одни и те же механизмы интеллекта и интеллектуальные различия связаны с «количественными биохимическими и физиологическими условиями». К ним относятся скорость мышления, краткосрочную память и способность формировать точные и извлекаемые долгосрочные воспоминания.
Ситуация же в AI, как я уже говорил, является противоположной. Компьютерные программы имеют большой запас скорости и памяти, но их способности соответствуют интеллектуальным механизмам, которые разработчики программ/алгоритмов хорошо понимают и могут вложить в них, то — есть, результат стремится быть таким, каким его пока еще видят и программируют исследователи, до степени инициативности самого AI пока еще далеко, и тесты Тьюринга, даже при успешном его прохождением машиной/AI по сути еще не будет означать победу в имитации AI человеческого. Это будет скорее всего еще одно достижение, которое лишь немного приблизит к идеалистическому результату. Конечной целью является создание компьютерных программ, которые могут решать проблемы и достигать целей так же, так и человек. Но опять-таки, свойство человеческого интеллекта — гибкость и мобильность, допустимость признания своих ошибок, использование опыта, как положительного, так и отрицательного, как скоро, такими свойствами будут обладать машины AI, даже если они смогут пройти тест Тьюринга и гораздо быстрее решать определенные задачи вместо человека. Думаю, не скоро. Главная ошибка ученых здесь — в стремлении заменить человеческий AI, а должно быть по идеи, не замена, а дополнение. Пока есть такая ошибка в постановке результатов — несомненно, будет существовать угроза ‘’победы машины над людьми’’. Для AI важно, чтобы при решении задач алгоритмы были такими же эффективными, как и человеческий разум. Определение подобластей, в которых существуют хорошие алгоритмы, является важным, но многие программы, решающие задачи AI, не имеют отношения к легко идентифицируемым подобластям.
Кстати, вычислительная мощь машины сильно преувеличена. Да, как калькулятор человек не может тягаться с компьютером. Но что более всего поглощает машинный ресурс? Любой геймер скажет — обработка видеоинформации. А вот у человека с этим никаких проблем нет. Обработка и анализ видеоинформации человеком пока на порядок превосходят возможности машины, а если учесть, что параллельно обрабатывается и слуховая информация, и обонятельная, и осязательная, и координация движений — и всё это в режиме онлайн — то, пока боятся нечего. Распознавание образов для машины — задача сложнейшая, задача развития того самого интеллекта. Помимо интеллекта, сможет ли машина обладать разумом? Ведь главное отличие человеческого разума — воля к иррациональным действиям. Например, стремление к неизведанному. Так что до совершенства — еще долгий путь.
Какие перспективы?
Человечество совершило мощный эволюционный прорыв, оставив далеко позади другие биологические формы жизни. Движимый развитием техники процесс освоения природной среды, сложность социальной жизни человека, наполненной искусственными техническими изобретениями, достигли своего апогея в современности. Ранее развитие техники сосредотачивалось на конструировании устройств, имитирующих с гораздо более высокой производительностью, нежели в их естественном проявлении, внешние органы чувств и органы действий человека: вместо естественного зрения — микроскоп или бинокль, вместо руки — экскаватор, вместо естественного слуха — радиосвязь, вместо ног — автомобиль и т.д. И вот появились устройства, призванные имитировать и замещать, казалось бы, самое главное в человеке — то, что с давних времен признавалось его самым существенным признаком — разумность. Системы искусственного интеллекта были призваны воспроизвести и, возможно, в перспективе заменить на более высоком качественном уровне процесс мышления человека, его способность к рациональным интеллектуальным действиям. До «сильного» интеллекта, «восстания машин», несмотря на тревожные пророчества Илона Маска, безусловно, еще далеко, но «слабый» AI уже прочно вошел в нашу жизнь и нашел широкое практическое применение. Хайп последних лет по машинному обучению имеет под собой фундаментальные причины и вполне обосновано — бизнесу стали очень нужны эти «умные» технологии, и это уже не только для имиджа или дань «моде». Они дают конкретный экономический эффект. Например, аналитики компании McKinsey оценивают рынок AI к 2025 году до $126 млрд. при расходовании в год до $30 млрд. основными игроками в последние годы. И цифры со временем будут только увеличиваться. Во многом повышенный интерес к AI со стороны специалистов вызван новым этапом в развитии нейросетевых технологий, а именно — глубоких нейронных сетей, но определяющее значение в этом сыграла революция в работе с данными. Мы умеем оцифровывать то бесчисленное количество информации, которая сама жизнь генерирует ежесекундно, умеем ее хранить, обрабатывать и, что особенно важно, хотим, пытаемся и во многом умеем ее анализировать. Сочетание развития больших данных (Big Data), возможностей их обработки (Data Engineering) и, конечно же, их анализа (Data Science), на фоне всеобщей «интернетализации» и широкого распространения «Интернета вещей» (IoT) привело к тому, что на международных конференциях доклады без упоминания AI не включают в программу, каждый стартап грозит с помощью AI перевернуть мир, а каждый уважающий себя руководитель компании (в любой сфере) считает наличие у себя отдела машинного обучения обязательным. Однако количество — не всегда есть качество все этого. Большинство математических моделей были уже давно известны, но именно большие данные и аппаратные возможности их обработки в режиме «более» реального времени привели к такому буму и появлению новых специальностей, на которые еще мало где профессионально готовят, но много где хотят взять на работу — Data Engineer и Data Scientist.
Если говорить об основных научно-технических направлениях, то AI сегодня включает следующие: машинное/глубокое обучение и предиктивную аналитику, обработку естественного языка и речи (Natural Language Processing, NLP), умных роботов и компьютерное зрение. Но практичнее рассматривать эти направления в разрезе их бизнес-применений, и именно об этом задумываются Data Scientist. В первых рядах приложения ИИ начала применять держащая всегда «нос по ветру» торговля, а также требующий высокоточных предиктивных моделей финтех, производство, здравоохранение, спорт активно используют многие наработки и, главное, вкладываются в их развитие на перспективу. Например, розничная торговля — адресное, персонализированное взаимодействие с покупателями, распознавание их поведения, виртуальные помощники и умнеющие не «по дням», а по обучающим корпусам чат-боты, оптимизация геолокации розничных точек, раскладки товаров на полках торговых залов, смарт-контракты с поставщиками, использование роботов для складских операций — все это привело к снижению затрат и увеличению продаж. Наибольшее практическое применение сейчас получили компьютерное зрение и обработка естественного языка (NLP). Но NLP имеет, возможно, более масштабную и долго идущую природу. На сегодняшний день даже такие консервативные отрасли, как страхование, юриспруденция, начинают внедрять AI. Происходит изменение привычных, как казалось, уже незыблемых процедур. Пока речь не идет о полном исчезновении профессий, но, безусловно, количество специалистов, требующихся в этих отраслях, будет неуклонно уменьшаться. Это будут только высококвалифицированные профессионалы, которые должны будут идти в ногу с технологиями, чтобы остаться востребованными. Но что уже в принципе сегодня умеет AI несмотря на критику, скептицизм и революционный хайп? В принципе, если систематизировать достоинства — много чего умеет. На сегодня AI:
· автоматизирует постоянный процесс обучения и поиск с помощью данных (Для такого типа автоматизации человеческий фактор пока необходим с целью обеспечения эффективной и правильной системы обработки ключевых запросов и принятия соответствующих решений)
· возможно интеллектуализирует продукт (AI превращает стандартные автоматизированные системы в интеллектуальный продукт, работающий на запросы пользователя)
· Пытается адаптироваться (AI развивается с помощью алгоритмов прогрессивного обучения и формирует данные для дальнейшего программирования)
· Анализирует глубокие данные (тщательный анализ выводит на поверхность все потенциальные риски, формирует прогнозы и предупреждения, исключает принятие ошибочных решений, предотвращает небезопасные ситуации при воспроизведении определенного технического процесса или событий)
· Стремится к точности (во всех сферах деятельности человека — медицина, агро, торговля, машиностроение, индустрия развлечений, строительство и так далее)
· Оперирует уже большими массивами данных
А где уже фактически используется:
· В Военно — оборонном комплексе
· В образовании, где имеет большие перспективы развития продуктов AI
· В бизнесе, а именно в вопросе борьбы с мошенничеством, в электроэнергетике, в производственной сфере, в банковских и финансовых услугах, в транспорте и логистике, в торговле и на рынке предметов искусства и роскоши
· В государственном управлении, а именно в криминалистике, в судебной системе (госпрограмма Китая), в спорте и в медицине, анализ поведения граждан (опять-таки программа Китая Социальный Рейтинг) — смотрите мою статью по этой теме — https://medium.com/@sergiygolubyev/digital-dystopia-as-a-model-of-panopticon-in-society-27d7dbcdab12
· В культуре, а именно в СМИ и литературе, видео, музыка, живопись, спецэффекты, игры и фотография
· В освоении космоса, а именно в прогнозировании солнечных бурь и возможной защите от астероидов, в открытии экзопланет, уже фактически сегодня делать репортажи с МКС (международной космической станции — дрон Int-Ball) (https://www.youtube.com/watch?time_continue=8&v=HMwdXrD8S3Y), уже помогает аппаратам совершать посадки и взлеты, отслеживать радиацию и уже фактически для членов космических экспедиций быть товарищем для общения (проект CIMON — Интерактивный Мобильный Спутник Команды), а также уже идет тестовые разработки систем спасения космических экипажей (система FEDOR — Final Experimental Demonstration Object Research)
А возможны ли угрозы для человека?
Мое мнение, на данном этапе с учетом имеющихся результатов, конечно пока никакой угрозы нет. Все это фантастика в стиле Терминатора и борьбы против Skynet. Однако, при наличии уже биологического синтеза (синтеза человеческого разума и искусственного интеллекта), опасность применения полученных результатов в злых умыслах — возможна. Опасность возможна в случае создания AI именно на биологической основе, то есть не на моделировании нейросетей, а именно на выращивании нейросетей на основе ДНК с одновременным программированием. Но неизвестность всегда пугает. Всякий раз, когда человечество стояло на пороге новых открытий, инновационных разработок или технических революций, люди испытывали страх: что принесут эти радикальные изменения? Так было и в эпоху перехода от лошадей к автомобилям, и на заре развития электроэнергии, и во времена развития всемирной паутины Интернет. Одни в переменах видели перспективы, другие — угрозу. О чем же сегодня говорят паникеры, в число которых входят известные ученные и бизнесмены (Илон Маск, Хокинг):
1. Многие считают, что пройдет совсем немного времени до того момента, как AI научится самосовершенствоваться, а также использовать накопленный опыт и знания, что сделает его сверх развитым. Краткосрочный эффект использования AI зависит от того, кто им управляет, а долгосрочный — от того, будет ли возможность им управлять в будущем. Такие устройства смогут самостоятельно анализировать ситуации и принимать необходимые решения, и возможно, эти решения будут не в пользу человека.
2. Многие разработки ведутся практически сегодня бесконтрольно, а значит, любой желающий сможет сконструировать устройство, которое потенциально может нанести вред одному человеку или целым странам. В Организации Объединенных Наций уже настаивают на законодательном регулировании создания разработок с AI, которые могут использоваться в военных конфликтах.
3. Ученые увидели угрозу искусственного интеллекта социального характера. По их мнению, повсеместное использование техники с AI станет причиной того, что люди перестанут принимать решения самостоятельно и будут полагаться на решение машины. Как бы имея шанс снять с себя ответственность. Люди станут слишком зависимы от устройств. Умные устройства смогут манипулировать мнением и решением своих владельцев
4. Угроза появления в будущем сверхразума. По мнению Ника Бострома, эволюция AI будет проходить с человеческой эволюцией. От слепой эволюции, в которой мы находимся сейчас, до осознанной. В будущем хозяином планеты будет только сверхразум, и уже сегодня, мы неумолимо движемся в этом направлении, единственным вопросом будет ли это сверхразум, построенный на основе человеческого, или первенство достанется искусственно созданному устройству либо это будет результат синтеза (человеческого и искусственного)
5. Ну и конечно, голливудское ‘’восстание машин’’ — самый распространённый страх по данной тематике. Пока все эти угрозы мифического характера, которые скорее наносят репутационный риск и риски на законодательном уровне контролировать процессы развития AI, как науки.
Но в чем более реальна угроза сегодня, это в реализации на практики теории ‘’Большого Брата’’ государством и спецслужбами с помощью технологии AI. И здесь уже стоит опасаться сегодня.
AI на службе ‘’Большого Брата’’
Выражение о Большом брате прекрасно известно, как любителям социальных антиутопий, так и не поклонникам литературы вообще. Фраза «Большой брат следит за тобой» получила известность после выхода романа знаменитого британского писателя Дж. Оруэлла «1984», продолжившего тему «преданной» революции, начатую в его же произведении «Скотный двор», которое представляло собой аллегорию на Октябрьскую революцию 1917 года. В современном обществе термином «Большой брат» пользуются для обозначения тоталитаризма, антидемократии и слежки. Теория, согласно которой спецслужбы всех развитых стран организовали механизм тотальной слежки за гражданами, включая слежку за интернет-пользователями. Прежде всего, это касается работы американских спецслужб, которые, вероятно, обрабатывают больше данных, чем ведущие технологические компании. В сентябре 2017 г. заместитель директора Центрального разведывательного управления по развитию технологий Дон Майриэкс (Dawn Meyerriecks) заявила, что ее ведомство работает со 137 проектами в области AI, причем многие проекты связаны с компаниями Кремниевой долины. Это впечатляющая цифра. Судя по всему, ЦРУ собирается сделать технологии AI основным инструментом работы с информацией, что означает значительные денежные вливания в данное направление. Американские спецслужбы уже работают с гигантским объемом данных, который, фактически, включает весь интернет. В настоящее время ЦРУ работает над созданием прогнозных алгоритмов с элементами AI, которые могли бы найти неочевидные причинно-следственные связи в разрозненных наборах данных. Такие системы должны обращать внимание аналитиков разведки на важные события, которые ускользают из поля зрения обычных инструментов. Решения, принятые на основании машинного анализа, будут использоваться для принятия политических и военных (оперативных) решений. Надо отметить, что сейчас спецслужбы, поставляя ежедневные сводки руководству страны, не в состоянии оценить обстановку. Только отслеживание соцсетей требует гигантских ресурсов, не говоря уже об анализе спутниковых снимков, заявлений местных СМИ и новостных сообщений в разных социальных медиа и чатах. Поэтому спецслужбы будут вынуждены пользоваться разработками в области AI. Бенефициарами уже стали крупные технологические компании, которые могут быть как сборщиками данных, например Alphabet Inc. (GOOGL) и Facebook Inc. (FB), так и поставщиками гибких платформ AI для выполнения разных оперативных задач, как IBM Watson от International Business Machines Corp. (IBM). Не отстает от ЦРУ и Китайское Правительство, которое уже многое сделало для реализации политики теории ‘’большого брата’’ (https://medium.com/@sergiygolubyev/digital-dystopia-as-a-model-of-panopticon-in-society-27d7dbcdab12). Так что угрозы AI для человека существуют, но опять-таки, эти же угрозы исходят от самого человека и государства, как формы организации контроля человеческого общества. Другой более реальной угрозой, чем Восстание Машин, может стать все тот же человеческий фактор, а вернее интерес человека к легкой наживе, связанной с хайпом вокруг AI.
Хайп и мошенники
К сожалению, истерия вокруг AI, порождает многочисленные псевдо революционные стартапы, которые могут только обчистить кошелек инвестора, но не создать революционный продукт. Под обложкой AI технологий и ее разработкой, скрываются обычные рутинные процессы, ничего общего, не имеющего с AI. Например, Бывшие сотрудники Engineer.ai рассказали Wall Street Journal, что компания обманывает инвесторов и пользователей, заявляя, что использует искусственный интеллект для разработки приложений. На самом деле, эту работу выполняют дешевые программисты (https://www.wsj.com/articles/ai-startup-boom-raises-questions-of-exaggerated-tech-savvy-11565775004). В 2018 году Engineer.ai привлекла $29,5 млн. Среди ее инвесторов: Deepcore Inc., дочерняя компания японского конгломерата SoftBank, а также цюрихская венчурная компания Lakestar (первый инвестор Facebook и Airbnb) и сингапурская компания Jungle Ventures. Компания становится более привлекательной для инвесторов, когда заявляет, что использует в работе ИИ. Так как работу этой технологии сложно отследить, эксперты не всегда могут определить, действительно ли ее используют в создании продукта. Однако бывшие и нынешние сотрудники компании, а также документация, которая попала к журналистам Wall Street Journal, говорят о том, что Engineer.ai не использует ИИ для сборки кода приложений — этим занимаются инженеры компании, работающие из Индии. И таких случаев множество по миру. Причина всему этому — хайп на денежные темы. По данным аналитической компании PitchBook, венчурные фирмы почти вдвое увеличили финансирование AI-стартапов в 2018 году по сравнению с 2017-м. Чтобы привлечь внимание инвесторов, достаточно иметь лишь «ai» в доменном имени компании. История повторяется как с блокчейном. Ранее отчет лондонской венчурной компании MMC Ventures показал, что технологические компании даже в Европе, которые называют себя AI — стартапами, на деле не используют искусственный интеллект в своих продуктах. Всего таких компаний 2 830 — это около 40% всех стартапов. Некоторые начинающие разработчики технологий используют модное словосочетание «искусственный интеллект» для привлечения внимания к себе и своим продуктам, чтобы получить больше финансирования. Согласно оценкам MMC, компании, заявляющие работу над AI — решениями, привлекают в среднем на 15–50% инвестиций больше. При этом не всегда сами стартапы заявляют об использовании искусственного интеллекта. Поэтому сектор AI- потенциальный пузырь, который из-за хайпа может лопнуть, нанося вред реальным участникам рынка, а не фейкам. Другая угроза в том, что AI потенциально могут использовать для вредительства все тому же человеку. Отличить правду от фейка становится всё труднее. Искусственный интеллект осваивает естественные языки человеческой культуры, как мошенничество и пропаганду.
Летом 2016 года компания ZeroFOX, работающая в сфере информационной безопасности, обнаружила новый вид Twitter-бота под названием SNAP_R. Он обманывал пользователей, кликающих по ссылкам, перенаправляя их на сомнительные сайты. Он служил автоматизированной фишинговой системой, которая анализировала модели поведения пользователей социальной сети и выясняла их интересы и потребности. В тот момент, когда ничего не подозревающий пользователь пролистывает ленту новостей, бот подкидывает ему какую-нибудь запись вида «Археологи обнаружили могилу Александра Великого на территории США — для подробностей нажмите по ссылке’’. SNAP_R не преследовал никакой вредоносной цели, поскольку представлял собой лишь рабочую концепцию. Но сам факт его существования предупреждает нас еще раз, насколько осторожными нам следует быть в мире фейковой информации, которая подыгрывается уже AI (https://www.blackhat.com/docs/us-16/materials/us-16-Seymour-Tully-Weaponizing-Data-Science-For-Social-Engineering-Automated-E2E-Spear-Phishing-On-Twitter-wp.pdf) В это же время два исследователя благодаря SNAP_R построили нейросеть, которая способна обучаться на основе анализа больших объемов данных. К примеру, она научилась распознавать изображения, проанализировав тысячи других изображений. Смогла распознавать устную речь, обучившись на базе данных записей разговоров с технической поддержкой. И, конечно, она вполне уже может генерировать фишинговые сообщения, анализируя посты в Twitter и Reddit и известные случаи онлайн-атак. Математические мощности искусственного интеллекта используются сегодня повсеместно во многих сферах — от распознавания речи до перевода текста. Эти же мощности отлично могут работать на обман тысяч интернет-пользователей. Я думаю, что будет странно, если технологии не будут использованы в мошеннических целях. Всё к этому и идет.
У многих экспертов в сфере технологий серьезные вопросы вызывает искусственный интеллект, который генерирует Deepfakes — сфабрикованный визуальный контент, крайне похожие на настоящий. (https://www.nytimes.com/2018/03/04/technology/fake-videos-deepfakes.html?module=inline) И множество иных примеров, которые имеют далеко не положительные цели использования. Поэтому дилемма взаимоотношения AI и человечества, как не банально, зависит от самого человечества и тех целей, ради которых AI будет использоваться. Большим плюсом человека в этом вопросе является тот факт, что всем этим процессом он может управлять, пока еще. Главное — способствовать созданию роботов/алгоритмов, которые принесут только благо человеческому существованию, а не вред. Армия экспертов в области технологий уже сегодня должна начать свою работу и создать все необходимые меры предосторожности. Серьезных исследований по данному вопросу еще нет, поэтому необходимо способствовать появлению специальных исследовательских институтов по изучению машинного интеллекта и жизни в будущем. Можно ли будет управлять полностью всеми процессами развития искусственного интеллекта, покажет лишь время.
Join chat — https://t.me/joinchat/AAAAAE84vCXg5PK-VpHADg
Sergiy Golubyev (Сергей Голубев)
EU structural funds, ICO/STO/IEO projects, NGO & investment projects, project management, comprehensive support for business