заглянуть на тёмную сторону

-

Как IT-корпорация ради сверхприбылей сеет зло.

Это было одно из самых популярных «вирусных» видео января. Логан Пол, звезда YouTube, наталкивается на мертвеца, который висит на дереве. 22-летний парень, который находится в японском лесу, популярном среди самоубийц, сначала выглядит шокированным, а потом ему становится весело. «Чувак, у него руки красные, - говорит он, прежде чем со смешком вернуться к друзьям. - Вы когда-то стояли рядом с мертвецом?»

Автор: Пол Льюис, The Guardian; перевод: Сергей Лукьянчук, ТЕКСТЫ; адаптация на русском - CRiME.

Пол на YouTube-канал которого подписаны 16000000 человек, большинство из которых являются подростками, удалил видео через 24 часа после яростной критики. Но этого хватило, чтобы запись получил 6000000 просмотров и попал в вожделенный список «популярное видео» на YouTube.

На следующий день я смотрел копию этого видео на YouTube. А потом начал щелкать на уменьшенных изображениях рекомендованных видео в списке «Следующее», который YouTube показывает справа от окна проигрывания видео. Этот конвейер видеороликов, который по умолчанию проигрывается автоматически, созданный, чтобы соблазнить нас проводить больше времени на платформе с демонстрации видео, принадлежащей Google. Мне было интересно, куда они меня приведут.

Ответом стал поток видеороликов с людьми, которые смеются над оскорбленными подростками-фанами Логана Пола, за ними - записанные камерами наблюдения видео детей, когда они воруют, а через несколько кликов - видео детей, которым вырывают зубы жуткими самодельными щипцами.

Я перед этим почистил историю просмотров видео, удалил файлы cookies и открыл браузер в частном режиме, чтобы быть уверенным, что YouTube не учитывает в подборе роликов мои личные предпочтения. Его алгоритм направлял меня по его собственному усмотрению, и завершилось это видеороликом с двумя мальчиками в возрасте где-то пяти или шести лет, которые били друг друга руками и ногами.

1
Скриншот из вирусного видео: звезда YouTube Логан Пол увидел в лесу мертвеца

«Я выложу это на YouTube, - сказал голос девочки-подростка, которая снимала видео, - похоже, старшей родственницы. - Ну развернись и врежь этому малому!». Они толкались еще несколько минут, пока один не выбил другому зуб.

В мире есть 1500000000 пользователей YouTube - это больше, чем количество домохозяйств, имеющих в собственности телевизор. То, что смотрят люди на YouTube, определяет алгоритм, который просматривает и оценивает миллиарды видеороликов, чтобы идентифицировать 20, которые войдут в список «Следующее». Они одновременно связаны с предыдущим пересмотренным видео и, скорее всего, со статистической точки зрения направлены на то, чтобы удерживать зрителя у экрана.

Инсайдеры YouTube рассказывали мне, что этот алгоритм является важнейшим двигателем роста компании. В одном из немногих частных объяснений того, как работает эта формула – в научной статье, очерчивающей глубокие нейронные сети алгоритма, которые обрабатывают гигантский массив данных о видео и людях, которые просматривают – инженеры YouTube описали эту формулу как «самую масштабную и сложную систему промышленных рекомендаций, которая существует в мире».

Недавно эта система стала одной из самых контраверсионных. Оказалось, что алгоритм пропагандирует теории заговора о массовой стрельбу в Лас Вегасе, и поддерживает, через предложенные им рекомендации, субкультуру, которая подбрасывает детям контент сомнительного содержания – например, мультики, где персонаж британского детского мультика Свинка Пеппа ест своего отца пьет отбеливатель для тканей.

Google отреагировал на это как игровой автомат, на котором игрок бьет кротов, вылезающих из нор. Выросла армия модераторов-людей, с YouTube убрали оскорбительные видео, найденные журналистами, а каналы, которые их создавали, потеряли рекламные доходы. Но ни один из этих шагов не уменьшил беспокойство, что с искусственным интеллектом, который приводит в действие YouTube, что-то очень-очень сильно пошло не так.

Есть еще один неперевернутый камень. Многие писали о влиянии Facebook и Twitter на политику, но в прошлые месяцы ученые размышляли над тем, что алгоритмы YouTube, возможно, сыграли значительную роль в распространении дезинформации во время президентских выборов в США 2016 года. «YouTube - наиболее проигнорированная история, касающаяся 2016 года, - написал в Твиттере Зейнеп Туфекчи, авторитетный социолог и критик технологий. - Его алгоритмы поиска и рекомендаций - это устройства для дезинформации».

Если алгоритм рекомендаций на YouTube действительно эволюционировал к распространению более проблемного контента, то как это произошло? И как это влияет на политику?

Искаженная реальность

На эти вопросы непросто ответить. Подобно всем крупным технологическим компаниям, YouTube не раскрывает алгоритмы, которые влияют на нашу жизнь. Это тайные формулы, закрытое программное обеспечение, и только избранные инженеры были допущены к работе с этим алгоритмом. Жильйом Шасла, 36-летний программист из Франции, который имеет степень доктора наук по искусственному интеллекту, был одним из этих инженеров.

Вот так алгоритм YouTube искажает реальность - видпояснение

За три года работы в Google его на несколько месяцев отправили в команду инженеров YouTube, которые работали над системой рекомендаций. Этот опыт привел его к выводу, что приоритеты, которые YouTube определяет для своих алгоритмов, опасно искривлены.

«YouTube выглядит как реальность, только она искажена таким образом, чтобы вы больше времени проводили в онлайне, - рассказал он мне во время встречи в Беркли, Калифорния. - Алгоритм рекомендации не адаптирован под правдивость, сбалансированность, нормальность или демократичность».

Шасла объясняет: алгоритм никогда не остается неизменным. Он постоянно модифицирует вес, который он назначает различным сигналам: например, типовые сценарии просмотра видео пользователем, или продолжительность просмотра видео до того, как он щелкнет мышкой и перейдет на другое.

Инженеры, с которыми он работал, постоянно экспериментировали с новыми формулами, которые должны были увеличить рекламные доходы благодаря большой продолжительности просмотра видео пользователями. «Время просмотра было приоритетом, - вспоминает он. - Всё остальное считалось отвлечением внимания».

Google уволила Шасла в 2013 году якобы из-за проблем с производительностью труда. Он настаивает, что был уволен за агитацию ввести изменения в компании, когда в свое личное время встречался с инженерами похожих взглядов, чтобы предложить изменения, которые могли бы разнообразить контент, который смотрели люди.

Он был особенно встревожен тем искажением, которое могло быть вызвано упрощенной фокусировкой на демонстрации людям видеороликов, просмотру которых они не могли сопротивляться. Например, создание фильтров-пузырей, которые показывали людям контент, подкрепляющий их собственные представления об окружающем мире. Шасла говорит, что ни одно из его предложений не было одобрена менеджерами. «Есть много способов изменить алгоритмы YouTube так, чтобы глушить фейковые новости и улучшать качество и разнообразие видео, которое видят люди, - утверждает он. - Я пытался изменить YouTube изнутри, но это не сработало».

В YouTube рассказали мне, что их система рекомендаций эволюционировала с тех времен, когда Шасла работал в компании, и сейчас «вышла за пределы оптимизации по длительности просмотра». Шасла считает, что эти изменения в основном косметические и не смогли фундаментально изменить некоторые проблемные перекосов, которые эволюционировали в алгоритме. Летом 2016 он создал компьютерную программу, чтобы это исследовать.

Программное обеспечение, написанное Шасла, имело целью открыть первое в мире окно, через которое можно было бы увидеть скрытый механизм рекомендаций YouTube. Программа симулирует поведение пользователя, который начинает с одного видео, а затем идет по цепочке видео, которые ему рекомендованы - примерно так же, как это делал я после просмотра видеоролика Логана Пола, - и в процессе отслеживает данные.

Программа находит видео благодаря поиску по ключевому слову, выбирает "стартовый" ролик и записывает несколько слоев видео, которые YouTube рекомендует в колонке "Следующий". Система работает без истории просмотра, что гарантирует, что выбранные видео действительно являются рекомендациями YouTube, а не записями, персонализированными под пользователя. И она повторяет этот процесс тысячи раз, собирая слои данных о рекомендациях YouTube, благодаря которым можно составить картину преференций в работе алгоритма.

В течение 18 месяцев Шасла с помощью своей программы исследовал предвзятость контента, продвигаемого YouTube во время выборов во Франции, Великобритании и Германии, по теме глобального потепления и массовых расстрелов, и публиковал обнаруженные результаты на своем вебсайте Algotransparency.org. Каждый обнаруживает нечто другое, но в целом исследование показывает, что YouTube систематически «усиливает» видеоролики, которые сеют раздор, распространяют сенсации или конспирологию.

2

Когда его программа нашла «стартовое» видео по поисковой строке «кто такая Мишель Обама», и дальше двигалась по цепочке предложений в колонке «Следующее», одним из наиболее рекомендуемых видео был ролик «это мужчина». Более 80% видеозаписей, которые YouTube рекомендовал про Папу Римского - как это обнаружила программа - описывали лидера католиков как «зло», «сатаниста» или «антихриста». Миллионы (в буквальном смысле этого слова) видеороликов загружены на YouTube, чтобы удовлетворить аппетит алгоритма к контенту, где утверждается, что Земля плоская. «На YouTube выдумка побеждает реальность», - говорит Шасла.

Он считает, что один из самых шокирующих примеров, который обнаружила его программа, касался кампании по президентским выборам в США в 2016 году. Как он рассказал в коротком, в общем незамеченном сообщении в блоге, опубликованном после победы Дональда Трампа, влияние алгоритма рекомендаций на YouTube во время президентской гонки отнюдь не был нейтральным: он продвигал видео, которые в основном способствовали Трампу и вредили Хиллари Клинтон. «Это было странно, - объяснял он мне. - С чего бы ты не начинал, по поиску относительно Трампа или поиска относительно Клинтон, алгоритм рекомендаций с большей степенью вероятности подталкивал тебя в про-трамповском направлении».

Трамп победил на выборах благодаря голосам 80000 избирателей в трех критических штатах. В США есть более 150 000 000 пользователей YouTube. Видео, содержащиеся в базе данных рекомендованных YouTube «избирательных» роликов, которую собрал Шасла, были пересмотрены более трёх миллиардов раз перед выборами в ноябре 2016-го.

Даже незначительное предубеждение в пользу этих видео имеет существенное значение. «Алгоритмы, которые формируют контент, могут оказывать значительное влияние, особенно на людей, которые еще не определились с кандидатом, - утверждает Лучиано Флориде, профессор лаборатории цифровой этики в университете Оксфорда и исследователь этичности искусственного интеллекта. - Деликатное, скрытое, тихое подталкивание может со временем склонить нас к выбору, который мы не сделали бы без такого влияния».

Пиар конспирологии

Шасла прислал мне базу данных видеороликов, рекомендованных YouTube, которые идентифицировала его программа в течение трех месяцев перед президентскими выборами. Она содержала более 8000 записей - все появились в колонке «Следующее» за 12 дней между августом и ноябрем 2016 года, после одинакового количества поисков в YouTube по запросу «Трамп» и «Клинтон».

Я провел недели за просмотром, сортировкой и систематизацией этого видео вместе с Эрином МакКормиком, журналистом-расследователем и экспертом по анализу баз данных. Изначально мы были потрясены тем, сколько экстремистских и конспирологических видеороликов попало в список рекомендаций, и тем фактом, что почти все они были направлены против Клинтон.

Некоторые из видео, которые рекомендовал YouTube, соответствовали тому, что мы надеялись увидеть: трансляция президентских дебатов, отрывки из программ новостей, зарисовки из комедийного телешоу Saturday Night Live и тому подобное. Были также видео речей двух кандидатов – хотя, как мы обнаружили, в базе данных было значительно больше рекомендованных YouTube выступлений Трампа, чем Клинтон.

Но самым впечатляющим стало то, насколько часто программа Шасла фиксировала конспирологические видеоролики, направленные против Клинтон, которые появлялись в колонке «Следующее» рядом с другими видео.

Там были десятки клипов с утверждениями, что Клинтон психически больна, что у нее был сифилис или болезнь Паркинсона, что у нее были тайные сексуальные отношения, в том числе с вдовой Джона Леннона Йоко Оно. Многие из них были еще более проблемными - они подделывали содержание информационных выбросов на WikiLeaks с целью безосновательных заявлений, обвиняя Клинтон в участии в убийствах или связях с сатанинскими или педофильскими культами.

Одним видео, которое, как обнаружил Шасла, особенно активно продвигалось алгоритмом YouTube, был очень странный фильм продолжительностью в один час, где утверждалось, что приход Трампа к власти предусмотрен в книге Исаии, глава 45. Еще одно было озаглавлено так: «ШОК: ВИДЕО КАК БИЛЛ КЛИНТОН НАСИЛУЕТ ТРИНАДЦАТИЛЕТНЮЮ ВВЕРГНЕТ РАСУ В ХАОС АНОНИМНОЕ ЗАЯВЛЕНИЕ». Механизм рекомендаций, похоже, особенно способствовал каналу Алекса Джонса, который ретранслировал крайне правые конспирологические теории под брендом Infowars.

3
Алекс Джонс, конспиролог и ведущий ток-шоу

В базе данных было слишком много видео, чтобы мы могли просмотреть их все. Поэтому мы сосредоточились на тысячи наиболее рекомендуемых. Мы оценивали их друг за другом, чтобы установить, кому способствовал их содержание - Трампу или Клинтон. Более трети видеороликов или не были связана с выборами, или содержала нейтральный или сбалансированный контент. Из оставшихся 643 видео 551 способствовали Трампу, и только 92 были в пользу кампании Клинтон.

Рассмотренная нами выборка подтверждала правоту выводов Шасла: YouTube в шесть раз чаще рекомендовал видео, которые помогали Трампу, чем его конкуренту. YouTube, вероятно, никогда не программировала свой алгоритм так, чтобы он оказывал предпочтение одному кандидату, а не иначе. Но факты свидетельствуют, что произошло именно это.

«Заводить людей в «кроличьи норы» ненависти»

Получив возможность выбора, мы можем инстинктивно щелкнуть на видео мертвого человека в японском лесу, или фейковый ролик с утверждением, что Билл Клинтон изнасиловал 13-летнюю. Но действительно ли эти секундные импульсы отражают характер того контента, который мы хотим получить для потребления?

Туфекчи, социолог, несколько месяцев назад предупреждала о влиянии, которое YouTube может оказать на выборы, рассказала мне, что система рекомендаций YouTube, вероятно, установила, что сомнительный и агрессивный контент «цепляет» людей. «Это как автоматизированный кафетерий в школе, который определил, что дети, которые любят сладкое, любят также жирную и соленую пищу. После этого он предлагает такие продукты в комплекте, автоматически выдавая их на тарелку сразу же после того, как кто-то в очереди впереди заказал пакет чипсов или шоколадный батончик».

Впрочем, после того, как это становится нормой, еще более сомнительные или агрессивные вещи, говорит Туфекчи, воспринимаются как новые и интересные. «Пища содержит все больше и больше сахара, жира и соли - это естественное желание человека - а видео, которые рекомендует и автоматически проигрывает YouTube, становятся все более эксцентричными или полными ненависти.

Но почему же склонность к более эксцентричным или поляризованным видеороликам идет на пользу одному кандидату, а другому нет? Это зависит от кандидатов. Кампания Трампа сама по себе была эксцентричной и поляризованной. Туфекчи указывает на исследования, которые выявили, что «поле дезинформации» накануне выборов тяготело к материалам, направленных против Клинтон. «Производители фейковых новостей, - утверждает она, - обнаружили, что материалы против Клинтон пользовались значительно большей популярностью в среде базового электората Трампа, чем анти-трамповские материалы в среде базового электората Клинтон».

Она добавляет: «Вопрос в том, этично ли массово завлекать людей в «кроличьи норы», полные ненависти, дезинформации и лжи, лишь потому, что это увеличивает время, которое люди проводят на сайте - и этот подход срабатывает».

В показаниях комитета по вопросам разведки по расследованию российского вмешательства в выборы главный юрисконсульт Google Кент Уокер заявил про меньший уровень проникновения на YouTube российских пропагандистских усилий. Внутреннее расследование компании выявило только 18 каналов на YouTube. Есть 1100 видеороликов, в отношении которых есть подозрение в связях с российской кампанией по дезинформации, - сообщил он комитета в декабре. И вообще эти видео имели сравнительно низкое количество просмотров. Он добавил: «Мы считаем, что обнаруженная нами деятельность была незначительной из-за действий различных механизмов безопасности, которые мы ввели перед выборами 2016 года. И то, что информационные продукты Google не были использованы в микро-таргетинге рекламы или вирусном распространении сообщений, свидетельствует, что эти действия сработали».

4
Юридические представители Twitter, Facebook и Google готовятся свидетельствовать перед комитетом по разведке относительно вмешательства России в выборы в США

Волкер не упомянул о системе рекомендаций на YouTube. Впрочем, опубликованная недавно переписка показывает, что сенатор Марк Уорнер, высокопоставленный представитель Демократической партии в комитете по вопросам разведки, позже написал компании об этом алгоритме, который, по его словам, «особенно чувствителен к иностранному влиянию». Сенатор требовал выяснить, предпринимала ли компания мероприятия по предотвращению «злонамеренного вмешательства» в систему рекомендаций YouTube. Уолкер в своем письменном ответе предоставил несколько деталей, но заявил, что YouTube «имеет сложную систему обнаружения спама и дефектов в защите, которая позволяет идентифицировать аномальное поведение и злонамеренное вмешательство».

Тристан Харрис, бывший инсайдер Google, который стал информатором, любит описывать Facebook как «живое и дышащее место преступления, которое произошло во время выборов 2016 года», и к которому федеральные следователи не имеют доступа. То же самое можно сказать о YouTube. Около половины видеороликов, которые обнаружила программа Шасла как рекомендуемые во время выборов, сейчас исчезли с YouTube - много убрали те же люди, которые их создавали. Шасла всегда считал это подозрительным. Это были видеоролики с заголовками «Это надо видеть! Хиллари Клинтон хотела запретить это видео!», их просматривали миллионы раз, а затем они исчезли. «Почему кто-то убирает видео, увиденное миллионы раз?» - спрашивает он.

Я обнаружил копию ролика под названием «Это видео обеспечит победу Дональда Трампа», вирусную сенсацию, которую посмотрели более 10 миллионов раз, прежде чем она исчезла с YouTube. Это был якобы доброжелательный монтаж исторических кадров с Трампом, которые сопровождала мягкая фортепианная музыка. Но когда я просмотрел видео в замедленном режиме, я увидел, что в него вмонтировали странные фрагменты с певицей Майли Сайрус, которая облизывает зеркало. Это похоже на любительскую и диковатую попытку вставить подсознательный, сексуализированный визуальный ряд. Но из этого видно, как мало контроля у нас есть над кем-либо, кто хочет использовать YouTube для массового воздействия на общественное мнение.

Я поделился всей базой данных с 8000 рекомендованных YouTube видеороликов с Джоном Келли, директором фирмы Graphika, которая занимается коммерческой аналитикой и отслеживала кампании по политической дезинформации. Он сравнил этот список с собственной базой данных аккаунтов в Твиттере, активных во время выборов, и пришел к выводу, что многие ролики, похоже, активно пиарились сетями марионеток и ботов, контролируемыми трамповскими консультантами по цифровым технологиям, которым, вероятно, без их ведома, помогала Россия.

Шасла и некоторые медиаактивисты, с которыми я общался, предполагают, что эта активность в социальных медиа была значительной. Алгоритм YouTube развил свое предубеждение естественным способом, но могло ли быть так, что его подтолкнули к еще большему распространению подобных видео? «Если ролик начинает набирать популярность, как ракета, алгоритм YouTube без вопросов будет продвигать его еще больше», - заявляет Олбрайт.

Яма стала глубже

Если судить по яркой графике и зализанной прическе ведущего, Next News Network выглядит как стоящий доверия канал новостей. Но за этим фасадом скрыты сомнительные действия по воссозданию тем, собранных на основе публикаций крайне правых медиа, сайтов фейковых новостей и российских СМИ.

Ведущим канала является Гэри Франчи, в свое время главный проводник теории заговора о том, что власти США создают концлагеря для собственных граждан. Именно Next News Network распространила сфабрикованные утверждения о том, что Билл Клинтон насиловал несовершеннолетнюю, хотя сам Франчи утверждает, что не является производителем фейковых новостей (он заявил мне, что трактует свой канал как «комментарии консервативных новостей и точек зрения»).

В течение нескольких месяцев непосредственно перед выборами Next News Network превратилась в фабрику по производству направленных против Клинтон новостей и комментариев, выпуская ежедневно десятки видеороликов и достигнув аудитории, аналогичной канала телекомпании MSNBC на YouTube.

Исследование Шасла свидетельствует, что успех Франчи в значительной степени обусловлен алгоритмами YouTube, постоянно повышающими популярность его видеороликов и размещающими их в колонке «Следующее». YouTube категорически отрицает эти выводы.

Я связался с Франчи, чтобы выяснить, кто прав. Он прислал мне скриншоты частных данных, которые получают люди, загружая видео на YouTube, - включая данные, как аудитория находила эти ролики. Крупнейшим источником трафика на видео насильника-Клинтона, которое за месяц до выборов пересмотрели 2,4 миллиона раз, были рекомендации YouTube.

То же самое подтверждали данные о всех роликах, по которым Франчи прислал мне информацию, за исключением одного. Типичным примером было видео Next News Network под названием «Вот так! Хиллари думала, что камера выключена ... И сделала шокирующее заявление о Трампе». В ней Франчи, указывая на едва заметное движение губ Клинтон во время дебатов, заявляет, что она сказала "fuck you" о своем конкуренте на выборах. Данные, которыми поделился Франчи, свидетельствуют, что за месяц до выборов 73% трафика на этот ролик - а это 1,2 миллиона просмотров - было получено благодаря рекомендациям YouTube. Зато внешний трафик составил всего 3% от просмотров.

5
Видео Next News Network с фейковыми обвинениями Клинтона

Франчи - профессионал, который зарабатывает деньги благодаря своему каналу, но многие другие авторы роликов, направленных против Клинтон, были расследователями-любителями или конспирологами «на полставки». Обычно они могли бы получить лишь несколько просмотров своих роликов, поэтому они были шокированы, когда направленные против Клинтон видео начали получать миллионы просмотров - словно их толкала вверх какая-то невидимая сила.

В каждом случае крупнейшим источником трафика – той самой невидимой силой – было появление роликов в колонке «Следующее». Уильям Рэмси, оккультист-расследователь из южной Калифорнии, автор материала «Неопровержимые правда: у Хиллари Клинтон эпилепсия» поделился скриншотами, где видно, что алгоритм рекомендаций продвигал его видео даже после того, как YouTube написал письмо о нарушении этим видео правил. Данные Рэмси свидетельствуют, что ролик ко дню выборов посмотрели 2,4 миллиона раз. «Для такого ничто, как я, это много, - говорит он. - Достаточно, чтобы изменить ход выборов, да?»

Дэниел Александер Кэннон, конспиролог из южной Каролины, рассказывает: «Каждое видео Клинтонов, которое я размещал, YouTube раскручивал до небес». Его самым успешным роликом было видео под названием «Хиллари и Билл Клинтон: 10 фото, которые вы должны увидеть». Это по сути слайд-шоу отталкивающих (и, похоже, отредактированных) изображений Клинтонов с голосовой озвучкой, где Кэннон строит предположения относительно их здоровья. Ролик просмотрели на YouTube 3700000 раз, из них 2900000 были получены благодаря рекомендациям в колонке «Следующее».

Шасла пролил свет на подборку конспирологических видео против Клинтон, которые прятались в тени – пока вы не стали одним из тех миллионов, которым это видео показал YouTube. Но его исследования делает и важное дело: разоблачает, как тщательно влияет на наши жизни искусственный интеллект.

Меньше чем одно поколение назад избиратели видели своих политиков благодаря работе десятков тысяч редакторов новостей, журналистов и руководителей телеканалов. Сейчас невидимые программные коды на крупных технологических платформах стали новыми «творцами королей».

Полное описание методологии, использованной Шасла для определения рекомендаций YouTube (и объяснения, как их анализировал Guardian), приведены здесь.

Автор: Пол Льюис, The Guardian; перевод: Сергей Лукьянчук, ТЕКСТЫ; адаптация на русском - CRiME.


facebook twitter Google Plus rss


Последние обновления

Лидеры молдавских оппозиционных партий Андрей Нэстасе ("Платформа "Достоинство и правда") и Майя Санду ("Действие и солидарность") могут стать фигурантами уголовного дела о государственной измене

КГГА обратилась к Кабинету министров с просьбой разрешить осуществить 100% предоплату средств компании "Северо-украинский строительный альянс" для проведения работ по реконструкции Шулявского путепровода в размере 598,5 миллиона гривен.

следи за нами социально

facebook twitter Google Plus ЖЖ rss