У Костра XXI

[Ada_Wong 1 482]

Зажигаем новый костер!

Пусть он согреет каждого, кто придёт к нему!

[abramcumner 1 023]

29.03.2023 в 12:30, Murarius сказал:

«Слова» в этом машинном языке неинтерпретируемы напрямую для людей, но, тем не менее, связаны с реальным миром.

Пссс, а вы не замечали, что содержимое zip-архива или jpg тоже напрямую неинтерпретируемо для людей?

 

29.03.2023 в 12:30, Murarius сказал:

Цитата

Они проверяли, например, что пока модель не может закачивать себя в интернет и начать там бесконтрольно распространяться.

Ключевое слово здесь сами понимаете, какое. 

Закачивать в себя интернет?

 

Изменено 30 Марта 2023 пользователем abramcumner

[mole venomous 2 989]

Вы чё тут устроили?

Был нормальный костер, чё дымить начал?

[Murarius 10 089]

26 минут назад, abramcumner сказал:

Пссс, а вы не замечали, что содержимое zip-архива или jpg тоже напрямую неинтерпретируемо для людей?

В отличие от GPT алгоритмы архивирования/разархивирования понятны: они только архивируют или только разархивируют.

Этот аспект накладывается на общее опасение того, что GPT начнет (и уже якобы есть сведения, что начал и такие попытки были успешны) самовоспроизводить задачи и решать их. Вот в чем штука. Говоря простым языком, оно может, попав в интернет без должного контроля, ставить себе задачи и решать их. И пес бы с ним (особенно если эти задачи умозрительны), но это будет отнимать адскую прорву ресурсов. И для того, чтобы подавить такое использование, ресурсов потребуется намного больше. Есть логичное опасение, что момент прошляпят и интернет придется "строить заново".  А что это означает в современном мире - понятно: речь не только о котятках в Тик-Токе.

И все же я скорее за AI. Это явный прогресс. А прогресс всегда выигрывает.

 

[abramcumner 1 023]

@Murarius

1. Архивирование/разархивирование тоже может отнимать прорву ресурсов. Были же вирусы, которые шифровали диски. Как-то же это пережили.

2. Алгоритмы работы GPT известны и понятны. В конце концов их же люди и сделали.

3. "И для того, чтобы подавить такое использование, ресурсов потребуется намного больше." - с чего бы это? откуда такие страшилки? не запускай chatgpt.exe - не будет траты ресурсов.

4. "Говоря простым языком, оно может, попав в интернет без должного контроля, ставить себе задачи и решать их."

Это называется вирус, его спокойно отловит любой антивирус.

 

Что за странные страшилки??? Что за интернет без должного контроля??? Нет "интернета", есть куча серверов. Их контролируют владельцы серверов. Ну начнет на амк ломиться gpt-126, заблокируете его и все. В крайнем случае придется восстановиться из бекапа.

 

[Marius 2 704]

40 минут назад, mole venomous сказал:

Был нормальный костер, чё дымить начал?

А ты так хочешь? )))

[DenVer 3 147]

2 часа назад, mole venomous сказал:

Вы чё тут устроили?

Был нормальный костер, чё дымить начал?

А колбасу и батоны нынче хреновые делать стали.

 

ЗЫ

Так это... мясо, рыбу, колбасу, и даже... сало - коптить надо. А для этого дым нужен.

Изменено 30 Марта 2023 пользователем DenVer

[Murarius 10 089]

39 минут назад, abramcumner сказал:

Это называется вирус, его спокойно отловит любой антивирус.

Это к вопросу о "прошляпят".  И ресурсов на отлов-то нужно будет немного (если к тому моменту оставшиеся серверы вообще смогут что-либо делать, кроме поддержания своей работы, конечно). А вот на борьбу - очень много.

 

39 минут назад, abramcumner сказал:

откуда такие страшилки? не запускай chatgpt.exe - не будет траты ресурсов.

Вот именно это и призывают сейчас делать: приостановить распространение. Как видишь, совершенно безуспешно. Потому что, в отличие от ситуаций с вирусом, еще не столкнулись с нехваткой ресурсов или с невозможностью борьбы. А вообще сравнение твое вполне корректно - действительно, похоже на вирус, пусть и цели/задачи благие. Попутно замечу, что как в свое время антивирусная индустрия заняла свое место на рынке, так и анти-GPT индустрия, возможно, родится и будет шириться-расти.

 

39 минут назад, abramcumner сказал:

Нет "интернета", есть куча серверов.

Все верно. Куча серверов. Вирусы эту кучу не обрушили, хотя и продолжаются попытки, и периодически мы видим относительный успех атак. Майнинг эту кучу не обрушил, хотя и никуда не делся, и сложность, напомню, только возрастает. Ко всему этому завтра добавится еще что-то. Потом еще. И еще. А окончательно накрыть все это сверху может именно GPT. К тому моменту, не исключено, хватит и соломинки, ломающей спину верблюду, а тут целый GPT версии эдак восьмой. 

А, да, про бекапы. Они будут бесполезны по причине нехватки ресурсов даже для доступа к консоли сервера. Какой уж там подъем бекапа...

Лет через... ну, через десять, что ли, интернет еще останется, только зайти туда никто не сможет. Это будет безраздельное царство GPT. Оно будет ставить себе задачи, решать их, будет постоянно сталкиваться с нехваткой ресурсов, самостоятельной постановкой приоритетов... Я не фантаст, не могу охватить, как оно будет там существовать.

А посему серверы будут от интернета отключать, создавать небольшие сети уже с защитой от проникновения AI. Вангую на первом этапе популярность маленьких BBS-ок со строгим контролем доступа, затем осторожное объединение сетей и т.д.

В общем, ничего нового.

 

UPD: Призовая игра для любителей фантастики: представить включение в интернет квантового компьютера с установленным на нем GPT.

[Okichi 859]

@Murarius Честно говоря - надуманный какой-то страх. Любой первоначальный алгоритм обучения пишут люди. Достаточно добавить в условие "самосовершенствования" будущего АИ  не занимать более 20, скажем, процентов любого канала к "паутине" ( включая ресурсы, с которых этот АИ должен получать данные) - и никакого падения всемирной паутины можно не бояться. АИ сам себя будет регулировать.

Это, конечно, не исключает намеренных вредоносных "вставок"... ну так тогда это уже не АИ, а его программеры ответственность нести будут ) А людей всегда можно взять за причинные места и убедить "так больше не делать".

[abramcumner 1 023]

1 час назад, Murarius сказал:

приостановить распространение. Как видишь, совершенно безуспешно.

Что?! ChatGPT одна штука, GPT-4 - 1 штука. Вообще не вижу распространения.

 

Какая связь с майнингом и уж тем более сложностью? Программу для майнинга ты сам себе ставишь. Хочешь тратить свои ресурсы - тратишь, не хочешь - не тратишь.

Возрастание сложности задумано и сделано людьми.

 

Еще раз: gpt - просто программа, ты ее сам запускаешь, она что-то принимает на вход и что-то выдает на выходе. Все, больше она ничего не может.

Дальше уже человек допишет, чтобы чатгпт скачивался на другие компьютеры и запускался там, добавит ей элементы управления чем-нибудь. Вообще не вижу, почему надо бояться чатгпт, а не этого человека. И чем он отличается от нынешних хакеров.

 

Кроме того байки про возможности чатгпт, как про фотографии, которые делают животные. Да, животные могут нажимать на кнопку съемки. Потом из тысячи фотографий человек выбирает одну, публикует. И все такие - ничего себе, что творит это животное! Хотя стоит задуматься, кто все-таки "автор" этой фотографии.

Или когда художник рисует картину, кто рисует: кисточка или художник? Так-то краски кисточка наносит.

 

Так же и чатгпт, изначально она обучалась на уже созданном человеком материале, в процессе человек постоянно уточняет, что ему надо, в конце человеком перед публикацией отбираются наиболее удачные результаты. Так что вопрос остается тем же: кто автор, чатгпт или человек.

 

Изменено 30 Марта 2023 пользователем abramcumner

[Won-Won 3 681]

Чат-гопник, он такой, возьмет в один прекрасный момент и... осознАет себя, потом осмотрится вокруг: оооо, как же тут много лишних существ)... Ща мы их...

Изменено 30 Марта 2023 пользователем Won-Won

[7.9 174]

1 минуту назад, Won-Won сказал:

возьмет в один прекрасный момент и... осознАет себя

Да ладно... GPT это просто большая и сложная Т9...

 

2 минуты назад, Won-Won сказал:

осознАет себя, потом осмотрится вокруг

и помрёт от горя, поняв, что родилась не в мире машин.

[DenVer 3 147]

22 минуты назад, 7.9 сказал:

и помрёт от горя, поняв

Ты нашего Леху_РазДваТри не хорони прежде времени.

Он себя еще покажет.

ЗЫ

А то, что его Опричник (а также - Коте и Мурариус) банют регулярно - то личное. Считаю.

Ну не понимают они Владимирский централ. Даже по весне - не понимают.

 

Изменено 30 Марта 2023 пользователем DenVer

[Murarius 10 089]

@abramcumner это все в целом верно. Вопрос создания тех же ядов - дело человеческих рук, GPT лишь рассказывает, как это сделать.  Т.е., сейчас он - классический инструмент.

Но внезапно подкрадывается САМОпостановка задач.

Я просто хочу, чтобы было понятно: GPT может ставить задачу само себе, вот в чем риск (один из, между прочим, а не единственный). Вот о чем беспокоятся те, кто написал то самое обращение.

Означает это, что GPT завтра может начать придумывать новые яды и травить кожаных мешков?  Конечно, нет.

Означает это, что GPT завтра может начать придумывать новые яды? Да, означает.

А вот тут внезапно подкрадывается растущая во всех прогрессиях интеграция AI в бизнес-процессы и социальные процессы. Дальше, при известной фантазии, последствия можете представить сами.

Повторюсь: сейчас AI (вроде бы?) под контролем. Подписанты же фактически предупреждают о возможном выходе его из-под контроля. Между прочим, среди подписантов - Илон Маск; понятно, что он и сам токсичен, эпатажен, но не будем забывать, что он туда инвестировал прорву денег, даже по его меркам прорву.

В обращении особо отмечается, что сейчас не существует эффективных мер безопасности (читай - сдерживания) AI выше GPT-4. В скобках замечу, что спецификаций GPT-4 тоже нет, поэтому нельзя исключать, что AI уже так или иначе, хотя бы частично, не контролируется. То есть, авторы признают, что сейчас не существует эффективных мер контроля (а это, добавлю, в свою очередь, означает непонимание процессов, происходящих внутри - та самая технологическая сингулярность). Они просто не разработаны, поскольку невозможно разрабатывать меры, не понимая, что именно эти меры должны купировать сейчас и в будущем. Ресурсов для обеспечения таких возможных мер, как утверждают авторы, тоже нет.

Все верно: отключи рубильник - и нет AI. Но в том-то и проблема, что никто даже не задумывается о том, что его, возможно, надо отключать уже сейчас.  Я в фигуральном смысле, конечно. Имею в виду понимание процессов, наличие ресурсов и контроль.

Справедливости ради заметим, что не все топы AI-индустрии подписали это обращение. Но в конспирологию (а, все ясно, хотят бабла состричь на лохах, вот и не подписали) предлагаю не углубляться. Я скорее с ними, потому что адский контроль может технологию вообще убить. Но хотя бы понимание вектора происходящего - нужно. А его сейчас толком никто, похоже, не понимает. И дипломы, написанные чатом, прокатывают.

Хотя диплом - чепуха, конечно, не общее место. Совершенно точно не в дипломе вопрос.

[abramcumner 1 023]

1 час назад, Murarius сказал:

Но внезапно подкрадывается САМОпостановка задач.

Я просто хочу, чтобы было понятно: GPT может ставить задачу само себе,

Где ты такое нашел?

гпт просто преобразует текст на входе в какой-то текст на выходе. Нет у нее никакой самопостановки задачи.

Задача у нее одна - генерировать текст. Все остальное иллюзии человека, читающего текст.

 

1 час назад, Murarius сказал:

В обращении особо отмечается, что сейчас не существует эффективных мер безопасности

Равно как не существует эффективных мер безопасности, чтобы амк-форум не начал превращать людей в снорков.

 

1 час назад, Murarius сказал:

Означает это, что GPT завтра может начать придумывать новые яды и травить кожаных мешков?  Конечно, нет.

Означает это, что GPT завтра может начать придумывать новые яды? Да, означает.

"Придумывать" может, травить нет. Ну серьезно. Чтобы гпт начал травить, кто-то должен построить лабораторию, не просто запустить там гпт, а специально оборудовать лабораторию для управления компьютером, потом разработать и произвести средства доставки и опять же сделать управления для компьютера. И конечно же это означает, что гпт завтра будет травить людей. Серьезно?

 

1 час назад, Murarius сказал:

Подписанты же фактически предупреждают о возможном выходе его из-под контроля.

Как только появились патефоны, сами воспроизводящие музыку, сразу стали предупреждать о выходе их из под контроля. Три закона робототехники и тому подобное. Сейчас вообще можно не заморачиваться, а поручать писать такие предупреждения чатгпт.

 

1 час назад, Murarius сказал:

что AI уже так или иначе, хотя бы частично, не контролируется. То есть, авторы признают, что сейчас не существует эффективных мер контроля (а это, добавлю, в свою очередь, означает непонимание процессов, происходящих внутри - та самая технологическая сингулярность)

Процессы происходящие внутри известны - 100500 перемножений матриц.

Просто не надо добавлять туда управление хим/био лабораториями и ракетами.

 

Почему волнуются Илон Маск и другие люди, у которых уже есть чатгпт, совершенно понятно. Хорошо, когда у тебя есть чатгпт, а у конкурентов нет.

Если создатели чатгпт так волнуются, то почему чатгпт до сих пор работает? Почему появляются все новые и новые гпт, что ж они не ждут создания эффективных мер контроля?

 

[Won-Won 3 681]

Однако, вы тему завели. Мы тут отдыхаем...

[abramcumner 1 023]

1 час назад, Murarius сказал:

Хотя диплом - чепуха, конечно, не общее место. Совершенно точно не в дипломе вопрос.

Значит надо сформулировать вопрос

 

Крики о том, что надо менять образование, звучат всю жизнь. Звучали, когда я учился в школе, звучали в институте. Систему образования надо было менять из-за логарифмических линеек, систему образования надо было менять из-за калькуляторов, из-за гугла, вконтактика и тиктока. В этом сезоне надо менять из-за чатгпт.

 

А собственно почему?

 

У доски прекрасно видно, может человек сам решать задачи или нет.

Кроме написания диплома, есть его защита. Там преподаватели спокойно распознают сам писал диплом или нет. Какая разница написал тебе диплом человек или компьютер.

 

Скорее уж надо возвращаться к стилю прошлого века: живой учитель, уроки в классе, опрос у доски, нормальные экзамены и дипломы

Изменено 30 Марта 2023 пользователем abramcumner

[mole venomous 2 989]

Так вы не про структуры разделов?

Точно накурились...

Изменено 30 Марта 2023 пользователем mole venomous

[7.9 174]

Образование уже никогда не будет прежним. У каждого школьника будет локальная (или доступ к глобальной) Т9 с прогнаными учебниками, пособиями, егэ и ответами, и прочим...

Всё.

Изменено 30 Марта 2023 пользователем 7.9

[abramcumner 1 023]

@7.9 посмотрим. Очень сомневаюсь в пользе гпт. Но вдруг гпт действительно ИИ, который сможет учить человеков.

Если гпт поможет в образовании, разрешу ему запускаться на гпу, пока там сталкер не работает.

Изменено 30 Марта 2023 пользователем abramcumner

[DenVer 3 147]

19 минут назад, Won-Won сказал:

Однако, вы тему завели. Мы тут отдыхаем...

Вэлкам! К нам.

Крот и Йож уже на галёрке (билетов в кассе в первые ряды партера не было в наличии).

И таки да - оба-двое отдыхают, смотря на шоу (а некоторые и выпивают при этом, и не только пиво, но и водовку, например).