Вопрос Как я могу кодировать и декодировать процентные строки в командной строке?


Как я могу кодировать и декодировать проценты-кодированные (URL-кодированные) строки в командной строке?

Я ищу решение, которое может это сделать:

$ percent-encode "ændrük"
%C3%A6ndr%C3%BCk
$ percent-decode "%C3%A6ndr%C3%BCk"
ændrük

29
2017-07-19 20:23


происхождения


Вы хотите включить и другие кодировки? %E6ndr%FCk не выглядит (стандартным) UTF8 для меня. Или это просто пример? - arrange
@arrange Спасибо, что поймали это. Видимо, я выбрал плохое яблоко среди результатов поиска для онлайн-конвертеров. - ændrük
Для имен файлов см. Как удалить кодировку URI в именах файлов, - kenorb


ответы:


Эти команды делают то, что вы хотите:

python -c "import urllib, sys; print urllib.quote(sys.argv[1])" æ
python -c "import urllib, sys; print urllib.unquote(sys.argv[1])" %C3%A6

Если вы хотите кодировать пробелы как +, заменить urllib.quote с urllib.quote_plus,

Я предполагаю, что вы захотите их псевдоним ;-)


33
2017-07-19 21:22



Что это за символ æ в конце первой строки? Редактировать: отвечая на себя - получилось, это всего лишь одна символьная кодировка UTF8, например :-) - TMG
как насчет python3? - RicardoE


оболочка

Попробуйте следующую командную строку:

$ echo "%C3%A6ndr%C3%BCk" | sed 's@+@ @g;s@%@\\x@g' | xargs -0 printf "%b"
ændrük

Вы можете определить его как псевдоним и добавить его в свою оболочку гс файлы:

$ alias urldecode='sed "s@+@ @g;s@%@\\\\x@g" | xargs -0 printf "%b"'

Затем каждый раз, когда вам это нужно, просто зайдите:

$ echo "http%3A%2F%2Fwww" | urldecode
http://www

удар

При написании сценариев вы можете использовать следующий синтаксис:

input="http%3A%2F%2Fwww"
decoded=$(printf '%b' "${input//%/\\x}")

Однако выше синтаксис не будет обрабатывать плюсы (+) правильно, поэтому вы должны заменить их пробелами через sed,

Вы также можете использовать следующие urlencode() а также urldecode() функции:

urlencode() {
    # urlencode <string>
    local length="${#1}"
    for (( i = 0; i < length; i++ )); do
        local c="${1:i:1}"
        case $c in
            [a-zA-Z0-9.~_-]) printf "$c" ;;
            *) printf '%%%02X' "'$c"
        esac
    done
}

urldecode() {
    # urldecode <string>

    local url_encoded="${1//+/ }"
    printf '%b' "${url_encoded//%/\\x}"
}

Обратите внимание, что ваш urldecode () предполагает, что данные не содержат обратную косую черту.


bash + xxd

Функция Bash с xxd инструмент:

urlencode() {
  local length="${#1}"
  for (( i = 0; i < length; i++ )); do
    local c="${1:i:1}"
    case $c in
      [a-zA-Z0-9.~_-]) printf "$c" ;;
    *) printf "$c" | xxd -p -c1 | while read x;do printf "%%%s" "$x";done
  esac
done
}

Найти в Софт, также в переполнение стека,


питон

Попробуйте определить следующие псевдонимы:

alias urldecode='python -c "import sys, urllib as ul; print ul.unquote_plus(sys.argv[1])"'
alias urlencode='python -c "import sys, urllib as ul; print ul.quote_plus(sys.argv[1])"'

Применение:

$ urlencode "ændrük"
C%26ndrC%3Ck
$ urldecode "%C3%A6ndr%C3%BCk"
ændrük

Источник: ruslanspivak


PHP

С помощью PHP вы можете попробовать следующую команду:

$ echo oil+and+gas | php -r 'echo urldecode(fgets(STDIN));' // Or: php://stdin
oil and gas

или просто:

php -r 'echo urldecode("oil+and+gas");'

использование -R для ввода нескольких строк.


Perl

В Perl вы можете использовать URI::Escape,

decoded_url=$(perl -MURI::Escape -e 'print uri_unescape($ARGV[0])' "$encoded_url")

Или обрабатывать файл:

perl -i -MURI::Escape -e 'print uri_unescape($ARGV[0])' file

СЕПГ

С помощью sed может быть достигнуто путем:

cat file | sed -e's/%\([0-9A-F][0-9A-F]\)/\\\\\x\1/g' | xargs echo -e

AWK

Пытаться скоро решение:

awk -niord '{printf RT?$0chr("0x"substr(RT,2)):$0}' RS=%..

Видеть: Использование awk printf для текста urldecode,


декодирование имен файлов

Если вам нужно удалить кодировку url из имен файлов, используйте deurlname инструмент из renameutils (например. deurlname *.*).

Смотрите также:


Связанный:


26
2018-05-14 13:06





Зарезервированные символы URI с процентом кодирования и символы, отличные от ASCII

jq -s -R -r @uri

-s (--slurp) считывает входные строки в массив и -s -R (--slurp --raw-input) читает ввод в одну строку. -r (--raw-output) выводит содержимое строк вместо строковых литералов JSON.

Процент-кодировать все символы

xxd -p|tr -d \\n|sed 's/../%&/g'

tr -d \\n удаляет строки, которые добавляются xxd -p после каждых 60 символов.

Процент-кодировать все символы, кроме буквенно-цифровых символов ASCII в Bash

eu () {
    local LC_ALL=C c
    while IFS= read -r -n1 -d '' c
    do 
        if [[ $c = [[:alnum:]] ]]
        then 
            printf %s "$c"
        else
            printf %%%02x "'$c"
        fi
    done
}

Без -d '' это будет пропускать строки и нулевые байты. Без IFS= это заменит символы в IFS с %00, Без LC_ALL=C это, например, заменит  с %3042 в локали UTF-8.


7
2017-12-22 02:26





Чистое решение bash только для декодирования:

$ a='%C3%A6ndr%C3%BCk'
$ echo -e "${a//%/\\x}"
ændrük

5
2017-10-09 19:46





Я не могу комментировать лучший ответ в этой теме, так что вот моя.

Лично я использую эти псевдонимы для кодирования и декодирования URL:

alias urlencode='python -c "import urllib, sys; print urllib.quote(  sys.argv[1] if len(sys.argv) > 1 else sys.stdin.read()[0:-1])"'

alias urldecode='python -c "import urllib, sys; print urllib.unquote(sys.argv[1] if len(sys.argv) > 1 else sys.stdin.read()[0:-1])"'

Обе команды позволяют вам преобразовывать данные, переданные как аргумент командной строкиили прочитать его из стандартный ввод, потому что оба однострочника проверяют наличие аргументов командной строки (даже пустых) и обрабатывают их или просто читают стандартный ввод в противном случае.

обновление 2015-07-16 (пустой 1-й аргумент)

... согласно @muru комментарий.

update 2017-05-28 (косой чертой)

Если вам также нужно закодировать косую черту, просто добавьте пустой аргумент в функцию котировки, тогда косая черта также будет закодирована.

Итак, наконец urlencode  псевдоним в удар выглядит так:

alias urlencode='python -c "import urllib, sys; print urllib.quote(sys.argv[1] if len(sys.argv) > 1 else sys.stdin.read()[0:-1], \"\")"'

пример

$ urlencode "Проба пера/Pen test"
%D0%9F%D1%80%D0%BE%D0%B1%D0%B0%20%D0%BF%D0%B5%D1%80%D0%B0%2FPen%20test

$ echo "Проба пера/Pen test" | urlencode
%D0%9F%D1%80%D0%BE%D0%B1%D0%B0%20%D0%BF%D0%B5%D1%80%D0%B0%2FPen%20test

$ urldecode %D0%9F%D1%80%D0%BE%D0%B1%D0%B0%20%D0%BF%D0%B5%D1%80%D0%B0%2FPen%20test
Проба пера/Pen test

$ echo "%D0%9F%D1%80%D0%BE%D0%B1%D0%B0%20%D0%BF%D0%B5%D1%80%D0%B0%2FPen%20test" | urldecode
Проба пера/Pen test

$ urlencode "Проба пера/Pen test" | urldecode
Проба пера/Pen test

$ echo "Проба пера/Pen test" | urlencode | urldecode
Проба пера/Pen test

4
2017-07-15 23:47



я думаю sys.argv[1] if len(sys.argv) > 1 else sys.stdin.read()[0:-1] может быть более уместным. Особенно если вы используете это в скриптах и ​​случайно даете пустой первый аргумент. - muru
По комментарию @muru я изменил проверку аргумента в командной строке. Это было: len(sys.argv) < 2 and sys.stdin.read()[0:-1] or sys.argv[1]  Теперь: sys.argv[1] if len(sys.argv) > 1 else sys.stdin.read()[0:-1]  То есть, если есть даже пустой первый аргумент, команда не ждет ввода со стандартного ввода, но обрабатывает пустой аргумент. - DIG mbl


Я нашел пакет, renameutils, которые содержат полезность deurlname который может переименовать файл, содержащий «процентные» символы.

К сожалению, он не расшифровывает параметр stdin или командной строки, а только переименовывает файл, поэтому вам нужно создать фиктивный файл для получения декодирования (имя переименованного файла), но с некоторыми сценариями bash процесс может быть автоматизирован ,

Нет информации о части кодирования, даже потому, что может быть сомнительно, какие символы кодировать. Только не-ASCII?

Я думаю, что должен быть какой-то лучший инструмент / метод.


3
2017-07-19 21:15





Вот функция POSIX Awk для кодирования:

function encodeURIComponent(str, j, q) {
  while (y++ < 125) z[sprintf("%c", y)] = y
  while (y = substr(str, ++j, 1))
    q = y ~ /[[:alnum:]_.!~*\47()-]/ ? q y : q sprintf("%%%02X", z[y])
  return q
}

пример


0
2018-02-29 01:42