如何使用 jq 从 Linux 命令行解析 json 文件
JSON(JavaScript 对象表示法)格式广泛用于表示数据结构,并经常用于在应用程序的不同层之间交换数据,或使用 API 调用。我们可能知道如何使用最常用的编程语言(例如使用 python 解析 JSON)与 json 格式的数据进行交互,但如果我们需要从命令行或 bash 脚本中与它进行交互怎么办?在本文中,我们将了解如何使用 jq 实用程序完成此类任务,并将学习其基本用法。
在本教程中,您将学习:
- 如何在最常用的 Linux 发行版中安装 jq 或从源代码编译它
- 如何使用 jq 解析 json 格式的数据
- 如何使用 “,” 和 “|” 组合过滤器
- 如何使用 length、keys、has 和 map 函数
sudo apt install jq如果我们偏好 Red Hat 系列的发行版本,例如 Fedora、CentOS 或 RHEL,我们可以通过 dnf 包管理器安装 jq(在最近版本的这些发行版本里,它取代了 yum)。要安装包,我们将运行:
sudo dnf install jq在 Archlinux 上安装 jq 同样简单。分发包管理器是 pacman,该包在 community 存储库中可用。我们可以使用以下命令执行安装:
sudo pacman -S install jq如果我们不能,或者由于某种原因我们不想使用预构建的二进制包,我们可以从源代码编译 jq。In
以下几行我们描述了所需的步骤。
从源码构建和安装
要从源代码构建和安装 jq,我们必须做的第一件事是下载一个发布 tarball。此时
编写时,最新的可用版本是 1.6。要在不离开终端的情况下下载 tarball,我们可以使用 wget:
wget https://github.com/stedolan/jq/releases/download/jq-1.6/jq-1.6.tar.gz下载完成后,我们必须解压缩并提取 tarball:
tar -xzf jq-1.6.tar.gz下一步是进入 jq-1.6 目录,该目录是最后一个命令的结果:
cd jq-1.6现在,要编译源代码,我们需要以下实用程序:
- gcc
- 自动制作
- lib工具
- 做
为了构建我们运行的软件:
autoreconf -fi
./configure && make && sudo make install默认情况下,make install 命令将导致二进制文件安装在 /usr/local/bin 目录中,并将库安装到 /usr/local/lib 中。如果我们想自定义安装并更改这些目录,我们必须在启动 ./configure 脚本时使用 --prefix 选项指定不同的前缀。
例如,要仅为特定用户安装软件,我们可以将 $HOME/.local 目录作为前缀传递:在这种情况下,二进制文件将安装到 $HOME/.local/bin 中,库将安装到 $HOME/.local/lib 中;使用此类配置,无需启动 make install命令。如果您想知道如何更好地组织软件安装的表单源,您可以查看我们关于 GNU stow 实用程序的文章。
用法
安装 jq 后,我们可以使用它从命令行解析 json 文件。在本教程中,我们将使用一个简单的数据结构,其中包含有关《指环王》书中三个角色的一些详细信息。数据将保存到 characters.json 文件中。
jq 实用程序的工作原理是对 json 数据流应用过滤器。首先,我们将使用最简单的过滤器 .,它返回的输入数据保持不变,但打印得很漂亮。对于此特性,它可用于以更易读的方式格式化数据:
jq . characters.json上面的命令将生成以下输出:
{
"characters": [
{
"name": "Aragorn",
"race": "man"
},
{
"name": "Gimli",
"race": "dwarf"
},
{
"name": "Legolas",
"race": "elf"
}
]
}
现在,假设我们要筛选数据以仅获取与 characters 键关联的值。为了完成任务,我们提供键的名称,并获取其值(如果不存在,则为 null):
jq .characters characters.json在我们的示例中,与 “characters” 键关联的值是一个数组,因此我们获得以下结果:
[
{
"name": "Aragorn",
"race": "man"
},
{
"name": "Gimli",
"race": "dwarf"
},
{
"name": "Legolas",
"race": "elf"
}
]如果我们想只获取数组的第一个元素怎么办?我们只需要从中 “提取” 正确的索引。知道数组是从 0 开始的,我们可以运行:
jq .characters[0] characters.json该命令为我们:
{
"name": "Aragorn",
"race": "man"
}
我们还可以获取数组的切片。例如,我们只想获取它的前两个元素。我们运行:
jq .characters[0:2] characters.json该命令为我们提供了以下结果:
[
{
"name": "Aragorn",
"race": "man"
},
{
"name": "Gimli",
"race": "dwarf"
}
]
切片也适用于字符串,因此如果我们运行:
jq .characters[0].name[0:2] characters.json我们获得 “Aragorn” 字符串的切片(前两个字母):“Ar”。
单独访问数组元素
在上面的示例中,我们打印了 “characters” 数组的内容,该数组由三个描述奇幻角色的对象组成。如果我们想迭代所述数组怎么办?我们必须使其中包含的元素被单独返回,因此我们必须使用 [] 而不提供任何索引:
jq .characters[] characters.json该命令的输出为:
{
"name": "Aragorn",
"race": "man"
}
{
"name": "Gimli",
"race": "dwarf",
"weapon": "axe"
}
{
"name": "Legolas",
"race": "elf"
}
在本例中,我们获得了 3 个结果:数组中包含的对象。相同的技术可用于迭代对象的值,在本例中为 “characters” 数组中包含的第一个值:
jq .characters[0][] characters.json这里我们得到以下结果:
"Aragorn"
"man"
“,” 和 “|” 运算符
“,” 和 “|” 运算符都用于组合两个或多个过滤器,但它们的工作方式不同。当两个过滤器用逗号分隔时,它们都分别应用于给定的数据,让我们得到两个不同的结果。让我们看一个例子:
jq '.characters[0], .characters[2]' characters.jsoncharacters.json 文件中包含的 json 格式数据首先使用 .characters[0] 进行筛选,然后使用 .charaters[2] 进行筛选,以获取“characters”数组的第一个和第三个元素。通过执行上述命令,我们得到两个单独的结果:
{
"name": "Aragorn",
"race": "man"
}
{
"name": "Legolas",
"race": "elf"
}“|” 运算符的工作方式不同,其方式类似于 unix 管道。运算符左侧的筛选器生成的输出将作为输入传递到运算符右侧的筛选器。如果运算符左侧的过滤器产生多个结果,则运算符右侧的过滤器将应用于每个结果:
jq '.characters[] | .name' characters.json在此示例中,我们有两个筛选器。在运算符的左侧,我们有 .characters[] 过滤器,正如我们之前看到的,让我们获取 “characters” 数组的元素作为单独的结果。在我们的例子中,每个结果都是一个具有 “name” 和 “race” 属性的对象。运算符右侧的 .name 过滤器 |应用于每个对象,因此我们得到以下结果:
"Aragorn"
"Gimli"
"Legolas"功能
jq 实用程序包含一些非常有用的函数,我们可以将其应用于 json 格式的数据。我们现在将看到其中的一些:length、keys、has 和 map。
length 函数
我们要讨论的第一个是 length,顾名思义,它让我们检索对象、数组和字符串的长度。对象的长度是它们的键值对的数量;数组的长度由它们包含的元素数表示;字符串的长度是它组成的字符数。让我们看看如何使用该函数。假设我们想知道 “characters” 数组的长度,我们运行:
jq '.characters | length' characters.json正如预期的那样,我们得到 3 作为结果,因为它是数组中元素的数量。同样,要获得数组中第一个对象的长度,我们可以运行:
jq '.characters[0] | length' characters.json这次我们得到 2 作为结果,因为它是对象中包含的值对的数量。正如我们已经说过的,应用于字符串的相同函数返回其中包含的字符数,因此,例如,运行:
jq '.characters[0].name | length' characters.json结果我们收到 7,这是 “Aragorn” 字符串的长度。
keys 功能
keys 函数可以应用于对象或数组。在第一种情况下,它返回一个包含
的数组对象键:
jq '.characters[0] | keys' characters.json
[
"name",
"race"
]当应用于数组时,它将返回另一个包含第一个数组索引的数组:
jq '.characters | keys' characters.json
[
0,
1,
2
]
keys 函数返回排序后的元素:如果我们希望元素按插入顺序返回,我们可以改用 keys_unsorted 函数。
检查对象是否具有键
我们可能想要对对象执行的一个非常常见的作是检查它是否包含特定的 key。为了完成这个任务,我们可以使用 has 函数。例如,要检查 json 格式数据的主对象是否包含 “weapons” 键,我们可以运行:
jq 'has("weapons")' characters.json
false在这种情况下,正如预期的那样,该函数返回 false,因为该对象仅包含 “characters” 键:
jq 'has("characters")' characters.json
true当应用于数组时,如果数组在给定索引处有元素,则函数返回 true,否则返回 false:
jq '.characters | has(3)' characters.json
false“characters” 数组只有 3 个元素;数组的索引为零,因此检查数组是否作为与索引 3 关联的元素返回 false。
map 函数
map 函数让我们对给定数组的每个元素应用过滤器。例如,假设我们想要检查 “characters” 数组中包含的每个对象中是否存在 “name” 键。我们可以这样组合 map 和 has 函数:
jq '.characters | map(has("name"))' characters.json
[
true,
true,
true
]
结论
在本文中,我们几乎只触及了 jq 实用程序提供的功能的皮毛,这些功能允许我们从命令行解析和作 json 格式的数据。我们学习了程序的基本用法,“,” 和 “|” 运算符是如何工作的,以及如何使用 length、keys、has 和 map 函数,分别获取数组、字符串和对象的长度,获取对象键或数组索引,检查对象中是否存在 key,或者数组在给定索引处是否有元素, 并将过滤器或函数应用于数组的每个元素。要了解 jq 可以做的所有事情,请去看看程序手册!