python3.x 学习笔记1


1.python模块:标准库和老三方库,第三正库需要下载安装
2.模块sys:
命令          功能

  大家好,我是豹哥,猎豹的金钱豹,犀利哥的老大哥。今天豹哥为大家说的凡嵌入式开发里之executable文件(elf)

 

  第四、五节课里,豹哥已经让大家介绍了2栽output文件,本文继续吃大家称project生成的旁一样种output文件-executable文件,也是特意重要的output文件。

sys.stdin        标准输入流
sys.stdout        标准输出流
sys.stderr              标准错误流

  文件涉及:linker文件

sys.argv[value]     
接收命令行的参数。例如,windows下之一声令下行cmd里面的参数。其中,argv[0]意味着该公文本身。

  • project文件 +
    relocatable文件 ->
    executable文件

sys.version       查看该python的版本。
sys.platform        判断是啊操作系统
sys.exit(n)       若 n 为0,则正常退出;其他还是那个退出,可以捕获

  仔细看过豹哥之前课程的情人肯定懂得,豹哥在第四节课relocatable文件里介绍的object文件于格式上实在与本文要出口的elf文件是接近的,它们都属于ELF文件分支。只不是relocatable文件才是中间过渡文件,而本文要讲话的elf却是标准的output文件,这个文件几乎涵盖了工的具有消息,有矣之文件我们既然好在线调试工程,也可将elf文件转换成为image文件,直接下载image文件数据上芯片中脱机运行。今天豹哥就吧大家仔细分析elf文件。

sys. path        查找模块所在的目录,以列表的款型显得出

同、elf文件基础

  ELF全称Executable and Linkable
Format,可尽连接格式,ELF格式的文件最早用于存储Linux程序,后演变到ARM系统及存储ARM程序。ELF文件(目标文件)格式主要三栽:

  • 而重定向文件:用来和其它的对象文件并来创造一个可执行文件或者共享目标文件(也称object文件要静态库文件,通常后缀为.o和.a的文本)。这个文件是用于编译和链接阶段。
  • 可执行文件:用于转移应用image,载入存储器执行(后缀通常也.out或者.elf)。这个文件是用来加载执行阶段。
  • 共享目标文件:用于与另共享目标文件要object文件并变可执行文件,或者与可执行文件一起开创以image。(也如并享库文件,后缀为.so的文本)。这个文件既而用以编译和链接阶段,也可是用来加载执行等。

  我们以ARM开发被又多点的是前面片种植格式,第一种植格式前面系列文章relocatable文件都介绍过,本文的栋梁之材是第二种植格式-可执行文件。不管是哪种格式的ELF文件,其都可能含如下三种基本索引表:

  • file header:一般以文件的初步,描述了ELF文件之整组织情况。
  • program
    header
    :告诉系统如何创建image,可执行文件必须持有program
    header,而而重定向文件则非待。
  • section
    header
    :包含了叙文件section的音,每个section都有一个header,每一个header给有诸如section名称、section大小相当于消息。可重定向文件要包含section
    header。

  既然知道了存在三种索引表,那么表的结构定义在哪吗?github上之linux仓库里发具体定义,在elf.h头文件里。

Linux仓库:https://github.com/torvalds/linux.git
elf.h路径:\linux\include\uapi\linux\elf.h

  打开elf.h文件就只是找到三个说明的原型定义,鉴于目前之ARM
Cortex-M都是32bit,所以这里就列有32bit产的表的原型:Elf32_Ehdr、Elf32_Phdr、Elf32_Shdr。

// file header
#define EI_NIDENT    16
typedef struct elf32_hdr{
  unsigned char e_ident[EI_NIDENT];     /* Magic number and other info */
  Elf32_Half    e_type;                 /* Object file type */  
  Elf32_Half    e_machine;              /* Architecture */  
  Elf32_Word    e_version;              /* Object file version */  
  Elf32_Addr    e_entry;                /* Entry point virtual address */  
  Elf32_Off     e_phoff;                /* Program header table file offset */  
  Elf32_Off     e_shoff;                /* Section header table file offset */  
  Elf32_Word    e_flags;                /* Processor-specific flags */  
  Elf32_Half    e_ehsize;               /* ELF header size in bytes */  
  Elf32_Half    e_phentsize;            /* Program header table entry size */  
  Elf32_Half    e_phnum;                /* Program header table entry count */  
  Elf32_Half    e_shentsize;            /* Section header table entry size */  
  Elf32_Half    e_shnum;                /* Section header table entry count */  
  Elf32_Half    e_shstrndx;             /* Section header string table index */ 
} Elf32_Ehdr;

// program header
typedef struct elf32_phdr{
  Elf32_Word    p_type;           /* Segment type */
  Elf32_Off     p_offset;         /* Segment file offset */
  Elf32_Addr    p_vaddr;          /* Segment virtual address */
  Elf32_Addr    p_paddr;          /* Segment physical address */
  Elf32_Word    p_filesz;         /* Segment size in file */
  Elf32_Word    p_memsz;          /* Segment size in memory */
  Elf32_Word    p_flags;          /* Segment flags */
  Elf32_Word    p_align;          /* Segment alignment, file & memory */
} Elf32_Phdr;

// section header
typedef struct elf32_shdr {
  Elf32_Word    sh_name;          /* Section name, index in string tbl */
  Elf32_Word    sh_type;          /* Type of section */
  Elf32_Word    sh_flags;         /* Miscellaneous section attributes */
  Elf32_Addr    sh_addr;          /* Section virtual addr at execution */
  Elf32_Off     sh_offset;        /* Section file offset */
  Elf32_Word    sh_size;          /* Size of section in bytes */
  Elf32_Word    sh_link;          /* Index of another section */
  Elf32_Word    sh_info;          /* Additional section information */
  Elf32_Word    sh_addralign;     /* Section alignment */
  Elf32_Word    sh_entsize;       /* Entry size if section holds table */
} Elf32_Shdr;

3.os模块:
命令             功能
os.name             获取操作系统平台
os.getcwd()              获取现在之做事目录
os.listdir()            获取有目录下的拥有文件称
os.remove()        删除某个文件
os.system()              用来运转shell命令
os.path.existe()        检验给来的路是否真地存在

二、解析elf文件

  所谓工欲善其事,必先利其器,在起来解析elf文件前,我们必须先找到同样缓适合的剖析工具,readelf就是GNU/Linux官方推出的专用解析工具。有了这分析工具,我们不怕好逐渐分析elf文件。

os.path.isfile()        判断是否也文件;若是,返回值为真
os.path.isdir()         判断是否也文件夹;若是,返回值为真
os.path.abspath(name)    获得绝对路径
os.path.splitext()       分离文件称及扩展名
os.path.split()        把一个门道拆分为目录+文件称之形式
os.path.join(path,name)    连接目录及公事称或目录
os.path.basename(path)  返回文件称
os.path.dirname(path)   返回文件路径
os.popen(“dir”)          返回当前目录,显示的是内存地址
os.popen(“dir”).read()    返回内存地址的始末

2.1 解析工具readelf

  既然elf文件是Linux系统下常用底可执行文件格式,那么Linux社区一定会发出配套的工具去分析其,是的,这个家伙就是为readelf,在GNU工具集binutils里。

 

2.1.1 GNU工具集(binutils)

  GNU是“GNU’s Not
Unix”的递归缩写,又称为GNU计划,很多资深的开源软件以及工具还是GNU开发的(比如名的C语言编译器GCC)。binutils是GNU一系列binary小器的集聚,大家从脚的链接里找到官方binutils包。

主页:http://www.gnu.org/software/binutils/
仓库:git://sourceware.org/git/binutils-gdb.git
下载:http://ftp.gnu.org/gnu/binutils/
文档:https://sourceware.org/binutils/docs-2.29/binutils/index.html

  但是下上述包里之readelf会有一个题材,上述工具是以Linux系统下下的,而大家平常做ARM
Cortex-M开发多都是当windows平台下,那么怎么当windows下行使readelf工具为?别急,cygwin给了咱帮。

4.数据类型:整型(int)、浮点型(float)、复数(complex)、字符串、布尔值

2.1.2 cygwin(windows下使用GNU)

  Cygwin是一个以windows平台上运行的类UNIX模拟条件,是cygnus
solutions公司(已于Redhat收购)开发的自由软件。它于上UNIX/Linux操作环境,或者从UNIX到Windows的应用程序移植,尤其是采用GNU工具集在Windows上进展嵌入式系统出,非常管用。

// 下载链接
Installer:http://cygwin.com/install.html
Package:  https://cygwin.com/packages/package_list.html
// 相关包(根据平台选择)
binutils                - GNU assembler, linker, and similar utilities
cygwin32-binutils       - Binutils for Cygwin 32bit toolchain
mingw64-x86_64-binutils - Binutils for MinGW-w64 Win64 toolchain 
mingw64-i686-binutils   - Binutils for MinGW-w64 Win32 toolchain

  下载安装好cygwin包后,便只是当安装目录下\cygwin64\bin\找到x86_64-w64-mingw32-readelf.exe工具(豹哥选择的是mingw64-x86_64-binutils包)。

5.数码运算:https://www.cnblogs.com/topspeedking/p/6403513.html

2.1.3 readelf.exe用法

  readelf.exe以标准的windows命令行用法,使用–help可以列出所有命令option及其简介,下面就排有比常用之option。

C:\cygwin64\bin>x86_64-w64-mingw32-readelf.exe --help
Usage: readelf <option(s)> elf-file(s)
 Display information about the contents of ELF format files
 Options are:
  -a --all               Equivalent to: -h -l -S -s -r -d -V -A -I
  -h --file-header       Display the ELF file header
  -l --program-headers   Display the program headers
     --segments          An alias for --program-headers
  -S --section-headers   Display the sections' header
     --sections          An alias for --section-headers
  -t --section-details   Display the section details
  -e --headers           Equivalent to: -h -l -S
  -s --syms              Display the symbol table
     --symbols           An alias for --syms
  --dyn-syms             Display the dynamic symbol table
  -r --relocs            Display the relocations (if present)
  -d --dynamic           Display the dynamic section (if present)
  -V --version-info      Display the version sections (if present)
  -A --arch-specific     Display architecture specific information (if any)
  -I --histogram         Display histogram of bucket list lengths
  @<file>                Read options from <file>

6.老三处女运算:
result = 值1 if 条件 else 值2
假定条件为实在:result = 值1
要是基准为假;result = 值2

2.2 逐步分析elf文件

  万事俱备了,开始分析elf文件,以第三节课project文件里demo工程也例。编译链接该工程而在D:\myProject\bsp\builds\demo\Release\Exe路径下得demo.elf文件。该文件大小32612
bytes,显然这样简单的一个略带工程image
size不容许这样老,说明elf文件里之记录信息数量占比较坏坏。

7.Python 3中bytes/string的区别:
https://www.cnblogs.com/abclife/p/7445222.html

2.2.1 获得file header
C:\cygwin64\bin>x86_64-w64-mingw32-readelf.exe -h demo.elf
ELF Header:
  Magic:   7f 45 4c 46 01 01 01 00 00 00 00 00 00 00 00 00
  Class:                             ELF32
  Data:                              2's complement, little endian
  Version:                           1 (current)
  OS/ABI:                            UNIX - System V
  ABI Version:                       0
  Type:                              EXEC (Executable file)
  Machine:                           ARM
  Version:                           0x1
  Entry point address:               0x41
  Start of program headers:          31740 (bytes into file)
  Start of section headers:          31772 (bytes into file)
  Flags:                             0x5000000, Version5 EABI
  Size of this header:               52 (bytes)
  Size of program headers:           32 (bytes)
  Number of program headers:         1
  Size of section headers:           40 (bytes)
  Number of section headers:         21
  Section header string table index: 1

  第一步首先分析file header,前面介绍里说了file
header是身处文件最前的。通过readelf -h命令可以得file
header解析后底消息。让咱们来对比一下,使用HexEditor直接打开demo.elf可得到如下数据,仅获前52bytes(0x34)数据,因为Elf32_Ehdr大小就是52bytes:

offset(h)
00000000: 7F 45 4C 46 01 01 01 00 00 00 00 00 00 00 00 00
00000010: 02 00 28 00 01 00 00 00 41 00 00 00 FC 7B 00 00
00000020: 1C 7C 00 00 00 00 00 05 34 00 20 00 01 00 28 00
00000030: 15 00 01 00 -- -- -- -- -- -- -- -- -- -- -- --

  可以看出前面16byte凡是e_ident[16],与析后底Magic是一样的;再来证实prgram
header偏移e_phoff=0x00007BFC,数量e_phnum=0x0001,大小e_phentsize=0x0020,也是同析后底信匹配的;余下可机关对照。

8.Python3丁byte和string之间各种编码转换:
http://blog.csdn.net/htdeyanlei/article/details/50866307

2.2.2 获得program header
C:\cygwin64\bin>x86_64-w64-mingw32-readelf.exe -l demo.elf

Elf file type is EXEC (Executable file)
Entry point 0x41
There are 1 program headers, starting at offset 31740

Program Headers:
  Type           Offset   VirtAddr   PhysAddr   FileSiz MemSiz  Flg Align
  LOAD           0x000034 0x00000000 0x00000000 0x004c4 0x004c4 R E 0x100

 Section to Segment mapping:
  Segment Sections...
   00     A0 rw P1 ro

  再来分析program header,通过readelf -l命令可以得到program
header解析后的音信。从上面可以摸清header起始位置于demo.elf的31740
byte处(与file header里的e_phoff信息是相应之),header信息提示program
data从offset 0x34上马,大小共0x4c4
bytes,Reset_Handler入口是0x41。继续当HexEditor查看31740高居始之32byte数据,因为Elf32_Phdr大小就32bytes:

offset(h)
00007BF0: -- -- -- -- -- -- -- -- -- -- -- -- 01 00 00 00
00007C00: 34 00 00 00 00 00 00 00 00 00 00 00 C4 04 00 00
00007C10: C4 04 00 00 05 00 00 00 00 01 00 00 -- -- -- --

  可以见到p_offset=0x00000034,p_memsz=0x000004c4,
与地方解析后底音讯是平等的;余下可机关对照。
这里的信就是较根本了,因为就指示了整个image
binary数据所在(知道了这消息,我们就是得以一直写脚论根据elf文件生成image
binary),继续于HexEditor里看下去(仅截取部分显得):

offset(h)
00000030: -- -- -- -- 00 20 00 10 41 00 00 00 03 04 00 00
00000040: 3F 04 00 00 00 00 00 00 00 00 00 00 00 00 00 00
00000050: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
00000060: 61 04 00 00 00 00 00 00 00 00 00 00 63 04 00 00
00000070: 65 04 00 00 72 B6 0E 48 0E 49 88 60 00 22 00 23
00000080: 00 24 00 25 00 26 00 27 B8 46 B9 46 BA 46 BB 46

  ARM系统的image前16独指针都是网中断向量,我们可以看到SP=0x10002000,
PC=0x00000041,这同方解析的Reset_Handler入口是0x41凡是匹配的。

9.decode解码 encode编码

2.2.3 获得section header
c:\cygwin64\bin>x86_64-w64-mingw32-readelf.exe -S demo.elf
There are 21 section headers, starting at offset 0x7c1c:

Section Headers:
  [Nr] Name              Type            Addr     Off    Size   ES Flg Lk Inf Al
  [ 0]                   NULL            00000000 006338 000000 00      0   0  4
  [ 1] .shstrtab         STRTAB          00000000 006338 0000e6 00      0   0  4
  [ 2] .strtab           STRTAB          00000000 006420 000b7c 00      0   0  4
  [ 3] .symtab           SYMTAB          00000000 006f9c 000c60 10      2 135  4
  [ 4] A0 rw             PROGBITS        00000000 000034 000040 01  AX  0   0 256
  [ 5] P1 ro             PROGBITS        00000040 000074 000484 01  AX  0   0  4
  [ 6] P3 ui             NOBITS          10000000 0004f8 002000 01  WA  0   0  8
  [ 7] P2 rw             NOBITS          10002000 0004f8 000438 01  WA  0   0  8
  [ 8] .debug_abbrev     PROGBITS        00000000 0004f8 0002c6 01      0   0  0
  [ 9] .debug_aranges    PROGBITS        00000000 0007c0 00016c 01      0   0  0
  [10] .debug_frame      PROGBITS        00000000 00092c 00057c 01      0   0  0
  [11] .debug_info       PROGBITS        00000000 000ea8 000e2e 01      0   0  0
  [12] .debug_line       PROGBITS        00000000 001cd8 000dcb 01      0   0  0
  [13] .debug_loc        PROGBITS        00000000 002aa4 00024c 01      0   0  0
  [14] .debug_macinfo    PROGBITS        00000000 002cf0 00011e 01      0   0  0
  [15] .debug_pubnames   PROGBITS        00000000 002e10 00012a 01      0   0  0
  [16] .iar.debug_frame  PROGBITS        00000000 002f3c 00007e 01      0   0  0
  [17] .iar.debug_line   PROGBITS        00000000 002fbc 000367 01      0   0  0
  [18] .comment          PROGBITS        00000000 003324 002fa2 01      0   0  0
  [19] .iar.rtmodel      PROGBITS        00000000 0062c8 000047 01      0   0  0
  [20] .ARM.attributes   ARM_ATTRIBUTES  00000000 006310 000026 01      0   0  0
Key to Flags:
  W (write), A (alloc), X (execute), M (merge), S (strings), I (info),
  L (link order), O (extra OS processing required), G (group), T (TLS),
  C (compressed), x (unknown), o (OS specific), E (exclude),
  y (purecode), p (processor specific)

  再来分析section header,通过readelf -S命令可以赢得section
header解析后底信息。可以看出有那么些独section,其中最为根本之4单section是A0(readonly
vector), P1(readonly code,data), P2(readwrite data, heap),
P3(STACK)。具体分析,各位朋友自己试试看。

10.列表(list):

2.2.4 获得symbol list
c:cygwin64\bin>x86_64-w64-mingw32-readelf.exe -s demo.elf

Symbol table '.symtab' contains 198 entries:
   Num:    Value  Size Type    Bind   Vis      Ndx Name
    74: 10002018    16 OBJECT  LOCAL  DEFAULT    7 s_array
    75: 10002014     4 OBJECT  LOCAL  DEFAULT    7 s_variable0
    76: 10002010     4 OBJECT  LOCAL  DEFAULT    7 s_variable2
   135: 00000000     0 OBJECT  GLOBAL DEFAULT    4 __vector_table
   140: 00000041     0 FUNC    GLOBAL DEFAULT    5 Reset_Handler
   141: 00000098     4 OBJECT  GLOBAL DEFAULT    5 s_constant
   142: 000000ad    32 FUNC    GLOBAL DEFAULT    5 main
   143: 000000cd    14 FUNC    GLOBAL DEFAULT    5 normal_task
   144: 000000db    60 FUNC    GLOBAL DEFAULT    5 heap_task
   155: 0000034d    84 FUNC    GLOBAL DEFAULT    5 init_data_bss
   156: 000003a1    18 FUNC    GLOBAL DEFAULT    5 init_interrupts
   157: 000003dd    12 FUNC    GLOBAL DEFAULT    5 SystemInit
   186: 10002001    16 FUNC    GLOBAL DEFAULT    7 ram_task
   191: 10002034     4 OBJECT  GLOBAL DEFAULT    7 n_variable1

  通过readelf -s命令可以获得symbol
list解析后底信息。可以看看有众多个symbol,豹哥在这里只排有用工程里打定义的函数和变量,从symbol表里我们可得知函数/变量在存储器中切实分配地址和长短,这对咱们更为分析和调试应用是发生扶持的。

list.append(x)
于列表的尾部添加一个件,等价于 a[len(a):] = [x]。

2.3 elf文件layout

  经过上一样省对demo.elf里相继header的分析,此时咱们就足以简简单单地打出elf文件layout。

File offset Data content Data size in bytes
0x00000000 ELF file header 52
0x00000034 Image binary (Section4-A0 rw, .intvec中断向量表) 0x40
0x00000074 Image binary (Section5-P1 ro, readonly section(.text, .rodata…)) 0x484
0x000004F8 Section8-20 (包含各种辅助调试和系统段.debug_xx, .iar.xx) 0x5E3E
0x00006336 NULL 0x2
0x00006338 Section1-.shstrtab字符串表 0xE6
0x00006420 Section2-.strtab字符串信息 0xB7C
0x00006F9C Section3-.symtab符号信息 0xC60
0x00007BFC ELF Program header 0x20
0x00007C1C ELF Section headers (0 – 20) 21 * 40

list.extend(L)
将加的列表L接到当前列表后面,等价于 a[len(a):] = L。

番外一、几个elf转换image工具

  以今底胡外篇里,豹哥被大家顺便介绍几舒缓专业的elf文件转换成image文件的家伙。

list.insert(i, x)
在加以的职位 i 前安插项,例如:a.insert(0, x) 会在列表的脑部插入,而
a.insert(len(a), x) 则等价于 a.append(x)。

工具1:GNU工具objcopy

位置:C:\cygwin64\bin>x86_64-w64-mingw32-objcopy.exe
用法:
      objcopy.exe -O binary -S demo.elf demo.bin
      objcopy.exe -O srec   -S demo.elf demo.s19

备注:一说需用arm-linux-objcopy,待验证

list.remove(x)
移除列表中第一个价吗 x 的宗,没有的话语会起一个谬误。

工具2:IAR工具ielftool.exe

位置:\IAR Systems\Embedded Workbench xxx\arm\bin\ielftool.exe
用法:
      ielftool.exe --bin  demo.elf demo.bin
      ielftool.exe --ihex demo.elf demo.hex
      ielftool.exe --srec demo.elf demo.s19

  至此,嵌入式开发里的executable文件(elf)文件豹哥就是介绍完了,掌声以乌~~~

list.pop([i])
删去列表给定位置的项,并返其。如果没有指定索引,a.pop()移除并赶回列表最后一件。(方括号表示可选)

list.clear()
去列表中的富有项,相当给 del a[:]。

list.index(x)
回来列表中第一单价值吗 x 的宗之目。如果无匹配的项, 则产生一个错误。

list.count(x)
返回列表中 x 出现的次数。

list.sort()
就地就列表排序。

list.reverse()
就地就列表项的转。

list.copy()
回列表的一个浅拷贝,相当给a[:]。